[논문리뷰]FedFace: Collaborative Learning of Face Recognition Model

FedFace: Collaborative Learning of Face Recognition Model 저자: Divyansh Aggarwal, Jiayu Zhou, Anil K. Jai 요약: Spreadout Regularizer를 이용한 연합학습 기반 안면 인증 Github: https://github.com/illidanlab/fedface Paper(arxiv): https://arxiv.org/pdf/2104.03008.pdf Conference: Abstract & Introduction DNN 기반 안면 인증 모데은 대규모의 안면 데이터를 학습을 위해 필요로한다. 그러나, 점점 증가하는 개인정보 보호에 대한 관심과 법적 규제에 따라, 안면 데이터셋을 공유하거나 접근하는 것은 어려워졌다. 우..

• format_list_bulleted 딥러닝 논문 리뷰/Federated Learning
• · 2024. 1. 5.
• textsms

Concept shift

확률 분포 p(y|x)는 특정 케이스, 디바이스, 도메인에 따라 다를 수 있다. 이러한 문제를 Data Heterogeneity 문제를 해결하는 과정에서 해결되기도 한다. Federated Learning 분야에서 주로 연구되는 주제로, 클라이언트 마다 서로 다른 분포를 가진 상황을 해결하는 것을 목표로 한다.

• format_list_bulleted 딥러닝 이론/BasicML
• · 2023. 10. 26.
• textsms

Covariate shift

공변량 변화(covariate shift)는 학습 데이터의 분포가 테스트 데이터의 분포와 다른 상황을 의미한다. 여기서 공변량은 학습데이터를 의미하고, 수학적으로는 입력 데이터의 분포인 p(x)는 변하는데, p(y|x)는 그대로 있는 경우를 말한다. 딥러닝에서 예시는 다음과 같다.안면 인식 알고리즘은 학습 데이터로 대개 젊은 얼굴로 학습을 하지만, 실제 테스트 데이터는 다양한 나이의 얼굴이 입력된다.고양이, 개 등의 분류 태스크에서, 희귀종이 테스트 세트에 포함된 경우

• format_list_bulleted 딥러닝 이론/BasicML
• · 2023. 10. 26.
• textsms

[논문리뷰] Scaffold: Stochastic Controlled Averaging for Federated Learning

Scaffold: Stochastic Controlled Averaging for Federated LearningAbstract & IntroductionFedAVG는 간단하고 적은 communication cost로 인하여 많이 사용되어왔다. 하지만, 최근 연구보고에 의하면, 그러한 성능들이 완벽하게 이해가 되지 않는다. 우리는 FedAVG를 위한 수렴 비율을 얻을 것이며, 데이터가 heterogeneous (non-iid) 상태에서 "client-drift"가 발생하고, 그 결과 수렴이 불안정하거나 매우 느려지는 단점을 증명한다.이에 대한 해결책으로, 우리는 새로운 알고리즘 SCAFFOLD, local updates 과정에서 발생하는 “client-drift” 현상을 수정하기 위해 control v..

• format_list_bulleted 딥러닝 논문 리뷰/Federated Learning
• · 2023. 9. 27.
• textsms