[논문리뷰] Scaffold: Stochastic Controlled Averaging for Federated Learning
Scaffold: Stochastic Controlled Averaging for Federated LearningAbstract & IntroductionFedAVG는 간단하고 적은 communication cost로 인하여 많이 사용되어왔다. 하지만, 최근 연구보고에 의하면, 그러한 성능들이 완벽하게 이해가 되지 않는다. 우리는 FedAVG를 위한 수렴 비율을 얻을 것이며, 데이터가 heterogeneous (non-iid) 상태에서 "client-drift"가 발생하고, 그 결과 수렴이 불안정하거나 매우 느려지는 단점을 증명한다.이에 대한 해결책으로, 우리는 새로운 알고리즘 SCAFFOLD, local updates 과정에서 발생하는 “client-drift” 현상을 수정하기 위해 control v..