[논문리뷰]FedFace: Collaborative Learning of Face Recognition Model

FedFace: Collaborative Learning of Face Recognition Model

 

저자: Divyansh Aggarwal, Jiayu Zhou, Anil K. Jai

요약: Spreadout Regularizer를 이용한 연합학습 기반 안면 인증

Github: https://github.com/illidanlab/fedface

Paper(arxiv): https://arxiv.org/pdf/2104.03008.pdf

Conference: 

---

Abstract & Introduction

DNN 기반 안면 인증 모데은 대규모의 안면 데이터를 학습을 위해 필요로한다. 그러나, 점점 증가하는 개인정보 보호에 대한 관심과 법적 규제에 따라, 안면 데이터셋을 공유하거나 접근하는 것은 어려워졌다. 우리는 개인정보 보호를 유지하면서, 협력적으로 안면 모델을 학습하기 위한 연합학습 프레임워크인 FedFace를 제안한다. FedFace는 모바일 장치에서 각 사용자가 오직 사용자의 안면 데이터를 보유하고 있는(각 클라이언트 마다 하나의 identity)를 가지는 상황에서 사용가능한 안면 이미지를 활용하여 학습한다. 우리는 실험을 통해, FedFace가 기존 사전학습된 모델들 보다 효과적임을 입증한다.

 

 

Method

알고리즘은 위 그림과 같이 진행 되는데, 여기서 중요한 점은 Class Embedding을 이용하여 내적, 서버로 전송하여 정규화를 하는 등, 중요한 역할을 한다는 것이다.

 

Positive Cosine Loss

클라이언트가 로컬 학습 과정에서 파라미터 $\theta$, $w$를 업데이트 할 때 사용하는 목적함수이다. 오직 본인의 데이터만을 이용하기 때문에, negative에 대한 학습은 하지않고, positive에 대해서만 학습을 한다. 수식은 아래와 같다.

 

$l_{pos}(f_{\theta_t}(x),i)=max(0,m-(w_t^i)^Tf_{\theta_i}(x))^2$

 

Feature Extractor를 통해 출력된 output과, class embedding vector를 내적하여 거리를 가깝도록 하는 방식이다. 위 수식에서 w는 클래스 임베딩벡터, i는 i번째 클라이언트, t는 communication round를, m은 margin을 의미한다.

 

 

Spreadout Regularizer

positive 데이터만을 이용해 학습을 하기 때문에, negative에 대한 정보가 부족한 편이다. 기존 모델을 negative 데이터를 이용해 거리를 더 멀어지도록 학습을 했지만, 연합학습 환경에서는 개인정보 문제로 불가능하다. 이를 해결하기 위해 FedFace는 각 클라이언트에서 학습된 class embedding들을 서버에서 수집하여 업데이트하는 방식을 채택하였다. 해당 수식은 아래와 같다.

 

 

이때, v는 margin을 의미하며, d는 거리함수이다. 이 부분은, 연합학습에서 negative부분을 학습하지 못하는 단점을 극복하지만, 클래스 임베딩 벡터를 서버로 전송하는 것은 원본 데이터가 아니라 할지라도, 개인정보를 침해할 여지가 있는 부분이다.

 

 

 

Experiment Results