[논문리뷰]FedFace: Collaborative Learning of Face Recognition Model

FedFace: Collaborative Learning of Face Recognition Model 저자: Divyansh Aggarwal, Jiayu Zhou, Anil K. Jai 요약: Spreadout Regularizer를 이용한 연합학습 기반 안면 인증 Github: https://github.com/illidanlab/fedface Paper(arxiv): https://arxiv.org/pdf/2104.03008.pdf Conference: Abstract & Introduction DNN 기반 안면 인증 모데은 대규모의 안면 데이터를 학습을 위해 필요로한다. 그러나, 점점 증가하는 개인정보 보호에 대한 관심과 법적 규제에 따라, 안면 데이터셋을 공유하거나 접근하는 것은 어려워졌다. 우..

• format_list_bulleted 딥러닝 논문 리뷰/Federated Learning
• · 2024. 1. 5.
• textsms

L1 Norm, L2 Norm, L1 Loss, L2 Loss 차이점

딥러닝에서 많이 사용되고, 베이스가 되는 L1 Loss, L2 Loss에 대해 정리하려고 한다. NormNorm은 벡터의 크기를 측정하는 방법이다. 두 벡터 사이의 거리를 측정하는 방법이기도 하다. Norm에는 다양한 방법이 있지만, 대표적으로 사용되는 것이 L1 Norm과 L2 Norm이다.  L1 Norm$d_1(p,q) = ||p-q||_1 = \sum^{n}_{i=1} |p_i-q_i|$, where $p=(p_1,p_2,...,p_n)$ and $q=(q_1,q_2,q_n)$L1 Norm은 위 수식과 같이, 두 원소의 절대 값의 합이다. 원점을 기준으로 하였을 때는, 해당 지점의 절대 값을 구하는 것과 같다. 아래는 L1 Norm의 예시이다. p = (3, 1, -3)q = (5, 0, 7)$d..

• format_list_bulleted 딥러닝 이론/BasicML
• · 2023. 11. 10.
• textsms

Coarse-grained classification과 Fine-grained classification

Coarse-grained  VS  Fine-grainedCoarse-grained의 의미는 결이 거친, 조잡한 이라는 뜻이다. 반대로 Fine의 의미는 세밀한 이라는 뜻이다. 따라서 Coarse-grained classification은 Cifar10, Cifar100, MNIST 등의 데이터 셋을 이용하 이미지를 분류 하는 것 처럼, 큰 라벨을 가지고 분류하는 것을 의미한다. Fine-grained classification은 coarse-grained classification 보다 더 세밀하게 분류하는 것인데, 강아지의 품종을 구분 한다는 등의 예시가 있다.

• format_list_bulleted 딥러닝 이론/BasicML
• · 2023. 10. 30.
• textsms

[논문리뷰] SupCon: Supervised Contrastive Learning

Supervised Contrastive Learning 저자 : Prannay Khosla(Google Research), Piotr Teterwak(Boston University), Chen Wang (Snap Inc.), Aaron Sarna(Google Research), Yonglong Tian(MIT), Phillip Isola(MIT), Aaron Maschinot(Google Research), Ce Liu(Google Research), Dilip Krishnan(Google Research) 요약 : 기존 Self-supervised 학습의 문제를 해결하고, Supervised 학습 과정에서 라벨 정보를 활용하는 Supervised Contrastive loss 제안. 실험을 통해 제..

• format_list_bulleted 딥러닝 논문 리뷰/Computer Vision
• · 2023. 10. 25.
• textsms