Focal Loss

Summary- Easy negative sample에 대한 학습 weight를 줄이고, hard negative sample에 대한 weight를 늘리는 것으로 클래스 불균형 현상을 해결하는 cross entropy loss의 확장판. - 최초의 제안은 one-stage object detection 성능 향상을 위함. $FocalLoss(p_{t}) = -\alpha t(1-p_t)^{\gamma}log(p_t)$ 참고논문: https://arxiv.org/pdf/1708.02002Cross entropy loss많은 분야에서 사용하고 있는 cross entropy loss는 그 유용성을 증명하였지만, 잘 분류한 경우보다 잘못 예측한 경우에 대하여 페널티를 부여하는 것에 초점을 두는 단점이 있다. ..

• format_list_bulleted 딥러닝 이론/BasicML
• · 2024. 5. 8.
• textsms

Coarse-grained classification과 Fine-grained classification

Coarse-grained  VS  Fine-grainedCoarse-grained의 의미는 결이 거친, 조잡한 이라는 뜻이다. 반대로 Fine의 의미는 세밀한 이라는 뜻이다. 따라서 Coarse-grained classification은 Cifar10, Cifar100, MNIST 등의 데이터 셋을 이용하 이미지를 분류 하는 것 처럼, 큰 라벨을 가지고 분류하는 것을 의미한다. Fine-grained classification은 coarse-grained classification 보다 더 세밀하게 분류하는 것인데, 강아지의 품종을 구분 한다는 등의 예시가 있다.

• format_list_bulleted 딥러닝 이론/BasicML
• · 2023. 10. 30.
• textsms

[논문리뷰] SupCon: Supervised Contrastive Learning

Supervised Contrastive Learning 저자 : Prannay Khosla(Google Research), Piotr Teterwak(Boston University), Chen Wang (Snap Inc.), Aaron Sarna(Google Research), Yonglong Tian(MIT), Phillip Isola(MIT), Aaron Maschinot(Google Research), Ce Liu(Google Research), Dilip Krishnan(Google Research) 요약 : 기존 Self-supervised 학습의 문제를 해결하고, Supervised 학습 과정에서 라벨 정보를 활용하는 Supervised Contrastive loss 제안. 실험을 통해 제..

• format_list_bulleted 딥러닝 논문 리뷰/Computer Vision
• · 2023. 10. 25.
• textsms