Log Likelihood

LikelihoodLikelihood는 가능도라고 부르며, 특정 사건이 일어날 가능성 혹은 샘플들과 확률분포의 일관된 정도를 의미한다. 연속확률분포에서 확률은 왼쪽 그림과 같이 $x_1$ 과 $x_2$ 사이의 넓이를 의미한다. Likelihood는 $x_1$ 과 $x_2$ 의 확률분포의 값 $f_{\theta}(x_1)$, $f_{\theta}(x_2)$의 곱을 의미하는데, 여기서 $\theta$는 확률분포의 파라미터로 정규분포의 경우는 평균 μ">μ와 표준편차 σ">σ를 의미한다. Likelihood를 수식으로 표현하면 다음과 같다. $L(\theta | x) = p_{\theta}(x_1, x_2, ..., x_n) = \Pi_{i=0}^n p_{\theta}(x_i)$ 간단..

• format_list_bulleted 딥러닝 이론/BasicML
• · 2024. 5. 16.
• textsms

공변량(convariate)

요약종속변수(dependent)에 대해 독립변수(independent)와 기타 잡음인자가 공유하는 변량을 의미한다. 독립변수독립변수는 연구자가 의도적으로 변화시키는 변수를 말한다. 통계에서 독립적이라는 말은 다른 변수에 영향을 받지 않는 다는 의미이며, 종속변수에 영향을 주는 변수를 의미한다.  종속변수종속변수는 독립변수에 영향을 받아서 변화하는 변수를 의미한다. 종속변수를 다른 말로 반응 변수(response variable) 혹은 결과 변수(outcome variable)라고도 불린다. 예를 들면, 서울시 지역구별 소득차이에 대한 분석에서 독립변수는 지역구, 지역구별 소득은 종속변수다.  공변량어떤 연구를 할 때의 주요 목적은 연구하고자 하는 독립변수들이 종속변수에 얼마나 영향을 주는지 알고자 하는 ..

• format_list_bulleted 딥러닝 이론/BasicML
• · 2024. 5. 9.
• textsms

Univariate time series

정의- 동일한 간격의 시간의 증가에 대해 순차적으로 기록된 한 개의 변수와 관찰치로 구성된 시계열. 특징- 단변량 시계열이라고 불리며, 한 열의 변수들로 주어져도 시간은 암묵적인 변수이므로 동일공간(시간)상에 있다면 명시적으로 주어지지 않을 수 있다.

• format_list_bulleted 딥러닝 이론/BasicML
• · 2024. 5. 9.
• textsms

Focal Loss

Summary- Easy negative sample에 대한 학습 weight를 줄이고, hard negative sample에 대한 weight를 늘리는 것으로 클래스 불균형 현상을 해결하는 cross entropy loss의 확장판. - 최초의 제안은 one-stage object detection 성능 향상을 위함. $FocalLoss(p_{t}) = -\alpha t(1-p_t)^{\gamma}log(p_t)$ 참고논문: https://arxiv.org/pdf/1708.02002Cross entropy loss많은 분야에서 사용하고 있는 cross entropy loss는 그 유용성을 증명하였지만, 잘 분류한 경우보다 잘못 예측한 경우에 대하여 페널티를 부여하는 것에 초점을 두는 단점이 있다. ..

• format_list_bulleted 딥러닝 이론/BasicML
• · 2024. 5. 8.
• textsms

L1 Norm, L2 Norm, L1 Loss, L2 Loss 차이점

딥러닝에서 많이 사용되고, 베이스가 되는 L1 Loss, L2 Loss에 대해 정리하려고 한다. NormNorm은 벡터의 크기를 측정하는 방법이다. 두 벡터 사이의 거리를 측정하는 방법이기도 하다. Norm에는 다양한 방법이 있지만, 대표적으로 사용되는 것이 L1 Norm과 L2 Norm이다.  L1 Norm$d_1(p,q) = ||p-q||_1 = \sum^{n}_{i=1} |p_i-q_i|$, where $p=(p_1,p_2,...,p_n)$ and $q=(q_1,q_2,q_n)$L1 Norm은 위 수식과 같이, 두 원소의 절대 값의 합이다. 원점을 기준으로 하였을 때는, 해당 지점의 절대 값을 구하는 것과 같다. 아래는 L1 Norm의 예시이다. p = (3, 1, -3)q = (5, 0, 7)$d..

• format_list_bulleted 딥러닝 이론/BasicML
• · 2023. 11. 10.
• textsms

Coarse-grained classification과 Fine-grained classification

Coarse-grained  VS  Fine-grainedCoarse-grained의 의미는 결이 거친, 조잡한 이라는 뜻이다. 반대로 Fine의 의미는 세밀한 이라는 뜻이다. 따라서 Coarse-grained classification은 Cifar10, Cifar100, MNIST 등의 데이터 셋을 이용하 이미지를 분류 하는 것 처럼, 큰 라벨을 가지고 분류하는 것을 의미한다. Fine-grained classification은 coarse-grained classification 보다 더 세밀하게 분류하는 것인데, 강아지의 품종을 구분 한다는 등의 예시가 있다.

• format_list_bulleted 딥러닝 이론/BasicML
• · 2023. 10. 30.
• textsms