Log Likelihood

Likelihood

Likelihood는 가능도라고 부르며, 특정 사건이 일어날 가능성 혹은 샘플들과 확률분포의 일관된 정도를 의미한다. 연속확률분포에서 확률은 왼쪽 그림과 같이 $x_1$ 과 $x_2$ 사이의 넓이를 의미한다. Likelihood는 $x_1$ 과 $x_2$ 의 확률분포의 값 $f_{\theta}(x_1)$, $f_{\theta}(x_2)$의 곱을 의미하는데, 여기서 $\theta$는 확률분포의 파라미터로 정규분포의 경우는 평균 μ와 표준편차 σ를 의미한다. Likelihood를 수식으로 표현하면 다음과 같다.

 

$L(\theta | x) = p_{\theta}(x_1, x_2, ..., x_n) = \Pi_{i=0}^n p_{\theta}(x_i)$

 

간단한 예를 들면 아래 그림과 같이 샘플 $a=(a_1, ..., a_n)$와 $b=(b_1, ..., b_n)$의 likelihood를 비교해 보면 샘플 $a$가 확률분포를 더 잘 반영하고 있어서 $L(\theta | a) > L(\theta | b)$이다. Maximum Likelihood Estimation은 샘플로부터 위와 같은 likelihood를 최대화하는 확률분포를 추정하는 방법이다.

 

 

Log Likelihood

Log Likelihodd는 말 그대로 Likelihood에 log연산을 한 것이다. 이러한 이유는 log 함수의 특징에 있는데, 곱 연산을 합연산으로 바꿀 수 있다는 점이다. 이러한 과정으로 계산과정에서의 복잡성을 줄이는 효과가 있다. 또한 log 함수는 단조함수이기 때문에, 순서 등의 관계를 바꾸지 않아도 된다. 수식은 아래와 같다.

 

$logL(\theta | x) = \sum_{i=0}^n log f_{\theta}(x_i)$