sons dataStory

최대우도추정(Maximum likelihood estimation) 회귀계수를 추정하기 위해 사용된 최소자승법 은 최대우도추정을 기반으로 합니다. 우도(likelihood) 는 사건이 특정 조건에서 발생할 수 있는 확률입니다. 최대우도추정량 은 각 사건의 우도가 최대가 되게 하는 통계 추정량을 의미하는 것으로 최소 제곱법에 의한 모델의 모수와 분산이 최대우도 추정량이 됩니다. 설명변수와 반응변수의 관계를 나타내는 회귀모델은 다양한 식으로 나타낼 수 있습니다( 회귀분석(Regression analysis)의 정의와 가정 참조 ). 그 중 최소제곱에 의한 회귀모델은 관측값과 추정값 사이의 차이인 오차를 최소로 할 수 있는 최적의 회귀선입니다. 회귀모델의 최종적인 목적은 오차의 최소에 있습니다. 이것은 각 샘플에서 발생할 수 있는 오차들의 중에서 최소제곱 모델에 의한 오차(추정치)의 발생확률이 가장 높을 것으로 기대할 수 있습니다. 또한 회귀분석의 기본가정에 의해 샘플 당 발생할 오차들의 분포는 정규분포를 따르므로 최대우도의 추정치는 평균이 됩니다. 최대우도를 발생하는 OLS 모델에 의한 계수와 분산이 최대우도추정량이 됩니다. 그 추정량의 조건하에 최대우도는 식 1과 같이 정규분포함수로 정의할 수 있습니다. 각 샘플의 오차분포는 독립적이므로 전체샘플의 우도는 각각의 곱으로 계산합니다. $$L(\beta, \sigma^2; y, X)=(2\pi \sigma^2)^{-\frac{n}{2}}\exp\left(-\frac{1}{2\sigma^2}\sum^n_{i=1}(y_i - x_i\beta)^2\right)$$ (식 1) 일반적으로 우도 함수를 로그화하여 로그우도함수로 나타냅니다(식 2). $$\log\left(L(\beta, \sigma^2; y, X)\right)=-\frac{n}{2}(2\pi \sigma^2)- \frac{1}{2\sigma^2}\sum^n_{i=1}(y_i - x_i\beta)^2$$ (식 2) 결과적으로 최대우도가 ...