sons dataStory

최대우도 추정: AIC와 BIC AIC, BIC 등 확률적 모델 선택을 위한 평가 기준은 최대우도추정(maximum kikelihood estimation) 을 근거로 작동합니다. 최대우도 추정은 관찰치를 근거로 반응변수(라벨)를 추정하는데 우도(likelihood, 가능도) 를 최대로 하기 위한 모델의 매개변수(paramenter)를 발견하는 것입니다. 예를 들어 사건의 발생(1) 확률이 μ, 발생하지 않을(0) 확률이 1-μ라 하고 샘플 (0, 1, 0, 0, 1, 0)이 이항분포를 따른다고 할 경우 최대우도 추정(L(μ))는 식 1과 같이 계산됩니다. \begin{align}P(x=1)&=\mu, \quad P(x=0)=1-\mu\\ \tag{식 1}L(\mu)&=P(x=0)\cdot P(x=1) \cdot P(x=0)\cdot P(x=0)\cdot P(x=1)\cdot P(x=0)\\ &=(1-\mu)\cdot \mu \cdot (1-\mu)\cdot(1-\mu)\cdot\mu\cdot(1-\mu)\cdot\\ &=(1-\mu)^4\mu^2 \end{align} 수학적 편의를 위해 식 1은 2와 같이 양변에 로그화를 진행하고 최대값을 산출하기 위해 μ에 대한 미분의 극값을 계산합니다. 즉, $\frac{\partial \log(\mu)}{\partial \mu} = 0$ \begin{align}&\begin{aligned}\log(L(\mu)) &= \log((1-\mu)^4\mu^2)\\ &=4\log(1-\mu)+2\log(\mu)\end{aligned}\\ &\tag{식 2} \frac{\partial \log(\mu)}{\partial \mu} = 0\\ & \Rightarrow 4\frac{1}{1-\mu}(-1)+2\frac{1}{\mu}=0\\ & \Rightarrow -4\mu+2-2\mu=0\\ & \Rightarrow \mu=\frac{1}...

최대우도추정(Maximum likelihood estimation) 회귀계수를 추정하기 위해 사용된 최소자승법 은 최대우도추정을 기반으로 합니다. 우도(likelihood) 는 사건이 특정 조건에서 발생할 수 있는 확률입니다. 최대우도추정량 은 각 사건의 우도가 최대가 되게 하는 통계 추정량을 의미하는 것으로 최소 제곱법에 의한 모델의 모수와 분산이 최대우도 추정량이 됩니다. 설명변수와 반응변수의 관계를 나타내는 회귀모델은 다양한 식으로 나타낼 수 있습니다( 회귀분석(Regression analysis)의 정의와 가정 참조 ). 그 중 최소제곱에 의한 회귀모델은 관측값과 추정값 사이의 차이인 오차를 최소로 할 수 있는 최적의 회귀선입니다. 회귀모델의 최종적인 목적은 오차의 최소에 있습니다. 이것은 각 샘플에서 발생할 수 있는 오차들의 중에서 최소제곱 모델에 의한 오차(추정치)의 발생확률이 가장 높을 것으로 기대할 수 있습니다. 또한 회귀분석의 기본가정에 의해 샘플 당 발생할 오차들의 분포는 정규분포를 따르므로 최대우도의 추정치는 평균이 됩니다. 최대우도를 발생하는 OLS 모델에 의한 계수와 분산이 최대우도추정량이 됩니다. 그 추정량의 조건하에 최대우도는 식 1과 같이 정규분포함수로 정의할 수 있습니다. 각 샘플의 오차분포는 독립적이므로 전체샘플의 우도는 각각의 곱으로 계산합니다. $$L(\beta, \sigma^2; y, X)=(2\pi \sigma^2)^{-\frac{n}{2}}\exp\left(-\frac{1}{2\sigma^2}\sum^n_{i=1}(y_i - x_i\beta)^2\right)$$ (식 1) 일반적으로 우도 함수를 로그화하여 로그우도함수로 나타냅니다(식 2). $$\log\left(L(\beta, \sigma^2; y, X)\right)=-\frac{n}{2}(2\pi \sigma^2)- \frac{1}{2\sigma^2}\sum^n_{i=1}(y_i - x_i\beta)^2$$ (식 2) 결과적으로 최대우도가 ...