최대우도추정(Maximum likelihood estimation)
회귀계수를 추정하기 위해 사용된 최소자승법은 최대우도추정을 기반으로 합니다.
우도(likelihood)는 사건이 특정 조건에서 발생할 수 있는 확률입니다. 최대우도추정량은 각 사건의 우도가 최대가 되게 하는 통계 추정량을 의미하는 것으로 최소 제곱법에 의한 모델의 모수와 분산이 최대우도 추정량이 됩니다.
설명변수와 반응변수의 관계를 나타내는 회귀모델은 다양한 식으로 나타낼 수 있습니다(회귀분석(Regression analysis)의 정의와 가정 참조). 그 중 최소제곱에 의한 회귀모델은 관측값과 추정값 사이의 차이인 오차를 최소로 할 수 있는 최적의 회귀선입니다. 회귀모델의 최종적인 목적은 오차의 최소에 있습니다. 이것은 각 샘플에서 발생할 수 있는 오차들의 중에서 최소제곱 모델에 의한 오차(추정치)의 발생확률이 가장 높을 것으로 기대할 수 있습니다. 또한 회귀분석의 기본가정에 의해 샘플 당 발생할 오차들의 분포는 정규분포를 따르므로 최대우도의 추정치는 평균이 됩니다. 최대우도를 발생하는 OLS 모델에 의한 계수와 분산이 최대우도추정량이 됩니다. 그 추정량의 조건하에 최대우도는 식 1과 같이 정규분포함수로 정의할 수 있습니다. 각 샘플의 오차분포는 독립적이므로 전체샘플의 우도는 각각의 곱으로 계산합니다.
| (식 1) |
일반적으로 우도 함수를 로그화하여 로그우도함수로 나타냅니다(식 2).
| (식 2) |
결과적으로 최대우도가 증가한다는 것은 모델에 의한 추정치가 관측치일 가능성이 증가한다는 것으로 모델의 적합도를 나타냅니다.
식 2로 계산되는 로그최대우도는 statsmodels.formula.api.ols() 클래스에 의한 회귀분석의 결과로 확인할 수 있습니다.
예 1)
kospi 지수의 일일 주가 자료중 시가(Open)을 설명변수로 하여 종가(Close)를 추정하는 회귀모델을 작성합니다.
| Open | Close | |
|---|---|---|
| 0 | 2874.50 | 2944.45 |
| 1 | 2943.67 | 2990.57 |
| 2 | 2993.34 | 2968.21 |
| ⋮ | ⋮ | ⋮ |
다음 코드는 분석을 위한 자료를 호출하기 위한 것입니다.
st=pd.Timestamp(2021,1, 1)
et=pd.Timestamp(2024, 5, 10)
kos=fdr.DataReader('KS11',st, et)[["Open","Close"]]
kos.index=range(len(kos))
kos.head(3).round(2)
| Open | Close | ||
|---|---|---|---|
| 0 | 2201.21 | 2175.17 | |
| 1 | 2192.58 | 2176.46 | |
| 2 | 2154.97 | 2155.07 |
위 자료를 표준화합니다.
X=kos.values[:,0].reshape(-1,1) y=kos.values[:,1].reshape(-1,1) from sklearn.preprocessing import StandardScaler #독립변수 정규화(표준화) xScaler=StandardScaler().fit(X) X_n=xScaler.transform(X) #반응변수 정규화(표준화) yScaler=StandardScaler().fit(y) y_n=yScaler.transform(y))
statsmodels.api.OLS() 클래스를 적용하여 생성한 회귀모델의 메서드 summary()는 이 모델의 결과를 나타내고 있습니다. 이 결과는 3개의 표로 출력되며 모든 내용은 단순회귀분석(Simple regression) 예 1에서 확인할 할 수 있습니다. 다음 코드와 같이 reg.summary()의 .tables 속성을 사용하여 각 표를 분리하여 나타낼 수 있습니다.
import statsmodels.api as sm X_n0=sm.add_constant(X_n) reg=sm.OLS(y_n, X_n0).fit() re=reg.summary() re.tables[0]
| Dep. Variable: | y | R-squared: | 0.994 |
|---|---|---|---|
| Model: | OLS | Adj. R-squared: | 0.994 |
| Method: | Least Squares | F-statistic: | 1.411e+05 |
| Date: | Wed, 04 Sep 2024 | Prob (F-statistic): | 0.00 |
| Time: | 12:34:55 | Log-Likelihood: | 955.08 |
| No. Observations: | 827 | AIC: | -1906. |
| Df Residuals: | 825 | BIC: | -1897. |
| Df Model: | 1 | ||
| Covariance Type: | nonrobust |
위 결과에서 Log-Likelihood는 952.04입니다. 다음 코드는 식 2를 사용하여 이 값을 다시 계산한 것입니다.
OLS() 클래스에 의해 생성된 모델의 속성 .res는 모델 설정에 사용된 각 샘플의 잔차를 나타냅니다.
n,p=X_n0.shape res=reg.resid mu, v=np.mean(res), np.var(res) log_lh=(-n/2)*np.log(2*np.pi*v)-1/(2*v)*np.sum(res**2) round(log_lh, 2)
955.08
위 우도함수는 오차의 정규분포함수이므로 scipy.stats.norm.pdf() 함수를 사용하여 계산할 수 있습니다.
p=stats.norm.pdf(res, mu, np.std(res)) np.sum(np.log(p)).round(2)
955.08
댓글
댓글 쓰기