[data analysis] 최대우도추정(Maximum likelihood estimation)

최대우도추정(Maximum likelihood estimation)

회귀계수를 추정하기 위해 사용된 최소자승법은 최대우도추정을 기반으로 합니다.

우도(likelihood)는 사건이 특정 조건에서 발생할 수 있는 확률입니다. 최대우도추정량은 각 사건의 우도가 최대가 되게 하는 통계 추정량을 의미하는 것으로 최소 제곱법에 의한 모델의 모수와 분산이 최대우도 추정량이 됩니다.

설명변수와 반응변수의 관계를 나타내는 회귀모델은 다양한 식으로 나타낼 수 있습니다(회귀분석(Regression analysis)의 정의와 가정 참조). 그 중 최소제곱에 의한 회귀모델은 관측값과 추정값 사이의 차이인 오차를 최소로 할 수 있는 최적의 회귀선입니다. 회귀모델의 최종적인 목적은 오차의 최소에 있습니다. 이것은 각 샘플에서 발생할 수 있는 오차들의 중에서 최소제곱 모델에 의한 오차(추정치)의 발생확률이 가장 높을 것으로 기대할 수 있습니다. 또한 회귀분석의 기본가정에 의해 샘플 당 발생할 오차들의 분포는 정규분포를 따르므로 최대우도의 추정치는 평균이 됩니다. 최대우도를 발생하는 OLS 모델에 의한 계수와 분산이 최대우도추정량이 됩니다. 그 추정량의 조건하에 최대우도는 식 1과 같이 정규분포함수로 정의할 수 있습니다. 각 샘플의 오차분포는 독립적이므로 전체샘플의 우도는 각각의 곱으로 계산합니다.

$$L(\beta, \sigma^2; y, X)=(2\pi \sigma^2)^{-\frac{n}{2}}\exp\left(-\frac{1}{2\sigma^2}\sum^n_{i=1})y_i - x_i\beta)^2\right)$$

(식 1)

일반적으로 우도 함수를 로그화하여 로그우도함수로 나타냅니다(식 2).

$$\log\left(L(\beta, \sigma^2; y, X)\right)=-\frac{n}{2}(2\pi \sigma^2)- \frac{1}{2\sigma^2}\sum^n_{i=1})y_i - x_i\beta)^2$$

(식 2)

결과적으로 최대우도가 증가한다는 것은 모델에 의한 추정치가 관측치일 가능성이 증가한다는 것으로 모델의 적합도를 나타냅니다.

식 2로 계산되는 로그최대우도는 statsmodels.formula.api.ols() 클래스에 의한 회귀분석의 결과로 확인할 수 있습니다.

예 1)

kospi 지수의 일일 주가 자료중 시가(Open)을 설명변수로 하여 종가(Close)를 추정하는 회귀모델을 작성합니다.

	Open	Close
0	2874.50	2944.45
1	2943.67	2990.57
2	2993.34	2968.21
⋮	⋮	⋮

다음 코드는 분석을 위한 자료를 호출하기 위한 것입니다.

st=pd.Timestamp(2021,1, 1)
et=pd.Timestamp(2024, 5, 10)
kos=fdr.DataReader('KS11',st, et)[["Open","Close"]]
kos.index=range(len(kos))
kos.head(3).round(2) 

	Open	Close
0	2201.21	2175.17
1	2192.58	2176.46
2	2154.97	2155.07

위 자료를 표준화합니다.

X=kos.values[:,0].reshape(-1,1)
y=kos.values[:,1].reshape(-1,1)
from sklearn.preprocessing import StandardScaler 
#독립변수 정규화(표준화)
xScaler=StandardScaler().fit(X)
X_n=xScaler.transform(X)
#반응변수 정규화(표준화)
yScaler=StandardScaler().fit(y)
y_n=yScaler.transform(y))

statsmodels.api.OLS() 클래스를 적용하여 생성한 회귀모델의 메서드 summary()는 이 모델의 결과를 나타내고 있습니다. 이 결과는 3개의 표로 출력되며 모든 내용은 단순회귀분석(Simple regression) 예 1에서 확인할 할 수 있습니다. 다음 코드와 같이 reg.summary()의 .tables 속성을 사용하여 각 표를 분리하여 나타낼 수 있습니다.

import statsmodels.api as sm
X_n0=sm.add_constant(X_n)
reg=sm.OLS(y_n, X_n0).fit()
re=reg.summary()
re.tables[0]

OLS Regression Results

Dep. Variable:	y	R-squared:	0.994
Model:	OLS	Adj. R-squared:	0.994
Method:	Least Squares	F-statistic:	1.411e+05
Date:	Wed, 04 Sep 2024	Prob (F-statistic):	0.00
Time:	12:34:55	Log-Likelihood:	955.08
No. Observations:	827	AIC:	-1906.
Df Residuals:	825	BIC:	-1897.
Df Model:	1
Covariance Type:	nonrobust

위 결과에서 Log-Likelihood는 952.04입니다. 다음 코드는 식 2를 사용하여 이 값을 다시 계산한 것입니다.

OLS() 클래스에 의해 생성된 모델의 속성 .res는 모델 설정에 사용된 각 샘플의 잔차를 나타냅니다.

n,p=X_n0.shape
res=reg.resid
mu, v=np.mean(res), np.var(res)
log_lh=(-n/2)*np.log(2*np.pi*v)-1/(2*v)*np.sum(res**2)
round(log_lh, 2)

955.08

위 우도함수는 오차의 정규분포함수이므로 scipy.stats.norm.pdf() 함수를 사용하여 계산할 수 있습니다.

p=stats.norm.pdf(res, mu, np.std(res))
np.sum(np.log(p)).round(2)

955.08