[data analysis] 오차의 분산

오차의 분산

관련된 내용

• 회귀모델의 오차에 대해
• 자기상관분석(Autocorrelation Analysis)
• 오차의 분산

각 샘플의 추정치 또는 오차의 분포는 회귀계수에만 의존하므로 모든 샘플들에서 발생하는 분포의 분산은 동일하다고 가정합니다(표 1 참조). 그러나 다중회귀모델의 경우 여러 설명변수들 사이에 상관성(공분산의 존재)등으로 인해 이 가정을 만족시키지 못하는 경우가 대부분입니다. 공분산의 존재는 등분산 가정을 충족시키지 못하는 것으로 OLS에서 일반적으로 사용되는 통계적 추론 절차에 문제를 일으킵니다. 즉, 샘플링 분산을 추정하고 가설을 테스트하는 표준 방법이 편향된다는 것입니다. 그 결과 OLS에 의해 추정되는 회귀계수의 편향으로 예측의 신뢰가 감소될 수 있습니다.

등분산 가정이 충족되지 않는 경우 다음과 같이 방법으로 이 문제를 감소시킬 수 있습니다.

• 데이터 변환(예: 반응 변수 및/또는 설명 변수의 로그 취함)으로 일정한 분산을 달성
• 다중 설명변수들 중에 주요한 변수만을 선택
• 설명변수들 간에 정규화

회귀분석의 등분산성 가정을 수식으로 표현하면 식 1과 같습니다.

$$\begin{array}{rl}\text{Var}(e|X)& =\hspace{0.5em}E(e{e}^T)\\ & ={\sigma }_e^2\cdot I\end{array}$$

(식 1)

식 1에서 I는 항등행렬을 나타내는 것으로 σ_e²I는 각 샘플에서 발생하는 오차의 분산이 같다는 것을 의미합니다(식 2).

$${\sigma }_e^2\cdot I={\sigma }_e^2\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1\end{array}\right]$$

(식 2)

회귀모형을 행렬시스템으로 나타내면 식 3와 같습니다.

$$\begin{array}{rl}y& =X\beta +ϵ\\ \left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]& =\left[\begin{array}{cccc}1& x_{12}& \cdots & x_{1k}\\ 1& x_{22}& \cdots & x_{2k}\\ ⋮& ⋮& \ddots & ⋮\\ 1& x_{n2}& \cdots & x_{nk}\end{array}\right]\left[\begin{array}{c}{\beta }_1\\ {\beta }_2\\ ⋮\\ {\beta }_k\end{array}\right]+\left[\begin{array}{c}{ϵ}_1\\ {ϵ}_2\\ ⋮\\ {ϵ}_k\end{array}\right]\\ y:& \text{반응변수}(n\times 1)\\ \beta =& [{\beta }_1,{\beta }_2,\dots ,{\beta }_k],{\beta }_1=\text{편차항(intercept)}\\ X:& \text{설명변수}(n\times k)\\ \epsilon :& \text{오차}(n\times 1)\end{array}$$

(식 3)

식 3에서 나타낸 회귀모형에서 회귀 계수 벡터 β는 식 4와 같이 추정됩니다.

$$\begin{array}{rl}\hat{\beta }& =(X^{T}X{)}^{-1}{X}^{T}y\\ & =(X^{T}X{)}^{-1}{X}^T(X\beta +ϵ)\\ & =(X^{T}X{)}^{-1}(X^{T}X)\beta +(X^{T}X{)}^{-1}{X}^Tϵ\\ & =\beta +Aϵ\\ & A=(X^{T}X{)}^{-1}{X}^T\\ & \hat{\beta }:\beta \text{의 추정량}\end{array}$$

(식 3)

β_pre은 식 3에서 나타낸 것과 같이 오차 분포를 갖는 확률변수입니다. 그러므로 평균과 분산을 계산할 수 있습니다.

분산은 정의에 의해 식 4와 같이 계산됩니다.

$$\begin{array}{rl}{\sigma }^2& =E(X-\mu {)}^2\\ & =(x_1-\mu {)}^{2}P(X=x_1)+\cdots +(x_k-\mu {)}^{2}P(X=x_k)\\ & =\sum _{i=1}^k(x_k-\mu {)}^{2}P(X=x_k)\end{array}$$

(식 4)

이 식을 기반으로 회귀계수의 분산을 계산할 수 있습니다. 오차의 평균은 0이므로 식 3으로부터 $\hat{\beta }$의 평균은 β가 됩니다. 그러므로 설명변수들에 대한 회귀계수의 분산은 식 5와 같이 정의할 수 있습니다.

$$\begin{array}{rl}\text{Var}(\hat{\beta }|X)& \hspace{0.5em}=\hspace{0.5em}E[(\hat{\beta }-\beta )(\hat{\beta }-\beta {)}^T|X]\\ & =AE[(ϵ{ϵ}^T)|X]A^T\end{array}$$

(식 5)

식 5에서 ε은 오차 즉, 랜덤변수이고 반응변수와 같은 차원 (n × 1)인 벡터입니다. 그러므로 εε^T의 차원은 (n × n)이 되며 이 역시 랜덤변수입니다. 이 랜덤변수의 기대값은 식 6과 같이 정방행렬로 나타낼 수 있습니다.

$$E[(ϵ{ϵ}^T)|X]=\left[\begin{array}{ccc}E[({ϵ}_1{ϵ}_1)|X]& \cdots & E[({ϵ}_1{ϵ}_n)\\ ⋮& \ddots & ⋮\\ E[({ϵ}_n{ϵ}_1)& \cdots & E[({ϵ}_n{ϵ}_n)\end{array}\right]$$

(식 6)

오차의 평균이 0으로 가정했으므로 오차들의 내적에 대한 기대값은 E[(ε - 0)(ε - 0)^T]와 같이 분산과 공분산을 나타냅니다. 그러므로 식 6의 우항의 행렬의 대각 요소들은 자료의 각 샘플에서 생성되는 오차들의 분산, 대각 외 요소들은 공분산이 됩니다. 즉 식 6은 오차의 공분산 행렬이 됩니다. 위 공분산행렬은 식7과 같이 나타내기도 합니다.

$$\begin{array}{rl}E[(ϵ{ϵ}^T)|X]& =\left[\begin{array}{ccc}{\rho }_{11}& \cdots & {\rho }_{1n}\\ ⋮& \ddots & ⋮\\ {\rho }_{n1}& \cdots & {\rho }_{nn}\end{array}\right]\\ & ={\sigma }^2\left[\begin{array}{ccc}{\omega }_{11}& \cdots & {\omega }_{1n}\\ ⋮& \ddots & ⋮\\ {\omega }_{n1}& \cdots & {\omega }_{nn}\end{array}\right]\\ & ={\sigma }^2\mathrm{\Omega }\\ & {\omega }_{ij}=\frac{{\rho }_{ij}}{{\sigma }^2}\end{array}$$

(식 7)

식 7에서 σ²은 모델 잔차의 분산으로 상수이며 분포의 크기를 결정하므로 scaling factor라고 하며 Ω는 ω를 요소로하는 (n × n) 차원의 공분산 행렬이 됩니다. 그러므로 ω의 대각요소는 각 오차의 분산이며 대각외 요소는 오차들의 공분산을 나타냅니다.

모델의 오차가 등분산을 충족하는 경우 Ω이 대각요소는 1이 됩니다. ω_ii = 1이 되고 오차의 상관성이 없다면 대각외 요소들은 0이 되는 것으로 식 8과 같이 표현할 수 있습니다.

$$\begin{array}{rl}E[(ϵ{ϵ}^T)|X]& ={\sigma }^2\left[\begin{array}{ccc}1& \cdots & 0\\ ⋮& \ddots & \cdots \\ 0& \cdots & 1\end{array}\right]\\ & ={\sigma }^{2}I\end{array}$$

(식 8)

식 5에 식 8을 적용하면 식 9와 같이 정리할 수 있습니다.

Var(βpre|X)	= AE[(εεT)|X]AT	(식 9)
	= Aσ2AT
	= σ2AAT
	= σ2(XTX)-1XT((XTX)-1XT)T
	= σ2(XTX)-1XTX((XTX)-1)T
	= σ2(XTX)-1XTX(XTX)-1
	= σ2(XTX)-1

행렬 X의 전치행렬 X^T와의 행렬곱은 대각요소를 기준으로 양쪽이 같은 대칭행렬이 되며 대칭행렬은 역행렬과 전치행렬은 같습니다(식 10). 식 9는 이러한 대칭행렬은 특성을 적용한 것입니다.

(XTX)-1 = ((XTX)-1)T

(식 10)

다음은 식 10를 확인하기 위한 예이며 코드의 @은 행렬곱을 위한 연산자입니다.

np.random.seed(3)
x=np.random.randint(0, 10, size=(2,3))
print(x)

[[8 9 3]
 [8 8 0]]

xtx=x.T@x
print(xtx)

[[128 136  24]
 [136 145  27]
 [ 24  27   9]]

역행렬 계산은 np.linalg.inv() 함수를 사용하고 위 객체와의 동일 여부를 확인하기 위해 np.allclose()를 적용합니다.

xtx_inv=la.inv(xtx)
np.allclose(xtx_inv, xtx_inv.T)

True

회귀분석에서 등분산의 전제조건이 충족되지 않는 경우 오차의 공분산 행렬은 σ²I가 될 수 없습니다. 그러므로 식 8에 의해 분산을 계산하는 것은 부정확한 결과를 나타냅니다. 예를 들어 자기 상관성을 가지는 데이터의 경우 최소추정량(OLS) 모델은 더이상 BLUE(Best Linear Unbiased Estimator)가 되지 못합니다. 즉, OLS의 추정량은 불편성(unbiasedness)은 유지할 수 있으나 분산이 하향 편의가 되어 신뢰구간을 위축시키고 검정 통계량이 이상적으로 커짐으로 귀무가설의 부당한 기각 즉, 1종 오류(α오류)를 증가시킬 수 있습니다. 결과적으로 SSE를 과소평가하여 R²를 증가시킵니다.