[data analysis] 오차의 분산

오차의 분산

관련된 내용

• 회귀모델의 오차에 대해
• 자기상관분석(Autocorrelation Analysis)
• 오차의 분산

각 샘플의 추정치 또는 오차의 분포는 회귀계수에만 의존하므로 모든 샘플들에서 발생하는 분포의 분산은 동일하다고 가정합니다(표 1 참조). 그러나 다중회귀모델의 경우 여러 설명변수들 사이에 상관성(공분산의 존재)등으로 인해 이 가정을 만족시키지 못하는 경우가 대부분입니다. 공분산의 존재는 등분산 가정을 충족시키지 못하는 것으로 OLS에서 일반적으로 사용되는 통계적 추론 절차에 문제를 일으킵니다. 즉, 샘플링 분산을 추정하고 가설을 테스트하는 표준 방법이 편향된다는 것입니다. 그 결과 OLS에 의해 추정되는 회귀계수의 편향으로 예측의 신뢰가 감소될 수 있습니다.

등분산 가정이 충족되지 않는 경우 다음과 같이 방법으로 이 문제를 감소시킬 수 있습니다.

• 데이터 변환(예: 반응 변수 및/또는 설명 변수의 로그 취함)으로 일정한 분산을 달성
• 다중 설명변수들 중에 주요한 변수만을 선택
• 설명변수들 간에 정규화

회귀분석의 등분산성 가정을 수식으로 표현하면 식 1과 같습니다.

\begin{align}\text{Var}(e|X)& = E(ee^T)\\& = \sigma_e^2 \cdot I \end{align}

(식 1)

식 1에서 I는 항등행렬을 나타내는 것으로 σ_e²I는 각 샘플에서 발생하는 오차의 분산이 같다는 것을 의미합니다(식 2).

$$\sigma_e^2 \cdot I = \sigma_e^2\begin{bmatrix}1&0&\cdots&0\\0&1&\cdots&0\\ \vdots& \vdots& \ddots& \vdots\\ 0&0&\cdots&1\end{bmatrix}$$

(식 2)

회귀모형을 행렬시스템으로 나타내면 식 3와 같습니다.

\begin{align}y&=X\beta+\epsilon\\ \begin{bmatrix}y_1\\y_2\\\vdots\\y_n \end{bmatrix}&=\begin{bmatrix}1&x_{12}&\cdots&x_{1k}\\ 1&x_{22}&\cdots&x_{2k}\\\vdots&\vdots&\ddots&\vdots\\1&x_{n2}&\cdots&x_{nk}\end{bmatrix}\begin{bmatrix} \beta_1\\\beta_2\\\vdots\\\beta_k \end{bmatrix}+\begin{bmatrix}\epsilon_1\\\epsilon_2\\\vdots\\\epsilon_k \end{bmatrix}\\y:&\, \text{반응변수}(n × 1)\\ β =& [β_1, β_2, …, β_k], β_1=\text{편차항(intercept)}\\ X:&\, \text{설명변수}(n × k)\\ε:&\, \text{오차}(n × 1) \end{align}

(식 3)

식 3에서 나타낸 회귀모형에서 회귀 계수 벡터 β는 식 4와 같이 추정됩니다.

\begin{align}\hat{\beta} &=(X^TX)^{-1}X^Ty\\&= (X^TX)^{-1}X^T(X\beta+\epsilon)\\& = (X^TX)^{-1}(X^TX)\beta+(X^TX)^{-1}X^T\epsilon\\& = \beta+A\epsilon\\ &A= (X^TX)^{-1}X^T \\ &\hat{\beta}:\,\beta\text{의 추정량}\end{align}

(식 3)

β_pre은 식 3에서 나타낸 것과 같이 오차 분포를 갖는 확률변수입니다. 그러므로 평균과 분산을 계산할 수 있습니다.

분산은 정의에 의해 식 4와 같이 계산됩니다.

\begin{align}\sigma^2&=E(X-\mu)^2\\&=(x_1-\mu)^2P(X=x_1)+ \cdots+(x_k-\mu)^2P(X=x_k)\\&=\sum^k_{i=1} (x_k-\mu)^2P(X=x_k)\end{align}

(식 4)

이 식을 기반으로 회귀계수의 분산을 계산할 수 있습니다. 오차의 평균은 0이므로 식 3으로부터 $\hat{β}$의 평균은 β가 됩니다. 그러므로 설명변수들에 대한 회귀계수의 분산은 식 5와 같이 정의할 수 있습니다.

\begin{align}\text{Var}(\hat{β}|X) & = E[(\hat{β} − β)(\hat{β} − β)^T|X]\\& = AE[(\epsilon \epsilon^T)\vert X]A^T \end{align}

(식 5)

식 5에서 ε은 오차 즉, 랜덤변수이고 반응변수와 같은 차원 (n × 1)인 벡터입니다. 그러므로 εε^T의 차원은 (n × n)이 되며 이 역시 랜덤변수입니다. 이 랜덤변수의 기대값은 식 6과 같이 정방행렬로 나타낼 수 있습니다.

$$E[(\epsilon \epsilon^T)\vert X] = \begin{bmatrix}E[(\epsilon_1\epsilon_1)\vert X]& \cdots & E[(\epsilon_1\epsilon_n)\\ \vdots& \ddots& \vdots\\ E[(\epsilon_n\epsilon_1)& \cdots & E[(\epsilon_n\epsilon_n) \end{bmatrix}$$

(식 6)

오차의 평균이 0으로 가정했으므로 오차들의 내적에 대한 기대값은 E[(ε - 0)(ε - 0)^T]와 같이 분산과 공분산을 나타냅니다. 그러므로 식 6의 우항의 행렬의 대각 요소들은 자료의 각 샘플에서 생성되는 오차들의 분산, 대각 외 요소들은 공분산이 됩니다. 즉 식 6은 오차의 공분산 행렬이 됩니다. 위 공분산행렬은 식7과 같이 나타내기도 합니다.

\begin{align}E[(\epsilon \epsilon^T)\vert X] & = \begin{bmatrix}\rho_{11}& \cdots & \rho_{1n}\\ \vdots & \ddots & \vdots\\ \rho_{n1}& \cdots & \rho_{nn}\end{bmatrix}\\&=\sigma^2\begin{bmatrix}\omega_{11}& \cdots & \omega_{1n}\\ \vdots & \ddots & \vdots\\ \omega_{n1}& \cdots & \omega_{nn}\end{bmatrix}\\& = \sigma^2\Omega\\ & \omega_{ij}=\frac{\rho_{ij}}{\sigma^2}\end{align}

(식 7)

식 7에서 σ²은 모델 잔차의 분산으로 상수이며 분포의 크기를 결정하므로 scaling factor라고 하며 Ω는 ω를 요소로하는 (n × n) 차원의 공분산 행렬이 됩니다. 그러므로 ω의 대각요소는 각 오차의 분산이며 대각외 요소는 오차들의 공분산을 나타냅니다.

모델의 오차가 등분산을 충족하는 경우 Ω이 대각요소는 1이 됩니다. ω_ii = 1이 되고 오차의 상관성이 없다면 대각외 요소들은 0이 되는 것으로 식 8과 같이 표현할 수 있습니다.

\begin{align}E[(\epsilon \epsilon^T)\vert X] & = \sigma^2\begin{bmatrix} 1& \cdots & 0\\ \vdots & \ddots & \cdots \\ 0 & \cdots & 1\end{bmatrix}\\ &= \sigma^2 I \end{align}

(식 8)

식 5에 식 8을 적용하면 식 9와 같이 정리할 수 있습니다.

Var(βpre|X)	= AE[(εεT)|X]AT	(식 9)
	= Aσ2AT
	= σ2AAT
	= σ2(XTX)-1XT((XTX)-1XT)T
	= σ2(XTX)-1XTX((XTX)-1)T
	= σ2(XTX)-1XTX(XTX)-1
	= σ2(XTX)-1

행렬 X의 전치행렬 X^T와의 행렬곱은 대각요소를 기준으로 양쪽이 같은 대칭행렬이 되며 대칭행렬은 역행렬과 전치행렬은 같습니다(식 10). 식 9는 이러한 대칭행렬은 특성을 적용한 것입니다.

(XTX)-1 = ((XTX)-1)T

(식 10)

다음은 식 10를 확인하기 위한 예이며 코드의 @은 행렬곱을 위한 연산자입니다.

np.random.seed(3)
x=np.random.randint(0, 10, size=(2,3))
print(x)

[[8 9 3]
 [8 8 0]]

xtx=x.T@x
print(xtx)

[[128 136  24]
 [136 145  27]
 [ 24  27   9]]

역행렬 계산은 np.linalg.inv() 함수를 사용하고 위 객체와의 동일 여부를 확인하기 위해 np.allclose()를 적용합니다.

xtx_inv=la.inv(xtx)
np.allclose(xtx_inv, xtx_inv.T)

True

회귀분석에서 등분산의 전제조건이 충족되지 않는 경우 오차의 공분산 행렬은 σ²I가 될 수 없습니다. 그러므로 식 8에 의해 분산을 계산하는 것은 부정확한 결과를 나타냅니다. 예를 들어 자기 상관성을 가지는 데이터의 경우 최소추정량(OLS) 모델은 더이상 BLUE(Best Linear Unbiased Estimator)가 되지 못합니다. 즉, OLS의 추정량은 불편성(unbiasedness)은 유지할 수 있으나 분산이 하향 편의가 되어 신뢰구간을 위축시키고 검정 통계량이 이상적으로 커짐으로 귀무가설의 부당한 기각 즉, 1종 오류(α오류)를 증가시킬 수 있습니다. 결과적으로 SSE를 과소평가하여 R²를 증가시킵니다.