sons dataStory

회귀모형의 평가 회귀분석은 확률에 기반한 것으로 그 모형에 의한 추정값은 관측값과 차이를 발생시킵니다. 모형의 평가는 그 차이의 수준을 용인할 수 있는지에 대한 평가로서 앞서 소개한 분산분석 을 적용합니다. 분산분석은 여러개의 그룹 (변수)들 사이에 일어나는 각각의 변동(분산)을 비교하여 일반적으로 일어날 수 있는 수준인지를 판단하는 것입니다. 그림 1에 나타낸 것과 같이 관측치 y의 불편추정치(unbiased estimator)로 그 값들의 평균 $\bar{y}$이 사용됩니다. 평균값이 회귀모형에 의한 예측치 $\hat{y}$와 일치한다면 회귀분석의 의미는 없어집니다. 즉, 회귀모델이 적합하다면 평균과 추정치 사이에 차이가 발생하며 추정치와 관측치 사이에 오차가 발생됩니다. 적합한 회귀모형에 의한 반응변수의 평균과 예측값 그리고 관측값(y) 사이의 관계는 식 1과 같이 정의할 수 있습니다. $$(\bar{y}-y)^2=(\bar{y}-\hat{y})^2+(\bar{y}-y)^2+\alpha$$ (식 1) 그림 1. 회귀모델에서의 SST, SSReg, SSE. x=np.linspace(-1, 2, 100) y=x+0.5 plt.figure(figsize=(4,3)) plt.plot(x, y, color="g", label="regression") plt.hlines(1.7, -1, 2, color="k", ls="--", label="mean line") plt.scatter(0.25, 1.7, s=20, color="k", label=r"$\bar{y}$") plt.scatter(0.25, 0.75, s=20, color="r", label=r"$\hat{y}$") plt.scatter(0.25, 0, s=20, color="b", label=r"$y...

최소자승법(Least Square method) 식 1의 형태인 회귀선(회귀방정식)은 설명변수에 대응하는 반응변수의 관계를 설명하기 위해 통계적으로 추정된 방정식입니다. 이 모형으로부터의 예측값 역시 통계적으로 추정된 값으로 실제로 관측된 값과는 차이가 존재합니다. 그러므로 추정값과 관측값과의 차이를 평가하여 모형의 적합성 여부를 결정할 필요가 있습니다. y = β 0 + β 1 x + ε (식 1) x: 설명변수 y: 반응변수 β 0 : 편차 β 1 : 회귀계수(가중치) ε : 오차 모형의 구성요소인 편차 β 0 와 회귀계수 β 1 은 모집단의 회귀모형에 대한 것으로 미지의 값(unknown value)인 모수이므로 표본의 통계량으로부터 추정되어야 합니다. 이를 구분하기 위해 표본집단의 편차와 회귀계수를 각각 b 0 와 b 1 로 나타내며 모수를 추정하기 위한 불편추정치(unbiased estimator) 로 사용합니다. 이 추정치들 중 관측치와 실측치의 차이인 오차(error, e) 또는 잔차(residual) 는 식 2와 같이 계산됩니다. \begin{align} e & = y − (b_0+ b_1x)\\ &=y − \hat{y}\\& e: \text{오차 또는 잔차}\\ &\hat{y}: \text{추정치}\end{align} (식 2) 자료에서 발생하는 각 샘플의 오차는 음수와 양수 모두 가능하므로 그들의 합은 0에 근접하기 때문에 회귀모형의 적합성을 위한 판단근거로 사용할 수 없습니다. 대신에 각 오차의 절대값이나 제곱값들의 합을 사용합니다. 절대값을 사용하는 경우는 1차 식이되며 제곱을 적용한 경우는 2차 식이 됩니다. 회귀모형을 나타내는 회귀선(기울기와 편차)은 다양하게 나타낼 수 있습니다( 회귀분석의 정의와 가정의 그림 2 참조 ). 오차는 회귀식과 설명변수에 반응하는 결과로서 궁극적으로 최소의 오차를 생성하는 회귀식이 최적의 모형이 됩니다. b 0 와 b 1 을 미지수로 하...