sons dataStory

회귀모형의 평가 회귀분석은 확률에 기반한 것으로 그 모형에 의한 추정값은 관측값과 차이를 발생시킵니다. 모형의 평가는 그 차이의 수준을 용인할 수 있는지에 대한 평가로서 앞서 소개한 분산분석 을 적용합니다. 분산분석은 여러개의 그룹 (변수)들 사이에 일어나는 각각의 변동(분산)을 비교하여 일반적으로 일어날 수 있는 수준인지를 판단하는 것입니다. 그림 1에 나타낸 것과 같이 관측치 y의 불편추정치(unbiased estimator)로 그 값들의 평균 $\bar{y}$이 사용됩니다. 평균값이 회귀모형에 의한 예측치 $\hat{y}$와 일치한다면 회귀분석의 의미는 없어집니다. 즉, 회귀모델이 적합하다면 평균과 추정치 사이에 차이가 발생하며 추정치와 관측치 사이에 오차가 발생됩니다. 적합한 회귀모형에 의한 반응변수의 평균과 예측값 그리고 관측값(y) 사이의 관계는 식 1과 같이 정의할 수 있습니다. $$(\bar{y}-y)^2=(\bar{y}-\hat{y})^2+(\bar{y}-y)^2+\alpha$$ (식 1) 그림 1. 회귀모델에서의 SST, SSReg, SSE. x=np.linspace(-1, 2, 100) y=x+0.5 plt.figure(figsize=(4,3)) plt.plot(x, y, color="g", label="regression") plt.hlines(1.7, -1, 2, color="k", ls="--", label="mean line") plt.scatter(0.25, 1.7, s=20, color="k", label=r"$\bar{y}$") plt.scatter(0.25, 0.75, s=20, color="r", label=r"$\hat{y}$") plt.scatter(0.25, 0, s=20, color="b", label=r"$y...

오차제곱평균(Mean of Square Error, MSE) 관련된 내용 회귀모델의 오차에 대해 자기상관분석(Autocorrelation Analysis) 오차의 분산 회귀계수의 추정 에서 언급한 것과 같이 모든 잔차의 합은 0 또는 0에 근접할 것이므로 모형에서 잔차의 정도를 판단하기 위해 잔차 제곱합(식 1)을 사용합니다. \begin{align}\text{SSE}& = \sum^n_{i=1}e^2\\& = \sum^n_{i=1}(y-\hat{y})^2 \\&= \sum^n_{i=1}\left(y-(b_0+b_1x)^2\right)^2\\n, \hat{y}:\;&\text{표본의 크기, 추정치}\end{align} (식 1) 식 2에서 나타낸 것과 같이 잔차제곱합을 자유도로 나눈값이 오차제곱평균 (Mean of Square Error, MSE) 이 됩니다. \begin{align}\text{MSE}&=\frac{\text{SSE}}{\text{df}}\\ &= \frac{\sum^n_{i=1}(y_i-\hat{y_i})^2}{\text{df}}\\ \text{df, n}:&\; \text{자유도, 표본의 크기}\\\hat{y}:&\; \text{추정치}\end{align} (식 2) 식 2의 분모(자유도)는 전체 자료의 수(n)에서 설명변수의 수(p) 그리고 상수항의 수를 뺀 것으로 n - (p + 1)이 됩니다. 모형에 사용되는 설명변수와 반응변수 모두 확률변수이고 중심극한정리에 의해 정규분포를 가정할 수 있습니다. 그러므로 모형에 따라 생성되는 오차 역시 정규분포를 따른다고 가정할 수 있으며 오차의 평균(기대값)은 0이 됩니다. 또한 오차 분포의 분산 추정량으로 MSE를 적용할 수 있으므로 오차분포는 식 3과 같이 나타낼 수 있습니다. e ~ N(0, mse) (식 3) 예 1) kospi 지수의 일일 주가 자료중 시가(Open)을 ...

내용 회귀분석과 방법 OLS 회귀 단순회귀 회귀계수의 t-검정 회귀식의 평가 회귀분석(Regression) 회귀분석과 방법 여러 면에서 회귀 분석은 통계의 핵심입니다. 하나 이상의 예측 변수(독립 변수 또는 설명 변수라고도 함)에서 반응 변수(종속 변수, 기준 변수 또는 결과 변수라고도 함)를 예측하는 데 사용되는 방법론 집합에 대한 광범위한 용어입니다. 일반적으로 회귀분석은 반응변수와 관련된 설명변수를 식별하고, 관련된 관계의 형태를 설명하고, 설명변수로부터 반응변수를 예측하기 위한 방정식을 제공하는 데 사용할 수 있습니다. 예를 들어, 운동 생리학자는 회귀 분석을 사용하여 러닝머신에서 운동하는 동안 사람이 태울 예상 칼로리 수를 예측하는 방정식을 개발할 수 있습니다. 반응 변수는 소모된 칼로리 수(소비된 산소량에서 계산)이며 예측 변수에는 운동 시간(분), 목표 심박수에서 보낸 시간 비율, 평균 속도(mph), 나이( 년), 성별 및 체질량 지수(BMI)가 될 수 있습니다. 이론적인 관점에서 분석은 다음과 같은 질문에 답하는 데 도움이 됩니다. 운동 시간과 소모된 칼로리 사이의 관계는 무엇입니까? 선형입니까 곡선입니까? 예를 들어, 운동은 특정 시점 이후에 소모된 칼로리 수에 덜 영향을 줍니까? 노력(목표 심박수에서 시간의 백분율, 평균 보행 속도)은 어떻게 고려됩니까? 이 관계는 젊은이와 노인, 남성과 여성, 무거움과 날씬함의 동일합니까? 실용적인 관점에서 분석은 다음과 같은 질문에 답하는 데 도움이 됩니다. BMI가 28.7인 30세 남성이 평균 속도 4로 45분 동안 걸을 때 소모할 수 있는 칼로리는 얼마입니까? 시간당 마일을 유지하고 목표 심박수를 80% 이내로 유지합니까? 사람이 걸을 때 소모할 칼로리를 정확하게 예측하기 위해 수집해야 하는 최소...