sons dataStory

최대우도추정(Maximum likelihood estimation) 회귀계수를 추정하기 위해 사용된 최소자승법 은 최대우도추정을 기반으로 합니다. 우도(likelihood) 는 사건이 특정 조건에서 발생할 수 있는 확률입니다. 최대우도추정량 은 각 사건의 우도가 최대가 되게 하는 통계 추정량을 의미하는 것으로 최소 제곱법에 의한 모델의 모수와 분산이 최대우도 추정량이 됩니다. 설명변수와 반응변수의 관계를 나타내는 회귀모델은 다양한 식으로 나타낼 수 있습니다( 회귀분석(Regression analysis)의 정의와 가정 참조 ). 그 중 최소제곱에 의한 회귀모델은 관측값과 추정값 사이의 차이인 오차를 최소로 할 수 있는 최적의 회귀선입니다. 회귀모델의 최종적인 목적은 오차의 최소에 있습니다. 이것은 각 샘플에서 발생할 수 있는 오차들의 중에서 최소제곱 모델에 의한 오차(추정치)의 발생확률이 가장 높을 것으로 기대할 수 있습니다. 또한 회귀분석의 기본가정에 의해 샘플 당 발생할 오차들의 분포는 정규분포를 따르므로 최대우도의 추정치는 평균이 됩니다. 최대우도를 발생하는 OLS 모델에 의한 계수와 분산이 최대우도추정량이 됩니다. 그 추정량의 조건하에 최대우도는 식 1과 같이 정규분포함수로 정의할 수 있습니다. 각 샘플의 오차분포는 독립적이므로 전체샘플의 우도는 각각의 곱으로 계산합니다. $$L(\beta, \sigma^2; y, X)=(2\pi \sigma^2)^{-\frac{n}{2}}\exp\left(-\frac{1}{2\sigma^2}\sum^n_{i=1}(y_i - x_i\beta)^2\right)$$ (식 1) 일반적으로 우도 함수를 로그화하여 로그우도함수로 나타냅니다(식 2). $$\log\left(L(\beta, \sigma^2; y, X)\right)=-\frac{n}{2}(2\pi \sigma^2)- \frac{1}{2\sigma^2}\sum^n_{i=1}(y_i - x_i\beta)^2$$ (식 2) 결과적으로 최대우도가 ...

Contents Evaluation of regression coefficients Evaluation of the model Regression Estimation Evaluation of regression coefficients T tests in regression analysis tests for the following null hypothesis (H0) for the regression coefficients of the generated model: H0: No significant difference by coefficient These results indicate that the test statistic, t, is outside the confidence interval and that the p-value is also close to zero, which is much lower than the significance level. Therefore, the results for the above dollor index indicate that the null hypothesis cannot be adopted. This discussion can be generalized as follows: The calculated regression coefficients also form a distribution as probability variables, so you can conduct a test. As mentioned above, the distribution has the same shape as the distribution of errors, so you can calculate the variance of the regression coefficient based on the variance of the error. As shown in Equation 1, the regression...

Contents Point estimation Interval estimation Confidence Interval Estimation Estimation is divided into point estimation , which estimates a specific value of a parameter, and interval estimation , which estimates a certain interval in which the parameter is included. Point estimation A statistic used to estimate the parameters of a population from a sample is called an estimator, and an estimate that meets some assumptions and has no bias is used as an unbiased estimator . For example, to estimate the population mean, the sample mean is used as an unbiased estimate. The sample mean of n samples X 1 , X 2 , …, X n is calculated as in Equation 1 and is an estimator of the population mean. $$\begin{align}\tag{1} \hat{\mu}&=\bar{X}\\ &=\frac{1}{n}(\bar{X_1}+\bar{X_2}+\cdots+\bar{X_n})\\ &=\frac{1}{n}\sum^n_{i=1}\bar{X_i } \end{align}$$ Also, in general, the population variance σ 2 is an unknown value, so it is calculated as in Equation 2 using the standard...