sons dataStory

두 대규모 표본의 비교 내용 두 독립집단의 비교 등분산인 두 소규모 표본의 비교 이분산인 두 소규모 표본의 비교 두 대규모 표본의 비교 중심극한정리 에 의하면 큰 규모의 표본은 정규분포에 부합합니다. 일반적으로 자료의 갯수가 30개 이상이면 정규분포를 따른다고 가정합니다. 이 경우는 모분산이 동일하다는 가정은 필요하지 않으며 두 표본으로부터 평균의 차 역시 정규분포를 가정할 수 있습니다. 그러므로 큰 규모의 표본들의 X-Y의 결합분포의 평균과 분산은 식 1과 같이 계산됩니다. \begin{align}μ_{\text{pred}}&= μ_x − μ_y\\ \sigma_{\text{pred}}^2 & = \frac{\sigma_x^2}{n_x}+\frac{\sigma_y^2}{n_y}\quad \text{for:}\; \sigma^2\to \text{known}\\\sigma_{\text{pred}}^2 & = \frac{s_x^2}{n_x}+\frac{s_y^2}{n_y}\quad \text{for:}\; \sigma^2\to \text{unknown}\\ &\mu,\, n:\,\text{평균, 샘플의 크기}\\& \sigma,\, s:\, \text{모표준편차, 표본표준편차} \end{align} (식 1) 예 1) 다음은 일정기간 코스피(kos)지수와 다우(dj)지수의 일일 시가 기준 종가의 변화율에 대한 자료입니다. kospi dow 0 -1.079 NaN 1 -0.551 -0.038 2 2.267 0.315 3 -0.157 -0.788 ⋮ ⋮ ⋮ ...

이분산인 두 소규모 표본의 비교 내용 두 독립집단의 비교 소규모 표본에서 등분산 이분산인 두 소규모 표본의 비교 두 대규모 표본의 비교 소규모 표본의 경우 다음 2가지 가정하에 t분포를 기준으로 가설검정을 실시합니다. 가정 1: 각 모집단이 정규분포를 따름 가정 2: 두 모분산이 동일 가정 1의 경우 모집단이 크다면 중심극한 정리에 의해 정규분포를 가정하는 것은 합리적입니다. 정규분포는 표준화에 의해 각 모집단의 분포의 분산은 같아집니다. 그러나 정규분포의 가정이 불확실할 경우 가정 2역시 불확실성을 가집니다. 이러한 경우는 각 표본의 분산 정도에 따라 판단합니다. 두 표본 표준편차의 비가 0.5와 2사이에 존재한다면 등분산으로 가정할 수 있습니다(식 1). $$0.5 ≤ \frac{s_1}{s_2} \le 2$$ (식 1) 위 식의 조건에 부합하지 않은 경우 또는 다른 이유로 등분산 가정이 적용되기 어려운 경우 등분산을 가정한 합동분산은 적용할 수 없습니다. 대신에 식 1과 같이 계산되는 결합확률분포의 합동분산을 적용합니다. \begin{align}E(X-Y)&=E(X)-E(Y)\\&=\mu_x-\mu_y\\\text{Var}(X-Y)&=\text{Var}(X)+\text{Var}(Y)-\text{Cov}(X,Y)\\ &=\frac{\sigma_x^2}{n_x}+\frac{\sigma_y^2}{n_y}\\&\text{Cov}(X,Y)=0\quad \because\;X,\,Y:\text{독립}\\& n: \text{샘플의 크기}, \; \mu: \text{평균},\;\sigma: \text{표준편차}\end{align} (식 1) 이 결합분포의 표준편차는 각 그룹의 샘플 규모를 고려한 것으로 결합분포의 표준오차로 사용할 수 있습니다. 소규모 표본이므로 t 분포를 기준으로 분석을 시행하기 때문에 자유도 선택의 문제가 존재합니다. 합동분산인 경우 자유도는 n 1 ...

변동(Variation) 관련내용 범위(range) 4분위수(Quantile) 중간값 절대 편차(MAD) 분산(Variance) 표준편차(Standard Deviation) 분산계수(Variation Coefficient) 표준편차(Standard Deviation) 분산 은 편차의 제곱으로 원시 자료(raw data) 단위의 제곱으로 자료를 해석하는데 불리합니다. 원래의 단위로 복원하기 위해서는 식 1과 같이 분산에 제곱근을 적용합니다. 이 결과를 표준편차 (standard deviation) 이라 하며 σ로 나타냅니다. $$\sigma=\sqrt{\frac{\sum^n_{i=1}(x_i-\mu)^2}{n-1}}$$ (식 1) 표준편차는 np.std(x, ddof), DataFrame.std(x, ddof) 으로 계산할 수 있습니다. numpy.std(x, axis=None, ddof=0, ...), DataFrame.std() 지정한 축을 기준으로 배열 객체 x의 표준편차를 계산 (= array.std() ) axis=None 의 경우 1차원 벡터로 전환하여 표준편차 계산 ddof: 자료의 자유도를 산출하기 위해 데이터 크기에서 빼주는 값 예) 평균이 72인 시험에서 A의 점수는 78입니다. 다음 중 A에게 유리하기 위한 자료의 표준편차(s)를 결정하세요. (1) s=2 (2) s=3 (3) s=4 자료의 변동이 작다는 것은 값들이 특정한 지점에 집중도가 증가한다는 것입니다. 또한 A의 점수는 평균 보다 크므로 표준편차가 작을수록 상위에 위치할 가능성이 증가하게 됩니다. 그러므로 (1)의 경우가 가장 유리할 것입니다. 통계분석에서 정보를 획득하기 위한 관심의 대상이 되는 전체 집합을 모집단(population) 이라하며 그 모집단에서의 일부를 표본(sample) 이라고 합니다. 일반적으로 모집단을 확보하는 것이 어려운 경우가 많습니다. 그러므로 모집단의 특성을 모집...

표본과 모집단(smaple & population) 통계적 추론(statistical inference) 은 부분(표본, sample)으로 전체(모집단, population)의 모수를 추정하는 통계 분석 방법입니다. 일반적으로 여러 조건의 제약에 의해 모집단의 조사는 어렵거나 불가능한 경우가 대부분입니다. 이러한 경우 모수(population parameter) 를 알 수 없기 때문에 이들을 추정해야 됩니다. 예를 들어 거래되는 모든 주가 데이터를 획득하는 것은 어렵습니다. 그러므로 그 모집단에서 생성될 수 있는 또는 그 모집단과 유사한 특성을 가진 표본의 평균, 분산과 같은 통계량이 모수와 비슷할 것이라는 가정 하에 다양한 분석을 진행할 수 있습니다. 이 경우 표본의 통계량이 모수와 유사하다고 하는 가설의 합리성에 대한 판단이 필요하며 이러한 판단의 근거는 통계적 추론에 의해 결정할 수 있습니다. 예를 들어 초등학교 6학년의 평균신장을 측정하는 연구에서 대상은 국가 내의 모든 6학년 학생이 될 것입니다. 그러나 제한된 연구 시간과 비용은 모든 대상에 대한 조사를 어렵게 만들 수 있습니다. 이런 경우 모집단의 통계량을 계산할 수 없기 때문에 각 지역별로 임의적으로 작은 그룹을 선택하여 측정한 결과들의 평균으로 모평균을 대신할 수 있을 것입니다. 표 1에서 나타낸 것과 같이 이 연구의 경우 모든 대상이 모집단(population) 이 되고 선택한 부분들이 표본(sample) 이 됩니다. 표 1 모집단과 표본 모집단(population) 연구의 모든 대상 표본(sample) 연구를 위해 실제 측정 또는 관찰되는 부분 다음 자료의 예(표 2)와 같이 행은 모든 열에 대한 값들을 포함하는 것으로 전체 자료에 대한 샘플이 됩니다. 표 2 데이터 셋의 일반적인 형태 이름 나이 성별 키 철수 10 남 153 영희 15 여 161 길동 21 남 181 그림 1은 통계적 추론 과정에서 모...