변동(Variation)
관련내용
- 범위(range)
- 4분위수(Quantile)
- 중간값 절대 편차(MAD)
- 분산(Variance)
- 표준편차(Standard Deviation)
- 분산계수(Variation Coefficient)
4분위수(Quantile)
4분위(quantile)는 변동을 측정하는 다양한 방법 중의 하나입니다. 예를 들어 자료 {4, 6, 2, 4, 6, −4, −7, 145}의 경우 이상치로 간주할 수 있는 현저하게 큰 값을 포함하고 있습니다. 이러한 경우 범위는 그 자료의 변동 특성을 올바르게 나타낼 수 없습니다. 대신에 전체 데이터들을 순서적으로 정렬하여 몇 개의 그룹으로 구분하여 각 그룹의 경계값들을 기준으로 데이터의 퍼짐의 정도 즉, 변동을 나타낼 수 있습니다. 그러므로 이상치에 대한 영향을 감소시킬 수 있습니다. 4분위수는 데이터 셋 전체를 4부분으로 구분하며 다음 과정으로 계산합니다.
- 오름차순으로 정렬
- 중간값(median)을 결정(Q2)
- 2 번에서 결정한 중간값을 기준으로 작은 값들 사이에 중간값(Q1)과 큰 값들 사이에 중간값(Q3)을 결정합니다.
위의 과정으로 산출한 4 분위수Q1, Q2, 그리고 Q3는 각각 전체 데이터의 25%, 50%, 그리고 75%에 대응하는 값입니다. 이 분위수는 numpy의 quantile(x), percentile(x) 함수를 사용하여 결정할 수 있습니다.
- numpy.quantile(x, q, axis=none)
- 지정된 축을 따라 데이터(x)의 q번째 분위수를 계산합니다.
- q: [0, 1]사이의 값 또는 그 사이 값들로 구성된 리스트
- 예로 4분위수의 경우 :0.25, 0.50, 0.75
- axis: 2차원이상의 객체의 경우 기준이 되는 축을 지정
- axis = 1 → 행
- axis = 0 → 열
- axis를 지정하지 않는 경우 객체를 1차원으로 인식하여 모든 값들에 대해 계산합니다.
np.precentile()함수는 동일한 결과를 나타내지만 q는 [0, 100] 사이의 값 즉, 퍼센트입니다.- 예로 4분위수의 경우 :25, 50, 75
다음 코드의 데이터 x는 [1, 100] 사이에 임의의 수 100개를 생성하고 이상치로 간주될 수 있는 값 150으로 구성되어 있습니다. 데이터 x에 대해 Q1, Q2, 그리고 Q3를 산출한 것입니다.
np.random.seed(3) x1=np.random.randint(1, 100, 100) x=np.append(x1, 150) q1, q2, q3=np.quantile(x, [0.25, 0.5, 0.75]) q1, q2, q3
(25.0, 45.0, 67.0)
일반적으로 4분위수는 박스플롯으로 시각화 합니다. 파이썬 라이브러리 matplotlib의 boxplot(data)함수를 사용하여 박스플롯을 작성할 수 있습니다. 그림 1은 boxplot() 함수를 사용하여 위 결과의 박스플롯을 작성한 것입니다.
plt.figure(figsize=(4, 3)) plt.boxplot(x) coodi=[1, 25, 45, 67, 98, 145] nme=['min', 'Q1', 'Q2', 'Q3', 'max', 'outlier'] for i, j in zip(coodi, nme): plt.text(1.1, i, j, weight="bold", color="red") plt.show()
그림 1에서 나타낸 것과 같이 박스 플롯은 Q1, Q2, 그리고 Q3을 포함하는 몸체(사각형)와 데이터의 이상치를 제외한 최소와 최대값을 표시하는 수염모양의 바로 구성됩니다. 제외된 이상치는 그 수평바를 벗어난 위치에서 표시됩니다. 즉, 다음과 같이 정리할 수 있습니다.
- 박스 아래의 수평바 : 이상치를 제외한 자료의 최소값(하한값)
- 박스의 하단 : Q1
- 박스 내부의 선 : Q2
- 박스 상단: Q3
- 박스 위의 수평바: 이상치를 제외한 자료의 최대값(상한값)
- 박스와 수염모양의 바를 벗어난 점: 이상치
박스플롯의 상한과 하한값은 이상치의 발견으로 지정됩니다. 4분위수에서 이상치는 Q3과 Q1의 차이인 사분위범위(Interquartile Range, IQR)를 기준으로 판단됩니다(식 1).
| IQR = Q3 - Q1 | (식 1) |
|---|---|
| 하한 = Q1 - IQR·1.5 | |
| 상한 = Q3 + IQR·1.5 |
식 1에 의해 계산된 상한과 하한사이를 벗어난 값들을 이상치(outlier)라고 합니다. 이 식을 적용하여 자료 x에 대한 하한(lower bound)과 상한(upper bound) 그리고 이상치를 계산합니다.
iqr=q3-q1
lower_bound = q1 -(iqr*1.5)
upper_bound = q3 + (iqr*1.5)
print(f'IQR:{iqr}, 하한:{lower_bound}, 상한:{upper_bound}')
IQR:42.0, 하한:-38.0, 상한:130.0
out=np.where((x < lower_bound)|(x > upper_bound)); out
(array([100]),)
IQR은 scipy.stats.iqr(x, axis) 함수를 사용하여 계산할 수 있습니다. 이 함수의 axis는 행기준 1, 열기준 0입니다.
- scipy.stats.iqr(x, axis=none, rng=[25, 75])
- x: numpy 객체
- axis: 2차원이상의 객체의 경우 기준이 되는 축을 지정
- rng: 사분위의 범위 계산의 기준을 지정하는 것으로 Q1, Q3가 기본값입니다.
예)
두 그룹의 인공샘플들에 대해 사분위수, IQR, 그리고 박스플롯을 작성합니다.
np.random.seed(3) da=np.random.randint(1, 100, size=(2, 100)) pd.DataFrame(da)
| 0 | 1 | ... | 98 | 99 | |
| 0 | 25 | 4 | ... | 56 | 12 |
| 1 | 85 | 11 | ... | 37 | 56 |
| 2 rows × 100 columns | |||||
quan=np.percentile(da, [25, 50, 75], axis=1) print(quan)
[[24.5 25. ] [45. 51. ] [65.5 78.25]]
iqr=quan[2,:]-quan[0,:] print(iqr)
[41. 53.25])
print(stats.iqr(da, axis=1))
[41. 53.25]
plt.figure(figsize=(4,3)) plt.boxplot(da.T) plt.show()
