[data analysis] 변동: 사분위수(Quantile)

변동(Variation)

관련내용

• 범위(range)
• 4분위수(Quantile)
• 중간값 절대 편차(MAD)
• 분산(Variance)
• 표준편차(Standard Deviation)
• 분산계수(Variation Coefficient)

4분위수(Quantile)

4분위(quantile)는 변동을 측정하는 다양한 방법 중의 하나입니다. 예를 들어 자료 {4, 6, 2, 4, 6, −4, −7, 145}의 경우 이상치로 간주할 수 있는 현저하게 큰 값을 포함하고 있습니다. 이러한 경우 범위는 그 자료의 변동 특성을 올바르게 나타낼 수 없습니다. 대신에 전체 데이터들을 순서적으로 정렬하여 몇 개의 그룹으로 구분하여 각 그룹의 경계값들을 기준으로 데이터의 퍼짐의 정도 즉, 변동을 나타낼 수 있습니다. 그러므로 이상치에 대한 영향을 감소시킬 수 있습니다. 4분위수는 데이터 셋 전체를 4부분으로 구분하며 다음 과정으로 계산합니다.

1. 오름차순으로 정렬
2. 중간값(median)을 결정(Q₂)
3. 2 번에서 결정한 중간값을 기준으로 작은 값들 사이에 중간값(Q₁)과 큰 값들 사이에 중간값(Q₃)을 결정합니다.

위의 과정으로 산출한 4 분위수Q₁, Q₂, 그리고 Q₃는 각각 전체 데이터의 25%, 50%, 그리고 75%에 대응하는 값입니다. 이 분위수는 numpy의 quantile(x), percentile(x) 함수를 사용하여 결정할 수 있습니다.

• numpy.quantile(x, q, axis=none)
  • 지정된 축을 따라 데이터(x)의 q번째 분위수를 계산합니다.
  • q: [0, 1]사이의 값 또는 그 사이 값들로 구성된 리스트
    • 예로 4분위수의 경우 :0.25, 0.50, 0.75
  • axis: 2차원이상의 객체의 경우 기준이 되는 축을 지정
    • axis = 1 → 행
    • axis = 0 → 열
  • axis를 지정하지 않는 경우 객체를 1차원으로 인식하여 모든 값들에 대해 계산합니다.
  • np.precentile() 함수는 동일한 결과를 나타내지만 q는 [0, 100] 사이의 값 즉, 퍼센트입니다.
    • 예로 4분위수의 경우 :25, 50, 75

다음 코드의 데이터 x는 [1, 100] 사이에 임의의 수 100개를 생성하고 이상치로 간주될 수 있는 값 150으로 구성되어 있습니다. 데이터 x에 대해 Q₁, Q₂, 그리고 Q₃를 산출한 것입니다.

np.random.seed(3)
x1=np.random.randint(1, 100, 100)
x=np.append(x1, 150)
q1, q2, q3=np.quantile(x, [0.25, 0.5, 0.75])
q1, q2, q3

(25.0, 45.0, 67.0)

일반적으로 4분위수는 박스플롯으로 시각화 합니다. 파이썬 라이브러리 matplotlib의 boxplot(data)함수를 사용하여 박스플롯을 작성할 수 있습니다. 그림 1은 boxplot() 함수를 사용하여 위 결과의 박스플롯을 작성한 것입니다.

그림 1 사분위수와 박스플롯.

plt.figure(figsize=(4, 3))
plt.boxplot(x)
coodi=[1, 25, 45, 67, 98, 145]
nme=['min', 'Q1', 'Q2', 'Q3', 'max', 'outlier']
for i, j in zip(coodi, nme):
  plt.text(1.1, i, j, weight="bold", color="red")
plt.show()

그림 1에서 나타낸 것과 같이 박스 플롯은 Q₁, Q₂, 그리고 Q₃을 포함하는 몸체(사각형)와 데이터의 이상치를 제외한 최소와 최대값을 표시하는 수염모양의 바로 구성됩니다. 제외된 이상치는 그 수평바를 벗어난 위치에서 표시됩니다. 즉, 다음과 같이 정리할 수 있습니다.

• 박스 아래의 수평바 : 이상치를 제외한 자료의 최소값(하한값)
• 박스의 하단 : Q₁
• 박스 내부의 선 : Q₂
• 박스 상단: Q₃
• 박스 위의 수평바: 이상치를 제외한 자료의 최대값(상한값)
• 박스와 수염모양의 바를 벗어난 점: 이상치

박스플롯의 상한과 하한값은 이상치의 발견으로 지정됩니다. 4분위수에서 이상치는 Q₃과 Q₁의 차이인 사분위범위(Interquartile Range, IQR)를 기준으로 판단됩니다(식 1).

IQR = Q3 - Q1	(식 1)
하한 = Q1 - IQR·1.5
상한 = Q3 + IQR·1.5

식 1에 의해 계산된 상한과 하한사이를 벗어난 값들을 이상치(outlier)라고 합니다. 이 식을 적용하여 자료 x에 대한 하한(lower bound)과 상한(upper bound) 그리고 이상치를 계산합니다.

iqr=q3-q1
lower_bound = q1 -(iqr*1.5)
upper_bound = q3 + (iqr*1.5)
print(f'IQR:{iqr}, 하한:{lower_bound}, 상한:{upper_bound}')

IQR:42.0, 하한:-38.0, 상한:130.0

out=np.where((x < lower_bound)|(x > upper_bound)); out

(array([100]),)

IQR은 scipy.stats.iqr(x, axis) 함수를 사용하여 계산할 수 있습니다. 이 함수의 axis는 행기준 1, 열기준 0입니다.

• scipy.stats.iqr(x, axis=none, rng=[25, 75])
  • x: numpy 객체
  • axis: 2차원이상의 객체의 경우 기준이 되는 축을 지정
  • rng: 사분위의 범위 계산의 기준을 지정하는 것으로 Q1, Q3가 기본값입니다.

예)

두 그룹의 인공샘플들에 대해 사분위수, IQR, 그리고 박스플롯을 작성합니다.

np.random.seed(3)
da=np.random.randint(1, 100, size=(2, 100))
pd.DataFrame(da)

	0	1	...	98	99
0	25	4	...	56	12
1	85	11	...	37	56
2 rows × 100 columns

quan=np.percentile(da, [25, 50, 75], axis=1)
print(quan)

[[24.5  25.  ]
 [45.   51.  ]
 [65.5  78.25]]

iqr=quan[2,:]-quan[0,:]
print(iqr)

[41.   53.25])

print(stats.iqr(da, axis=1))

[41.   53.25]

plt.figure(figsize=(4,3))
plt.boxplot(da.T)
plt.show()

그림 2 두 그룹의 박스플롯.