[data analysis] 초기하분포(Hypergeometric distribution)

초기하분포(Hypergeometric distribution)

초기하분포(Hypergeometric distribution)란 N개 중에 n번 비복원 추출하는 경우 x번 성공확률의 분포이다. 예를 들어 5개의 파란공과 3개의 빨간공이 포함되어 있는 주머니에서 2개의 공을 선택하면 그 공이 모두 파란 공일 확률은식 1과 같이 계산할 수 있습니다.

$$\frac{\binom{5}{0} \binom{3}{2}}{\binom{8}{2}}$$

(식 1)

p=special.comb(5,0)*special.comb(3,2)/special.comb(8, 2)
round(p, 3)

0.107

이 시행은 모집단에서 선택할 공의 수에 대한 조건과 최종 성공을 위한 조건을 만족하여야 합니다. 즉, 두 가지 조건에 따른 시행은 선택된 파란공의 수가 랜덤변수(X)로 하면 표본공간은 S_x = {0, 1, 2}로 정의할 수 있습니다.

각 변수에 대응하는 확률의 변화는 초기하분포에 부합하며 식 2와 같이 나타냅니다.

X ∼ hypergeom(N, m, n)	(식 2)
N : 모집단 수
m : 성공경우의 총수
n : 총 시행횟수

식 1에서 확률변수 x의 변화에 의해 생성되는 초기하 분포는 hypergeom(8, 3, 2)으로 나타낼 수 있습니다. 이 식을 확률변수 x에 대해 일반화한 초기하분포의 확률질량함수는 식 3과 같이 정의됩니다.

\begin{align}f(x) &= P(X=x)\\&=\frac{\binom{m}{x} \binom{N-m}{n-x}}{\binom{N}{n}} \end{align}

(식 3)

초기하분포의 통계량들은 scipy.stats 모듈의 hypergeom() 클래스로 계산할 수 있습니다.

x=2; M=8; n=3; N=2
round(stats.hypergeom.pmf(x, M, n, N),3)

0.107

확률변수 x에 대해 PMF를 계산하면 다음과 같습니다.

p=stats.hypergeom.pmf([0, 1, 2], M, n, N)
np.around(p, 3)

array([0.357, 0.536, 0.107])

확률함수(식 3)으로 부터 기대값을 유도하면 식 4와 같습니다. 식 4에서 m을 A 그리고 모집단 중 A를 제외한 나머지 부분을 B로 표시하였습니다.

\begin{align}E(X)&=\sum^n_{x=0}\frac{\binom{A}{x} \binom{B}{n-x}}{\binom{A+B}{n}}\\ &=\sum^n_{x=0}\frac{A\binom{A-1}{x-1} \binom{B}{n-x}}{\binom{(A+B)-1}{n-1}\frac{A+B}{n}}\\ &=\frac{An}{A+B}\sum^n_{x=0}\frac{\binom{A-1}{x-1} \binom{B}{n-x}}{\binom{(A+B)-1}{n-1}}\\ &=\frac{An}{A+B}\\&=n\frac{m}{N}\\&=np\\\because\;&\sum^n_{x=0}\frac{\binom{A-1}{x-1} \binom{B}{n-x}}{\binom{(A+B)-1}{n-1}}=1(\text{Total prob.})\end{align}

(식 4)

식 4 의 기대값을 사용하여 분산을 계산하면 식 5와 같습니다.

\begin{align} Var(x) &=E(X^2) -(E(X))^2\\&=np(1-p)\frac{N-m}{N-1} \end{align}

(식 5)

예 1)

파란공 50, 빨간공 30 중에서 파란공을 20개까지 선택할 확률 분포를 시각화 합니다.

조건에 따른 각 확률은 다음과 같습니다.

M=80; n=50; N=20
re=stats.hypergeom.pmf(range(21), M, n, N)
print(np.around(re, 3))

[0.    0.    0.    0.    0.    0.    0.001 0.003 0.013 0.039 0.087 0.151
 0.201 0.204 0.158 0.091 0.038 0.011 0.002 0.    0.   ]

위 결과를 시각화하면 그림 1과 같습니다.

그림 1 hypergeom(80, 50, 20)의 PMF.

fig, ax=plt.subplots(figsize=(4,3))
ax.bar(range(21), re, color="g", label="hypergeom(80, 50, 20)")
ax.set_xlabel("x")
ax.set_ylabel("Probability")
ax.set_ylim([0, 0.25])
ax.legend(loc="best", frameon=False)
plt.show()

예 2)

위 예제의 조건 M=80, n=50, N=20을 가진 시행에서 기대값과 분산을 계산합니다.

E=k*n/M
E.subs({M:80, n:50, N:20, k:20}).evalf(3)

12.5

var=E*(M-n)*(M-k)/(M*(M-1))
var.subs({M:80, n:50, N:20, k:20}).evalf(3)

3.56

stats.hypergeom.stats(80, 20, 50,  moments="mv")

(array(12.5), array(3.56012658))

예 3)

4개의 불량품이 포함되어 있는 50개의 제품에서 랜덤으로 5개를 추출할 경우 선택되는 정상품의 갯수가 랜덤변수 X가 됩니다. X의 평균과 분산을 결정합니다.

X ~ hypergeom(50, 5, 4)

stats.hypergeom.stats(50, 5, 4, moments="mv")

(array(0.4), array(0.33795918))