[data analysis] 포아송분포(Poisson distribution)

포아송분포(Poisson distribution)

고정된 시간이나 공간에서 일어날 수 있는 사건의 확률을 표현하는 이산분포이며 가장 많이 사용되는 분포 중의 하나로서 확률변수 X는 사건의 수가 됩니다. 그러므로 이 분포는 전체 발생 사건수를 결정할 수 없으므로 전체에 대한 대상 사건의 발생의 비율 즉, 일반적인 확률 개념을 사용할 수 없습니다. 대신에 대상 시간 또는 공간에서의 평균적인 발생횟수를 알 수 있다면 식 1과 같은 분포함수를 적용할 수 있습니다.

$$P(X = x) = \frac{e^{-\lambda}\lambda^x}{x!}$$

(식 1)

식 1에서 λ는 사건의 평균발생수를 나타냅니다.

위 식의 확률질량함수를 가지는 포아송 분포는 다음의 전제조건을 갖습니다.

• 특정한 시간 또는 공간에서 발생하는 사건은 다른 시간, 공간에서 발생하는 결과와 독립이어야 합니다.
• 단위 시간 또는 공간에 발생하는 사건의 횟수는 동일하여야 합니다.
• 매우 짧은 시간 또는 매우 작은 공간에서 두 개 이상의 결과가 동시에 발생할 확률은 0이어야 합니다.

모든 범위에서 포아송분포의 확률질량함수는 1이 되어야 하며 식 2와 같이 증명할 수 있습니다.

\begin{align}\sum^\infty_{i=1}\frac{e^{-\lambda}\lambda^i}{i!}&=e^{\lambda}\sum^\infty_{i=1}\frac{\lambda^i}{i!}\\&=e^{-\lambda}e^\lambda\\&=1\\ \because\, \sum^\infty_{x=1}\frac{\lambda^x}{x!}&=1+\lambda+\frac{\lambda^2}{2!}+\frac{\lambda^3}{3!}+\cdots\\&\text{Taylor series}\end{align}

(식 2)

위 전개과정에서 적용한 테일러 급수를 sympy의 series()와 Sum()함수를 사용하여 확인해 봅니다.

l, x = symbols('lambda, x')
f=l**x/factorial(x)
Sum(f, (x, 0, oo)).doit()

eλ

series(exp(l), l, 0, 6,"+")

$1+\lambda+\frac{\lambda^2}{2}+\frac{\lambda^3}{6}+\frac{\lambda^4}{24}+\frac{\lambda^5}{120}+O(\lambda^6)$

요약하면 확률변수 X가 모수 λ(사건의 평균 발생수)에 의존된다면 이 변수는 포아송분포를 따르며 식 3과 같이 나타냅니다.

X ∼ Poisson(λ)

(식 3)

이 분포에서 생성되는 표본공간은 S_x = {0, 1, 2, · · · }입니다.

λ = 5의 경우 포아송 확률질량함수은 scipy.stats.possion 클래스의 메소드 .pmf(확률변수, λ)를 사용할 수 있습니다.

stats.poisson.pmf(range(5), 5)

array([0.00673795, 0.03368973, 0.08422434, 0.1403739 , 0.17546737])

포아송 분포는 유일한 매개변수 λ에 의존합니다. 그림 1은 λ에 따른 분포의 변화를 나타낸 것입니다.

그림 1. λ에 따른 포아송 분포의 변화.

x=range(1, 41)
p=[1, 5, 10, 30]
pmf={}
for i in p:
    pmf[i]=stats.poisson.pmf(x, i)
fig, ax=plt.subplots(figsize=(4,3))
col=["g",'b','r','k']
for i in range(4):
    ax.plot(x, pmf[p[i]], color=col[i], alpha=0.6, label=f"Poisson({p[i]})")
ax.set_xlabel("x")
ax.set_ylabel("Probability")
ax.legend(loc="best", frameon=False)
plt.show()

포아송분포의 기대값과 분산은 식 4에서 나타낸 모멘트 생성함수로부터 계산할 수 있습니다.

\begin{align}M_x(t) & = E\left(e^{tX}\right)\\&=\sum^\infty_{x=0}e^{tx}f(x)\\&=\sum^\infty_{x=0}\frac{\lambda^xe^{-\lambda}e^{tx}}{x!} \\&=e^{-\lambda}\sum^\infty_{x=0}\frac{(\lambda e^{t})^x}{x!}\\&=e^{-\lambda}e^{\lambda e^{t}} \end{align}

(식 4)

위 MGF를 사용하여 계산한 기대값과 분산은 식 5와 같습니다.

E(X) = M'x(0) = λ	(식 5)
Var(X) = M"x(0) - (E(X))2 = λ

식 5는 sympy의 다양한 함수를 사용하여 계산할 수 있습니다.

l, x, t=symbols("lambda, x, t")
f=exp(-l)*l**x/factorial(x); f

$\frac{\lambda^x e^{-\lambda}}{x!}$

M=Sum(exp(-l)*(l*exp(t))**x/factorial(x), (x, 0, oo)).doit();M

e-λeλet

E=M.diff(t).subs(t, 0); E

λ

var=M.diff(t, 2).subs(t,0)-E**2
simplify(var)

λ

예 1)

30분간 평균 변화가 50원인 한 주식의 변화는 포아송 분포를 따른다고 가정합시다. 이 모형에 의해 5분간 변화가 없을 확률과 분포의 기대값과 분산을 결정합시다.

이 문제에서 확률변수는 5분 동안의 변화없는 것으로 사건이 0인 확률입니다. 즉, P(X=0)을 결정하는 것입니다. 30분간의 평균 변화가 50이므로 5분의 평균변화(λ)는 식 6과 같습니다.

\begin{align} \lambda &=\frac{50\cdot 5}{30}\\&=\frac{25}{3}\end{align}

(식 6)

식 6의 결과인 λ를 모수로 하는 포아송 분포의 형태는 그림 2와 같습니다.

그림 2. 모수 $λ= \frac{25}{3}$인 포아송분포.

x=range(1, 20)
pmf=stats.poisson.pmf(x, 25/3)
fig, ax=plt.subplots(figsize=(4,3))
ax.bar(x, pmf, color="g", alpha=0.6, label=r"Poisson$\left(\frac{25}{3}\right)$")
ax.set_xlabel("x")
ax.set_ylabel("Probability")
ax.legend(loc="best", frameon=False)
plt.show()

p=stats.poisson.pmf(0, 25/3)
round(p, 5)

0.00024

mu, var=stats.poisson.stats(25/3, moments="mv")
print("평균: %.3f, 분산: %.3f"%(mu, var))

평균: 8.333, 분산: 8.333