기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

[data analysis] 기하분포(Geometric distribution)

기하분포(Geometric distribution)

결과가 성공과 실패인 베르누이 시행을 반복하여 첫번째로 성공이 나올때까지의 확률변화의 분포를 기하분포 (Geometric distribution)라고 합니다. 예를 들어 성공확률이 p인 베르누이 시행을 반복시행하여 최초 성공(s)이 되는 경우를 확률변수 X로 하는 확률질량함수는 식 1과 같이 될 것입니다.

Sx = {1, 2, · · · }(식 1)
f(1) = P(X = 1) = p
f(2) = P(X = 2) = (1 − p)p

위의 결과를 일반화하면 기하분포의 확률질량함수는 식 2와 같이 공식화 할 수 있습니다.

f(x) = P(X = x) = (1 − p)x−1p(식 2)

식 2와 같이 확률질량함수는 매개변수 p에만 의존하므로 기하분포는 식 3으로 표시하며 유일한 매개변수에 의한 기하분포의 변화는 그림 1에서 확인할 수 있습니다.

X ∼ Geometric(p)(식 3)
그림 1 모수에 따른 기하분포의 변화.
fig, ax=plt.subplots(figsize=(4,3))
p=[p1,p2,p3,p4]
col=['g','b','r','k']
nme=[0.1, 0.3, 0.5, 0.7]
for i in range(len(p)):
    ax.plot(x, p[i], color=col[i], label=f"Geometric({nme[i]})")
ax.set_xlabel("x")
ax.set_ylabel("Probability")
ax.legend(loc="best")
plt.show()

X ∼ Geometric(p) 분포의 기대값과 분산을 모멘트생성함수(MGF)로부터 유도해 봅니다. 식 4는 기하분포의 MGF 입니다.

\begin{align}M_x(t)&=E(e^{tX})\\ &=\sum^\infty_{x=1} e^{tx}(1-p)^{x-1}p\\ &=\frac{p}{q}\left(qe^t\right)^x\\&=\frac{p}{q}\frac{qe^t}{1-qe^t}\\& =\frac{pe^t}{1-qe^t}\\\leftarrow&\;1-qe^t \gt 0, 1-q=p \end{align} (식 4)

식 4에서 (qet)x의 무한 급수는 5와 같이 정리할 수 있습니다.

$$\begin{align}S& =qe^t+\left(qe^t\right)^2+\left(qe^t\right)^3+\cdots\\ \underline{\qquad\left(qe^t\right)S} &\underline{=\left(qe^t\right)^2+\left(qe^t\right)^3+\left(qe^t\right)^4+\cdots}\\ S-\left(qe^t\right)S&=qe^t\\ \therefore\; S&=\frac{qe^t}{1-qe^t}\end{align}$$(식 5)

식 4의 모멘트 생성함수로부터 기대값과 분산을 계산하면 식 6와 같습니다.

\begin{align} E(X) &= M^\prime_x(0)=\frac{1}{p}\\Var(X)&=M^{\prime\prime}_x(0)- \left(M^\prime_x(0)\right)^2=\frac{q}{p^2}\end{align}(식 6)

위 식들은 다음과 같이 코드화 할 수 있습니다.

p, t, x=symbols("p, t, x")
M=p*exp(t)/(1-(1-p)*exp(t))
dM=M.diff(t)
print(simplify(dM))
p*exp(t)/((p - 1)*exp(t) + 1)**2
E=dM.subs(t, 0)
print(simplify(E))
1/p
ddM_0=M.diff(t, 2).subs(t, 0)
print(simplify(ddM_0))
(2 - p)/p**2
var=ddM_0-E**2
print(simplify(var))
(1 - p)/p**2

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b