[data analysis]연속확률분포: 확률밀도 함수(pdf)

연속확률분포

내용

• 확률밀도함수(Probability Density Function, PDF)

일정구간 [a, b]에서 무작위로 하나의 수를 선택하는 확률이 동일하다면 그 수는 랜덤변수(random variable)가 됩니다. 그 구간의 수들은 무한하므로 하나의 점을 특정할 수 없습니다. 즉, 연속변수에서 특정한 점에서의 확률은 정의할 수 없습니다. 대신에 전체를 일정구간으로 소그룹화하면 하나의 그룹을 선택할 확률은 전체 구간의 길이에 대해 그 선택된 부분의 길이로 정의할 수 있습니다. 이 관계는 식 1과 같이 나타낼 수 있습니다.

$$\begin{array}{rl}P(X\in [a,b])& =1\\ P(\in [x_1,x_2])& =\frac{x_2-x_1}{b-a}\\ a\le x_1& \le x_2\le b\end{array}$$

(식 1)

식 1을 기반으로 확률변수 X에 대한 누적분포함수(CDF)는 식 2와 같이 나타낼 수 있습니다.

$$F(X)=\{\begin{array}{ll}0& \text{for}x\le a\\ \frac{x-a}{b-a}& \text{for}a\le x\le b\\ 1& \text{for}x\ge b\end{array}$$

(식 2)

사실 연속변수의 경우 한 지점에서의 확률은 정의할 수 없으므로 기호 "≤" 와 "<"의 차이 역시 정의 할 수 없습니다.

[연속확률함수의 조건]

식 3의 관계가 성립하기 위해서는 함수 f(x)가 모든 x에서 대응하는 값을 정의할 수 있는 연속함수(continuous function)이어야 합니다.

F(x) = P(X ≤ x)

(식 3)

다시말하면 누적분포함수인 F(x)는 모든 범위에서 미분가능한 함수이어야 합니다.

확률밀도함수(Probability Density Function, PDF)

이산확률함수에 각 경우의 확률은 확률질량함수(PMF)와 누적분포함수(CDF)로 계산할 수 있습니다. 유사하게 연속확률함수에서도 CDF를 정의할 수 있습니다. 그러나 한 지점을 정의할 수 없는 연속변수의 경우는 확률질량함수(PMF)를 지정할 수 없습니다. 그러므로 연속변수의 경우는 특정한 지점이 아닌 그 지점이 포함된 범위의 확률을 계산하여 이산변수의 확률질량함수를 대신할 수 있습니다. 이러한 함수를 확률밀도함수(probability density function, PDF)이라하며 수학적으로 미분의 개념을 사용하여 식 4와 같이 누적함수(CDF)의 미분 결과로 정의 할 수 있습니다.

$$\begin{array}{rl}f(x)& =\underset{\mathrm{\Delta }\to 0}{lim}\frac{P(x<X\le x+\mathrm{\Delta })}{\mathrm{\Delta }}\\ & =\underset{\mathrm{\Delta }\to 0}{lim}\frac{F(x+\mathrm{\Delta })-F(x)}{\mathrm{\Delta }}\\ & =\frac{dF(x)}{dx}\\ & =F^{\prime }(x)\\ \because P(x<X\le x+\mathrm{\Delta })& =P(X\le x+\mathrm{\Delta })-P(X<x)\\ & =F(x+\mathrm{\Delta })-F(x)\end{array}$$

(식 4)

식 5에서 나타낸 것과 같이 PDF의 적분으로 CDF를 계산할 수 있습니다. 또한 모든 구간의 누적확률은 1이 됩니다.

$$\begin{array}{rl}P(a\le x\le b)& =F(b)-F(a)\\ & ={\int }_a^{b}f(x)dx\\ {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x)dx& =1\end{array}$$

(식 5)

예 1)

다음 함수 f(x)를 PDF로하는 연속확률변수에 대해 다음을 결정합시다.

$$f(x)=\{\begin{array}{ll}c\cdot e^{-x}& x\ge 0\\ 0& \text{otherwise}\end{array}$$

1. 상수 c를 결정
2. P(0 < X < x)
3. P(1 < X < 3)

a. 확률밀도 함수를 확률변수의 모든 범위에서 적분한 값은 1이므로 c를 결정할 수 있습니다. sympy의 integrate(), Eq()와 solve() 함수를 적용합니다.

c, x=symbols("c x")
f=c*exp(-x)
F=f.integrate((x, 0, oo )); F

c

solve(Eq(F, 1), c)

[1]

b와 c는 정해진 구간에서 확률밀도함수의 적분으로 계산합니다(식 6).

$$\begin{array}{rl}P(0<X<x)& =F(x){|}_0^x\\ & ={\int }_0^x{e}^{-x}dx\\ P(1<X<3)& =F(x){|}_1^3\\ & ={\int }_1^3{e}^{-x}dx\end{array}$$

(식 6)

F=integrate(exp(-x),(x, 0, x));F

1-e-x

F=integrate(exp(-x),(x, 1, 3))
F.evalf(3)

0.318

예 2)

모든 구간에서의 다음의 확률밀도함수를 가지는 연속랜덤변수 X에서 P(X ≤ 2)를 결정합니다.

$$f(x)=\frac{e^{-|x|}}{2}$$

지정된 구간에서의 총 확률은 식 7과 같이 정적분으로 계산됩니다.

$$\begin{array}{rl}P(X\le 2)& =F(2)\\ & ={\int }_{-\mathrm{\infty }}^2\frac{e^{-|x|}}{2}dx\end{array}$$

(식 7)

위 적분은 sympy의 integrate() 함수를 사용하여 실행할 수 있습니다. 그러나 이 모듈 함수는 적분의 상한이나 하한값이 무한대일 경우 결과는 수치 대신 식을 반환합니다. 이것은 e^-|-∞|에 대응하는 값을 정의할 수 없기 때문입니다. 그러므로 하한값을 무한대 대신 매우 작은 값으로 치환하여 계산합니다.

x = symbols("x")
f=exp(-abs(x))/2
result=integrate(f, (x, -oo, 2))
result

$\frac{\underset{-\mathrm{\infty }}{\overset{2}{\int }}{e}^{-\left|x\right|}dx}{2}$

integrate(f, (x, -1000000, 2)).evalf(3)

0.932

scipy 모듈의 integrate.quad(함수, 하한, 상한) 함수는 위 코드에서 사용한 sympy 함수에 비해 보다 간단하게 적용할 수 있습니다. 이 함수는 결과와 오차범위를 반환합니다.

prob, erro=integrate.quad(lambda x: 1/2*np.exp(-abs(x)), -np.inf, 2)
print(f"확률: {round(prob, 3)}, 오차: {erro}")

확률: 0.932, 오차: 2.2674850885806563e-10

예 3)

연속확률변수 X에 대한 CDF가 다음과 같다면

$$F(X)=\{\begin{array}{ll}0& x<0\\ x& 0\le x\le 1\\ 1& x\ge 1\end{array}$$

새로운 확률변수 y = e^x에 대해 다음을 결정합니다.

1. F(y)?
2. f(y)?
3. E(y)?

a) F(e^x)의 CDF는 식 8과 같이 나타낼 수 있습니다.

F(y)	= F(ex)	(식 8)
	= P(Y ≤ y)
	= P(ex ≤ y)
	= P(X ≤ ln(y))
	= ln(y)

이 함수에 의하면 랜덤변수 y의 범위는 x의 범위를 근거로 [1, e]로 나타낼 수 있습니다. 범위내에서 CDF는 식 9와 같이 정리될 수 있습니다.

$$F(y)-\{\begin{array}{ll}0& y\le 1\\ \ln (y)& 1\le y\le e\end{array}$$

(식 9)

b) 확률변수 y의 PDF는 위 CDF의 미분으로 유도할 수 있습니다(식 10).

$$\begin{array}{rl}f(y)& =F^{\prime }(y)\\ & \frac{d(\ln (y))}{dy}\\ & =\frac{1}{y}\\ & 1\le y\le e\end{array}$$

(식 10)

c) E(Y)?

기대값은 랜덤변수 y 또는 x를 사용하여 계산할 수 있습니다(식 11).

$$\begin{array}{rl}E(Y)& ={\int }_1^{e}yf(y)dy\\ & ={\int }_1^{e}y\frac{1}{y}dy\\ & =e-1\\ & \text{OR}\\ E(Y)& =E\left(e^x\right)\\ & ={\int }_0^1{e}^x{F}^{\prime }(x)dx\\ & =e-1\end{array}$$

(식 11)

위의 예에서 새로운 확률변수 y는 x를 변수로 하는 함수 g(x)로 나타낼 수 있습니다. 그러므로 y의 PDF와 CDF는 식 12와 같이 정리할 수 있습니다. 이 결과는 합성함수에 대한 두 확률함수의 일반화된 공식입니다.

$$\begin{array}{rl}y& =e^x=g(x)\Rightarrow x=g^{-1}(y)\\ F(y)& =P(Y\le y)\\ & =P(g(X)\le y)\\ & =P(X<g^{-1}(y))\\ & =F(g^{-1}(y))\\ & =F(x)\\ \\ f(y)& =\frac{d}{dy}F(x)\\ & =\frac{dx}{dy}\frac{d(F(x))}{dx}\\ & =\frac{dx}{dy}f(x)\\ & =\frac{f(x)}{\frac{dy}{dx}}\\ & =\frac{f(x)}{g^{\prime }(x)}\end{array}$$

(식 12)

[합성함수의 확률밀도함수]

X가 연속확률변수이고 g가 미분 가능한 함수라는 가정 하에 Y = g(X)인 경우 Y의 확률밀도함수는 식 13과 같습니다.

$$f(y)=\{\begin{array}{ll}\frac{f(x)}{|g^{\prime }(x)|}=f(x)\left|\frac{dx}{dy}\right|& \text{for}g(x)=y\\ 0& \text{for}g(x)\ne y\end{array}$$

(식 13)

예 4)

랜덤변수 x의 확률밀도함수는 다음과 같습니다.

$$f(x)=\{\begin{array}{ll}4x^3& 0<x\le 1\\ 0& \text{otherwise}\end{array}$$

확률변수 x 기반의 다른 확률변수 $y=\frac{1}{x}$의 PDF?

식 13를 적용하면 식 14와 같이 PDF를 계산할 수 있습니다.

$$\begin{array}{rl}y& =g(x)=\frac{1}{x}\\ f(y)& =\frac{f(x)}{|g^{\prime }(x)|}\\ & =4x^3|-\frac{1}{x^2}|\\ & =4x\\ & =\frac{4}{y}\\ \because f(y)& =\{\begin{array}{ll}\frac{4}{y}& y\ge 1\\ 0& \text{otherwise}\end{array}\end{array}$$

(식 14)