[data analysis]연속확률분포: 확률밀도 함수(pdf)

연속확률분포

내용

• 확률밀도함수(Probability Density Function, PDF)

일정구간 [a, b]에서 무작위로 하나의 수를 선택하는 확률이 동일하다면 그 수는 랜덤변수(random variable)가 됩니다. 그 구간의 수들은 무한하므로 하나의 점을 특정할 수 없습니다. 즉, 연속변수에서 특정한 점에서의 확률은 정의할 수 없습니다. 대신에 전체를 일정구간으로 소그룹화하면 하나의 그룹을 선택할 확률은 전체 구간의 길이에 대해 그 선택된 부분의 길이로 정의할 수 있습니다. 이 관계는 식 1과 같이 나타낼 수 있습니다.

\begin{align}P(X ∈ [a, b])&=1\\P(\in [x_1,\,x_2])&=\frac{x_2-x_1}{b-a}\\a\le x_1&\le x_2 \le b \end{align}

(식 1)

식 1을 기반으로 확률변수 X에 대한 누적분포함수(CDF)는 식 2와 같이 나타낼 수 있습니다.

$$F(X)=\begin{cases}0&\text{for}\; x \le a\\\frac{x-a}{b-a}&\text{for}\; a \le x \le b\\1&\text{for}\; x \ge b \end{cases}$$

(식 2)

사실 연속변수의 경우 한 지점에서의 확률은 정의할 수 없으므로 기호 "≤" 와 "<"의 차이 역시 정의 할 수 없습니다.

[연속확률함수의 조건]

식 3의 관계가 성립하기 위해서는 함수 f(x)가 모든 x에서 대응하는 값을 정의할 수 있는 연속함수(continuous function)이어야 합니다.

F(x) = P(X ≤ x)

(식 3)

다시말하면 누적분포함수인 F(x)는 모든 범위에서 미분가능한 함수이어야 합니다.

확률밀도함수(Probability Density Function, PDF)

이산확률함수에 각 경우의 확률은 확률질량함수(PMF)와 누적분포함수(CDF)로 계산할 수 있습니다. 유사하게 연속확률함수에서도 CDF를 정의할 수 있습니다. 그러나 한 지점을 정의할 수 없는 연속변수의 경우는 확률질량함수(PMF)를 지정할 수 없습니다. 그러므로 연속변수의 경우는 특정한 지점이 아닌 그 지점이 포함된 범위의 확률을 계산하여 이산변수의 확률질량함수를 대신할 수 있습니다. 이러한 함수를 확률밀도함수(probability density function, PDF)이라하며 수학적으로 미분의 개념을 사용하여 식 4와 같이 누적함수(CDF)의 미분 결과로 정의 할 수 있습니다.

\begin{align}f(x)&=\lim_{\Delta \to 0} \frac{P(x \lt X \le x+\Delta)}{\Delta}\\ &=\lim_{\Delta \to 0} \frac{F(x+\Delta)-F(x)}{\Delta}\\&=\frac{dF(x)}{dx}\\&=F^\prime (x) \\ \because\; P(x \lt X \le x+\Delta)&=P(X \le x+\Delta)-P(X \lt x)\\ &=F(x+\Delta)-F(x)\end{align}

(식 4)

식 5에서 나타낸 것과 같이 PDF의 적분으로 CDF를 계산할 수 있습니다. 또한 모든 구간의 누적확률은 1이 됩니다.

\begin{align}P(a \le x \le b)& =F(b)-F(a)\\&=\int^b_a f(x)\, dx\\\int^\infty_{-\infty}f(x)\, dx&=1 \end{align}

(식 5)

예 1)

다음 함수 f(x)를 PDF로하는 연속확률변수에 대해 다음을 결정합시다.

$$f(x)=\begin{cases}c\cdot e^{-x}& x\ge 0\\0& \text{otherwise} \end{cases}$$

1. 상수 c를 결정
2. P(0 < X < x)
3. P(1 < X < 3)

a. 확률밀도 함수를 확률변수의 모든 범위에서 적분한 값은 1이므로 c를 결정할 수 있습니다. sympy의 integrate(), Eq()와 solve() 함수를 적용합니다.

c, x=symbols("c x")
f=c*exp(-x)
F=f.integrate((x, 0, oo )); F

c

solve(Eq(F, 1), c)

[1]

b와 c는 정해진 구간에서 확률밀도함수의 적분으로 계산합니다(식 6).

\begin{align}P(0 \lt X \lt x)&=F(x){\big\vert}^x_0\\&=\int^x_0 e^{-x}\, dx\\ P(1 \lt X \lt 3)&=F(x){\big\vert}^3_1\\&=\int^3_1 e^{-x}\, dx\end{align}

(식 6)

F=integrate(exp(-x),(x, 0, x));F

1-e-x

F=integrate(exp(-x),(x, 1, 3))
F.evalf(3)

0.318

예 2)

모든 구간에서의 다음의 확률밀도함수를 가지는 연속랜덤변수 X에서 P(X ≤ 2)를 결정합니다.

$$f(x) = \frac{e^{-\vert x \vert}}{2}$$

지정된 구간에서의 총 확률은 식 7과 같이 정적분으로 계산됩니다.

\begin{align}P(X \le 2)&=F(2)\\&=\int^2_{-\infty}\frac{e^{-\vert x \vert}}{2}\, dx \end{align}

(식 7)

위 적분은 sympy의 integrate() 함수를 사용하여 실행할 수 있습니다. 그러나 이 모듈 함수는 적분의 상한이나 하한값이 무한대일 경우 결과는 수치 대신 식을 반환합니다. 이것은 e^-|-∞|에 대응하는 값을 정의할 수 없기 때문입니다. 그러므로 하한값을 무한대 대신 매우 작은 값으로 치환하여 계산합니다.

x = symbols("x")
f=exp(-abs(x))/2
result=integrate(f, (x, -oo, 2))
result

$\frac{\int\limits_{-\infty}^{2} e^{- \left|{x}\right|}\, dx}{2}$

integrate(f, (x, -1000000, 2)).evalf(3)

0.932

scipy 모듈의 integrate.quad(함수, 하한, 상한) 함수는 위 코드에서 사용한 sympy 함수에 비해 보다 간단하게 적용할 수 있습니다. 이 함수는 결과와 오차범위를 반환합니다.

prob, erro=integrate.quad(lambda x: 1/2*np.exp(-abs(x)), -np.inf, 2)
print(f"확률: {round(prob, 3)}, 오차: {erro}")

확률: 0.932, 오차: 2.2674850885806563e-10

예 3)

연속확률변수 X에 대한 CDF가 다음과 같다면

$$F(X)=\begin{cases}0 & x\lt 0\\x & 0 \le x \le 1\\1 & x\ge 1 \end{cases}$$

새로운 확률변수 y = e^x에 대해 다음을 결정합니다.

1. F(y)?
2. f(y)?
3. E(y)?

a) F(e^x)의 CDF는 식 8과 같이 나타낼 수 있습니다.

F(y)	= F(ex)	(식 8)
	= P(Y ≤ y)
	= P(ex ≤ y)
	= P(X ≤ ln(y))
	= ln(y)

이 함수에 의하면 랜덤변수 y의 범위는 x의 범위를 근거로 [1, e]로 나타낼 수 있습니다. 범위내에서 CDF는 식 9와 같이 정리될 수 있습니다.

$$F(y)-\begin{cases}0 & y\le 1 \\ \ln(y) & 1 \le y \le e \end{cases}$$

(식 9)

b) 확률변수 y의 PDF는 위 CDF의 미분으로 유도할 수 있습니다(식 10).

\begin{align}f(y) &= F^\prime(y)\\& \frac{d\left(\ln (y)\right)}{dy}\\& = \frac{1}{y} \\& 1\le y \le e\end{align}

(식 10)

c) E(Y)?

기대값은 랜덤변수 y 또는 x를 사용하여 계산할 수 있습니다(식 11).

\begin{align}E(Y) &=\int^e_1 yf(y)\, dy\\&=\int^e_1 y\frac{1}{y}\, dy \\&=e-1\\&\text{OR}\\ E(Y)&=E\left(e^x\right)\\&=\int^1_0 e^xF^\prime(x)\, dx\\&=e-1\end{align}

(식 11)

위의 예에서 새로운 확률변수 y는 x를 변수로 하는 함수 g(x)로 나타낼 수 있습니다. 그러므로 y의 PDF와 CDF는 식 12와 같이 정리할 수 있습니다. 이 결과는 합성함수에 대한 두 확률함수의 일반화된 공식입니다.

\begin{align}y&=e^x=g(x) \Rightarrow x=g^{-1}(y)\\ F(y)&=P(Y\le y)\\&=P(g(X) \le y)\\&=P(X\lt g^{-1}(y))\\&=F(g^{-1}(y))\\&=F(x)\\ \\ f(y)&=\frac{d}{dy}F(x)\\&=\frac{dx}{dy}\frac{d(F(x))}{dx}\\&=\frac{dx}{dy}f(x)\\&=\frac{f(x)}{\frac{dy}{dx}}\\&=\frac{f(x)}{g^\prime(x)}\end{align}

(식 12)

[합성함수의 확률밀도함수]

X가 연속확률변수이고 g가 미분 가능한 함수라는 가정 하에 Y = g(X)인 경우 Y의 확률밀도함수는 식 13과 같습니다.

$$f(y)=\begin{cases}\frac{f(x)}{\vert g^\prime(x) \vert}=f(x)\left \vert\frac{dx}{dy}\right\vert& \text{for}\; g(x)=y\\ 0 & \text{for}\; g(x)\ne y \end{cases}$$

(식 13)

예 4)

랜덤변수 x의 확률밀도함수는 다음과 같습니다.

$$f(x)=\begin{cases}4x^3& 0\lt x \le 1\\0 & \text{otherwise} \end{cases}$$

확률변수 x 기반의 다른 확률변수 $y = \frac{1}{x}$의 PDF?

식 13를 적용하면 식 14와 같이 PDF를 계산할 수 있습니다.

\begin{align}y&=g(x)=\frac{1}{x}\\f(y)&=\frac{f(x)}{\vert g^\prime(x) \vert}\\&=4x^3\left\vert -\frac{1}{x^2}\right\vert \\&=4x \\&=\frac{4}{y}\\ \because\, f(y)&=\begin{cases} \frac{4}{y} & y \ge 1\\ 0 & \text{otherwise}\end{cases}\end{align}

(식 14)