[data analysis] 확률부등식

확률부등식

내용

• 마르코프 부등식(Markov's inequality)
• 체비셰프부등식(chebyshev's inequality)

확률변수의 각 요소와 그에 대응하는 확률의 관계를 함수로 나타낼 수 있으며 다양한 함수와 분포가 존재합니다. 이러한 확률분포로부터 다양한 통계량을 계산할 수 있으며 그들을 기반으로 어떠한 값이나 구간을 추정할 수 있습니다. 역으로 이 추정된 값이나 구간을 신뢰할 수 있는지를 검정해야 합니다. 이러한 구간을 신뢰구간이라 합니다. 이 기사에서 소개하는 마르코프와 체비셰프 부등식은 신뢰구간을 설정하는 이론적 근거가 되는 수학적 표현들입니다.

마르코프 부등식(Markov's inequality)

랜덤변수 x에 대해 g(x)가 음이 아닌 실수값 함수이면 임의의 양의 실수 c에 대해 식 1이 성립합니다. 이 식을 마르코프 부등식(Markov’s inequality)이라고 합니다.

$$p[g(x) \ge c] \le \frac{E[g(x)]}{c}$$

(식 1)

그림 1은 평균이 0이고 표준편차가 1인 표준정규분포입니다. 이 분포에서 임의의 확률 변수 c이상의 확률은 그 확률분포 함수를 [c, ∞)에 대한 적분한 결과와 같습니다. 즉, 분포함수를 사용하여 지정된 구간의 누적확률을 계산할 수 있습니다.

그림 1. 정규분포(평균: 0, 표준편차: 1).

fig, ax=plt.subplots(figsize=(4,3))
ax.plot(x, p, label="N(0, 1)")
ax.fill_between(x[idx], p[idx], alpha=0.5)
ax.spines['left'].set_position('center')
ax.spines['right'].set_visible(False)
ax.spines['top'].set_visible(False)
ax.spines['bottom'].set_position(('data', 0))
ax.set_yticks([])
ax.set_xticks([])
ax.text(1, -0.03, "c", fontdict={"fontsize":12, "fontweight":"bold", "color":"blue"})
ax.set_xlabel("x", loc="right")
ax.set_ylabel("pdf", loc="center")
ax.legend(loc="best")
plt.show()

확률변수의 분포 함수를 결정할 수 없는 경우 마르코프 부등식(Markov’s inequality)을 적용하여 임의의 값 c를 결정하거나 그 변수까지의 누적확률의 상한값을 계산할 수 있습니다.

식 1의 기대값 E[g(x)]는 표본 공간의 모든 사건에 대한 적분으로 계산할 수 있습니다. 그러므로 부분공간인 A = {x|g(x) ≥ c}에서의 누적확률은 기대값보다 클 수 없습니다. 마르코브 부등식은 이 관계를 사용하여 다음과 같이 증명할 수 있습니다.

\begin{align}E[g(x)]&=\int^\infty_{-\infty} g(x)f(x)\, dx\\&\ge\int_{A} g(x)f(x)\, dx\\& \ge \int_{A} cf(x)\, dx\\&= c\int_{A} f(X)\, dx\\&=cP(x \in A)\\&=cP(g(x) \ge c) \end{align}

(식 2)

예 1)

확률변수 X는 평균이 np, 분산이 np(1-p)인 이항분포를 따릅니다. 마르코프 부등식을 적용하여 P(X > αn)을 만족하는 확률의 상한(upper bound)을 결정합니다.
(p = 1/2, α = 3/4, n = 데이터 크기)

\begin{align}P(X \ge \alpha n) &\le \frac{E(X)}{\alpha n} \\&=\frac{pn}{\alpha n}\\&=\frac{p}{\alpha}\\&=\frac{2}{3}\end{align}

체비셰프부등식(chebyshev's inequality)

확률변수 X로 부터 음이 아닌 다른 확률변수 Y = (X - E(X))²를 식 3과 같이 정의합니다.

$$P(Y \ge b^2) \le \frac{E(Y)}{b^2}, \quad b \ge 0$$

(식 3)

이 새로운 변수 Y에 마르코프 부등식을 적용하면 식 3은 식 4와 같이 정리됩니다.

\begin{align}E(Y)&=E(X-E(X))^2\\&=Var(x)\\ P(Y \ge b^2)&=P((X-E(X))^2 \ge b^2)\\&=P(|x-E(X)| \ge b)\\ \therefore &\; P(|x-E(X)| \ge b) \le \frac{Var(X)}{b^2}\end{align}

(식 4)

위의 결과를 체비셰프부등식(chebyshev’s inequality)이라 하며 위의 마지막 식과 같이 일반화 합니다. 이 부등식은 확률변수 X와 평균(E(X))의 차이는 그 변수의 분산(Var(X))에 의해 제한된다는 것을 의미합니다. 확률변수 X의 확률분포 함수를 알 수 없는 경우라도 위 식에 의해 평균과의 편차를 직관적으로 예상할 수 있습니다.

예 2)

확률변수 X는 평균이 np, 분산이 np(1-p)인 이항분포를 따릅니다. 체비셰프 부등식을 적용하여 다음 조건에서 확률의 상한(upper bound)을 결정합니다.

• p = 1/2
• α = 3/4
• n = 데이터 크기

\begin{align}P(x \gt \alpha n)&=P(X-np \ge \alpha n - np)\\& \lt P(\vert X-np \vert \ge \alpha n - np)\\ &=\frac{\text{var}(X)}{(\alpha n - np)^2}\\&=\frac{p(1-p)}{(\alpha n - np)^2}\\&\le \frac{4}{n}\end{align}

예 3)

확률변수 X의 PDF가 f(x) = e^-x, x > 0인 경우 E(X), Var(X)?

또한 변수값과 평균의 차이가 표준편차의 두 배보다 클 확률을 체비셰프부등식에 적용하여 봅니다.

평균과 분산은 다음과 같습니다.

x=symbols('x')
f=exp(-x)
E=integrate(x*f, (x, 0, oo)); E

1

var=integrate(x**2*f, (x, 0, oo))-E**2; var

1

사건의 확률은 식 5와 같이 계산됩니다.

\begin{align}P(|X − 1| \gt 2)&= P(X ≥ 3) ∪ P(X ≤ -1)\\&= P(X ≥ 3)\\&= 1 − P(X ≤ 3)\end{align}

(식 5)

integrate(f, (x, 3, oo)).evalf(3)

0.0498

식 6은 위 사건에 대응하는 확률의 상한값을 추정하기 위해 체비셰프 부등식(식 3)을 적용한 것입니다.

$$P(|X − 1| > 2) ≤ \frac{1}{4}$$

(식 6)

직전의 코드에서 계산한 사건의 확률은 체비세프 부등식에 의한 확률의 상한값보다 작습니다.