[data analysis] 모멘트 생성함수(MGF)

모멘트생성함수(Moment generating function)

모멘트(moment)는 물리적으로 물체의 운동량 즉, 물체가 자체적으로 가지고 있는 기본량을 나타냅니다. 이와 유사하게 통계적으로 모멘트는 데이터 자체가 가지는 특성을 나타내며 이 모멘트를 생성할 수 있는 함수의 기대값을 모멘트 생성함수(MGF)라고 합니다. 확률분포의 특성을 나타내는 통계량들은 식 1과 같이 정의되는 모멘트를 사용하여 계산할 수 있습니다.

[모멘트 생성함수(MGF)]

확률변수 X에 대해 원점을 중심으로 하는 n번째 모멘트는 E[Xⁿ], 평균값을 중심으로하는 중심모멘트(central moment)의 n차는 E((X − E(X))ⁿ)으로 정의합니다.

1차 모멘트는 기대값 E[X]이며 2차 중심 모멘트는 X의 분산 E[(x − µ)²]입니다.

랜덤변수 X에서 h > 0인 (-h, h)에 속하는 모든 t에 대한 기대값이 존재하면 모멘트생성함수(MGF)는 식 2.5.7과 같이 정의합니다.

\begin{align}M_x(t)&=E\left(e^{tx}\right)\\&=\begin{cases}\sum_{x \in \mathbb{R}} e^{tx}f(x)& x: \text{이산변수}\\ &=\int^\infty_{-\infty}e^{tx}f(x)& x: \text{연속변수} \end{cases} \end{align}

(식 1)

예 1)

이산 확률변수 X의 PMF가 다음과 같을 경우 모멘트 생성함수(MGF)를 계산합니다.

$$P_x(t) =E\left(e^{tx}\right)=\begin{cases} \frac{1}{3}& t=1\\ \frac{2}{3} & t=2 \end{cases}$$

\begin{align}M_x(t)&= E\left(e^{tx}\right) \\&= \sum_{x \in X}e^{tx}f(x)\\& = \frac{1}{3}e^x + \frac{2}{3}e^{2x}\end{align}

확률변수의 모든 모멘트들은 MGF를 기반으로 나타낼 수 있습니다. 그러므로 이 함수에 의해 분포를 결정할 수 있습니다. 예를 들어 두 확률변수들이 같은 MGF를 갖는다면 그들은 같은 분포를 가져야 함을 의미합니다.

모멘트 생성함수를 구성하는 확률 변수 e^tx는 식 2로 정의되는 테일러 급수(Taylor Series)로 나타낼 수 있습니다.

[테일러 급수(Taylor Series)]

\begin{align}e^x&=1+x+\frac{x^2}{2!} +\frac{x^3}{3!} +\cdots\\&= \sum^\infty_{k=0} \frac{x^k}{k!}\end{align}

(식 2)

sympy 모듈의 .series() 메서드 또는 fps() 함수를 사용하여 테일러 급수를 나타낼 수 있습니다. 다음 코드의 O()(알파벳 문자 O)는 x = ∞를 나타내는 기호로서 컴퓨터 과학에서 사용하는 Big O notation 입니다. 이 부분을 삭제하기 위해 .removeO()를 사용합니다.

• sympy 함수.series(x=None, x0=0, n=6, dir="+")
  • 함수 또는 식의 급수 전개를 반환합니다.
  • x: 변수
  • x0: 변수의 초기값
  • n: 급수를 전개 할 항의 개수
  • dir: 급수 전개의 방향을 지정합니다.
• sympy.fps(f, x=None, x0=0, dir=1, …)
  • 함수 f의 급수를 공식화하여 나타냅니다.
  • x: 급수의 변수
  • x0: 시작점이며 기본값은 0
  • dir: 급수 전개의 방향을 나타내며 1 또는 '+'일 경우 x0을 기준으로 오른쪽, -1 또는 '-'일 경우는 왼쪽으로 전개되는 식을 나타냄
• sympy.O()
  • O()(알파벳 문자 O)는 x = ∞를 나타내는 기호로서 컴퓨터 과학에서 사용하는 Big O notation 입니다.
• sympy객체.removeO()
  • series()에 의한 급수 전개시 O() 즉, Big O notation으로 표현된 부분을 삭제합니다.

x=symbols("x")
exp(x).series(x)

$1 + x + \frac{x^{2}}{2} + \frac{x^{3}}{6} + \frac{x^{4}}{24} + \frac{x^{5}}{120} + O\left(x^{6}\right) $

fps(exp(x))

$\left(\sum_{k=1}^{\infty} \begin{cases} \frac{x^{k}}{k!} & \text{for}\: k \bmod 1 = 0 \\0 & \text{otherwise} \end{cases}\right) + 1 $

위 결과에서 "k mod 1 = 0"은 $\frac{k}{1}$의 나머지가 0임을 의미합니다.

식 2(테일러 식)을 사용하면 모멘트 생성함수 (MGF)는 식 3과 같이 전개됩니다.

\begin{align}M_X(t)&=E\left(e^{tX}\right)\\ &=E\left(1+tX+\frac{t^2X^2}{2!} +\frac{t^3X^3}{3!}\right)+\cdots\\ &=1+tE(X)+\frac{t^2}{2!}E(X^2)+\frac{t^3}{3!}E(X^3)+\cdots\end{align}

(식 3)

전개된 MGF를 t관해 1차 미분하고 0을 대입해 봅니다(식 4).

\begin{align}\frac{d\left(M_X(t) \right)}{dt}&= E(X)+t(EX^2)+\frac{t^2}{2!}E(X^3)+\cdots\\ \frac{d\left(M_X(0) \right)}{dt}&=E(X) \end{align}

(식 4)

식 4는 확률변수의 1차 모멘트 즉, 기대값을 나타냅니다. 같은 방식으로 2차 미분을 해봅니다(식 5).

\begin{align}\frac{d^2\left(M_X(t) \right)}{dt^2}&= E(X^2)+t(EX^3)+\cdots\\ \frac{d^2\left(M_X(0) \right)}{dt^2}&=E(X^2) \end{align}

(식 5)

식 5의 결과는 2차 모멘트가 됩니다. 이 과정을 식 6과 같이 일반화시키면 모멘트 생성함수의 미분의 차수와 동일차수의 모멘트가 생성되므로 MGF에 의해 기대값, 분산등의 여러 모멘트를 계산할 수 있습니다.

$$\frac{d^n\left(M_X(t) \right)}{dt^n}= E(X^n)$$

(식 6)

예 2)

함수 f(x)는 a ≤ x ≤ b의 구간에 존재하는 변수 x에 대응하는 확률을 나타냅니다.

$$f(x)=\frac{1}{b-a}$$

모멘트 생성함수를 결정하고 그로부터 1차 모멘트인 기대값을 계산합니다.

MGF는 E(e^tx)는 e^tx·f(x)의 적분 결과입니다. 이 계산은 sympy패키지의 함수 integrate()를 적용합니다.

a, b, x, t=symbols("a, b, x, t", integer=True)
f=1/(b-a)
M=integrate(exp(t*x)*f, (x, a, b)); M

$\begin{cases} \frac{e^{a t}}{a t - b t} - \frac{e^{b t}}{a t - b t} & \text{for}\: a t - b t \neq 0 \\\frac{a}{a - b} - \frac{b}{a - b} & \text{otherwise} \end{cases}$

위 결과는 조각함수입니다. sympy에서 조각함수는 .args 속성을 사용하여 각 결과를 나타낼 수 있습니다. 위 결과의 .arg 결과는 다음과 같습니다.

M.args

((exp(a*t)/(a*t - b*t) - exp(b*t)/(a*t - b*t), Ne(a*t - b*t, 0)),
(a/(a - b) - b/(a - b), True))

위 결과와 같이 조각함수는 각 요소가 두개인 두개의 튜플로 구성됩니다. 조건 a ≠ b에 부합하는 것은 위 결과의 첫 번째 식입니다.

M1=M.args[0][0]; M1

$\frac{e^{a t}}{a t - b t} - \frac{e^{b t}}{a t - b t}$

위 식을 전개하기 위해 .series() 메서드를 적용합니다.

M2=M1.series(t, 0, 4).removeO(); M2

$\frac{a}{a - b} - \frac{b}{a - b} + t^{3} \left(\frac{a^{4}}{24 \left(a - b\right)} - \frac{b^{4}}{24 \left(a - b\right)}\right) + t^{2} \left(\frac{a^{3}}{6 \left(a - b\right)} - \frac{b^{3}}{6 \left(a - b\right)}\right) + t \left(\frac{a^{2}}{2 \left(a - b\right)} - \frac{b^{2}}{2 \left(a - b\right)}\right)$

위 결과의 미분은 sympy 함수인 diff()을 사용합니다.

E=M2.diff(t).subs(t, 0)
simplify(E)

$\displaystyle \frac{a}{2} + \frac{b}{2}$