[data analysis] 모멘트 생성함수(MGF)

모멘트생성함수(Moment generating function)

모멘트(moment)는 물리적으로 물체의 운동량 즉, 물체가 자체적으로 가지고 있는 기본량을 나타냅니다. 이와 유사하게 통계적으로 모멘트는 데이터 자체가 가지는 특성을 나타내며 이 모멘트를 생성할 수 있는 함수의 기대값을 모멘트 생성함수(MGF)라고 합니다. 확률분포의 특성을 나타내는 통계량들은 식 1과 같이 정의되는 모멘트를 사용하여 계산할 수 있습니다.

[모멘트 생성함수(MGF)]

확률변수 X에 대해 원점을 중심으로 하는 n번째 모멘트는 E[Xⁿ], 평균값을 중심으로하는 중심모멘트(central moment)의 n차는 E((X − E(X))ⁿ)으로 정의합니다.

1차 모멘트는 기대값 E[X]이며 2차 중심 모멘트는 X의 분산 E[(x − µ)²]입니다.

랜덤변수 X에서 h > 0인 (-h, h)에 속하는 모든 t에 대한 기대값이 존재하면 모멘트생성함수(MGF)는 식 2.5.7과 같이 정의합니다.

$$\begin{array}{rl}{M}_x(t)& =E\left(e^{tx}\right)\\ & =\{\begin{array}{ll}\sum _{x\in \mathbb{R}}{e}^{tx}f(x)& x:\text{이산변수}\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{tx}f(x)& x:\text{연속변수}\end{array}\end{array}$$

(식 1)

예 1)

이산 확률변수 X의 PMF가 다음과 같을 경우 모멘트 생성함수(MGF)를 계산합니다.

$$P_x(t)=E\left(e^{tx}\right)=\{\begin{array}{ll}\frac{1}{3}& t=1\\ \frac{2}{3}& t=2\end{array}$$

$$\begin{array}{rl}{M}_x(t)& =E\left(e^{tx}\right)\\ & =\sum _{x\in X}{e}^{tx}f(x)\\ & =\frac{1}{3}{e}^x+\frac{2}{3}{e}^{2x}\end{array}$$

확률변수의 모든 모멘트들은 MGF를 기반으로 나타낼 수 있습니다. 그러므로 이 함수에 의해 분포를 결정할 수 있습니다. 예를 들어 두 확률변수들이 같은 MGF를 갖는다면 그들은 같은 분포를 가져야 함을 의미합니다.

모멘트 생성함수를 구성하는 확률 변수 e^tx는 식 2로 정의되는 테일러 급수(Taylor Series)로 나타낼 수 있습니다.

[테일러 급수(Taylor Series)]

$$\begin{array}{rl}{e}^x& =1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\cdots \\ & =\sum _{k=0}^{\mathrm{\infty }}\frac{x^k}{k!}\end{array}$$

(식 2)

sympy 모듈의 .series() 메서드 또는 fps() 함수를 사용하여 테일러 급수를 나타낼 수 있습니다. 다음 코드의 O()(알파벳 문자 O)는 x = ∞를 나타내는 기호로서 컴퓨터 과학에서 사용하는 Big O notation 입니다. 이 부분을 삭제하기 위해 .removeO()를 사용합니다.

• sympy 함수.series(x=None, x0=0, n=6, dir="+")
  • 함수 또는 식의 급수 전개를 반환합니다.
  • x: 변수
  • x0: 변수의 초기값
  • n: 급수를 전개 할 항의 개수
  • dir: 급수 전개의 방향을 지정합니다.
• sympy.fps(f, x=None, x0=0, dir=1, …)
  • 함수 f의 급수를 공식화하여 나타냅니다.
  • x: 급수의 변수
  • x0: 시작점이며 기본값은 0
  • dir: 급수 전개의 방향을 나타내며 1 또는 '+'일 경우 x0을 기준으로 오른쪽, -1 또는 '-'일 경우는 왼쪽으로 전개되는 식을 나타냄
• sympy.O()
  • O()(알파벳 문자 O)는 x = ∞를 나타내는 기호로서 컴퓨터 과학에서 사용하는 Big O notation 입니다.
• sympy객체.removeO()
  • series()에 의한 급수 전개시 O() 즉, Big O notation으로 표현된 부분을 삭제합니다.

x=symbols("x")
exp(x).series(x)

$1+x+\frac{x^2}{2}+\frac{x^3}{6}+\frac{x^4}{24}+\frac{x^5}{120}+O\left(x^6\right)$

fps(exp(x))

$\left(\sum _{k=1}^{\mathrm{\infty }}\{\begin{array}{ll}\frac{x^k}{k!}& \text{for}kmod1=0\\ 0& \text{otherwise}\end{array}\right)+1$

위 결과에서 "k mod 1 = 0"은 $\frac{k}{1}$의 나머지가 0임을 의미합니다.

식 2(테일러 식)을 사용하면 모멘트 생성함수 (MGF)는 식 3과 같이 전개됩니다.

$$\begin{array}{rl}{M}_X(t)& =E\left(e^{tX}\right)\\ & =E(1+tX+\frac{t^2{X}^2}{2!}+\frac{t^3{X}^3}{3!})+\cdots \\ & =1+tE(X)+\frac{t^2}{2!}E(X^2)+\frac{t^3}{3!}E(X^3)+\cdots \end{array}$$

(식 3)

전개된 MGF를 t관해 1차 미분하고 0을 대입해 봅니다(식 4).

$$\begin{array}{rl}\frac{d(M_X(t))}{dt}& =E(X)+t(E{X}^2)+\frac{t^2}{2!}E(X^3)+\cdots \\ \frac{d(M_X(0))}{dt}& =E(X)\end{array}$$

(식 4)

식 4는 확률변수의 1차 모멘트 즉, 기대값을 나타냅니다. 같은 방식으로 2차 미분을 해봅니다(식 5).

$$\begin{array}{rl}\frac{d^2(M_X(t))}{d{t}^2}& =E(X^2)+t(E{X}^3)+\cdots \\ \frac{d^2(M_X(0))}{d{t}^2}& =E(X^2)\end{array}$$

(식 5)

식 5의 결과는 2차 모멘트가 됩니다. 이 과정을 식 6과 같이 일반화시키면 모멘트 생성함수의 미분의 차수와 동일차수의 모멘트가 생성되므로 MGF에 의해 기대값, 분산등의 여러 모멘트를 계산할 수 있습니다.

$$\frac{d^n(M_X(t))}{d{t}^n}=E(X^n)$$

(식 6)

예 2)

함수 f(x)는 a ≤ x ≤ b의 구간에 존재하는 변수 x에 대응하는 확률을 나타냅니다.

$$f(x)=\frac{1}{b-a}$$

모멘트 생성함수를 결정하고 그로부터 1차 모멘트인 기대값을 계산합니다.

MGF는 E(e^tx)는 e^tx·f(x)의 적분 결과입니다. 이 계산은 sympy패키지의 함수 integrate()를 적용합니다.

a, b, x, t=symbols("a, b, x, t", integer=True)
f=1/(b-a)
M=integrate(exp(t*x)*f, (x, a, b)); M

$\{\begin{array}{ll}\frac{e^{at}}{at-bt}-\frac{e^{bt}}{at-bt}& \text{for}at-bt\ne 0\\ \frac{a}{a-b}-\frac{b}{a-b}& \text{otherwise}\end{array}$

위 결과는 조각함수입니다. sympy에서 조각함수는 .args 속성을 사용하여 각 결과를 나타낼 수 있습니다. 위 결과의 .arg 결과는 다음과 같습니다.

M.args

((exp(a*t)/(a*t - b*t) - exp(b*t)/(a*t - b*t), Ne(a*t - b*t, 0)),
(a/(a - b) - b/(a - b), True))

위 결과와 같이 조각함수는 각 요소가 두개인 두개의 튜플로 구성됩니다. 조건 a ≠ b에 부합하는 것은 위 결과의 첫 번째 식입니다.

M1=M.args[0][0]; M1

$\frac{e^{at}}{at-bt}-\frac{e^{bt}}{at-bt}$

위 식을 전개하기 위해 .series() 메서드를 적용합니다.

M2=M1.series(t, 0, 4).removeO(); M2

$\frac{a}{a-b}-\frac{b}{a-b}+t^3(\frac{a^4}{24(a-b)}-\frac{b^4}{24(a-b)})+t^2(\frac{a^3}{6(a-b)}-\frac{b^3}{6(a-b)})+t(\frac{a^2}{2(a-b)}-\frac{b^2}{2(a-b)})$

위 결과의 미분은 sympy 함수인 diff()을 사용합니다.

E=M2.diff(t).subs(t, 0)
simplify(E)

${\displaystyle \frac{a}{2}+\frac{b}{2}}$