기본 콘텐츠로 건너뛰기

벡터와 행렬에 관련된 그림들

댓글 쓰기

[data analysis] 모멘트 생성함수(MGF)

모멘트생성함수(Moment generating function)

모멘트(moment)는 물리적으로 물체의 운동량 즉, 물체가 자체적으로 가지고 있는 기본량을 나타냅니다. 이와 유사하게 통계적으로 모멘트는 데이터 자체가 가지는 특성을 나타내며 이 모멘트를 생성할 수 있는 함수의 기대값을 모멘트 생성함수(MGF)라고 합니다. 확률분포의 특성을 나타내는 통계량들은 식 1과 같이 정의되는 모멘트를 사용하여 계산할 수 있습니다.

[모멘트 생성함수(MGF)]

확률변수 X에 대해 원점을 중심으로 하는 n번째 모멘트는 E[Xn], 평균값을 중심으로하는 중심모멘트(central moment)의 n차는 E((X − E(X))n)으로 정의합니다.

1차 모멘트는 기대값 E[X]이며 2차 중심 모멘트는 X의 분산 E[(x − µ)2]입니다.

랜덤변수 X에서 h > 0인 (-h, h)에 속하는 모든 t에 대한 기대값이 존재하면 모멘트생성함수(MGF)는 식 2.5.7과 같이 정의합니다.

\begin{align}M_x(t)&=E\left(e^{tx}\right)\\&=\begin{cases}\sum_{x \in \mathbb{R}} e^{tx}f(x)& x: \text{이산변수}\\ &=\int^\infty_{-\infty}e^{tx}f(x)& x: \text{연속변수} \end{cases} \end{align} (식 1)

예 1)

이산 확률변수 X의 PMF가 다음과 같을 경우 모멘트 생성함수(MGF)를 계산합니다.

$$P_x(t) =E\left(e^{tx}\right)=\begin{cases} \frac{1}{3}& t=1\\ \frac{2}{3} & t=2 \end{cases}$$

\begin{align}M_x(t)&= E\left(e^{tx}\right) \\&= \sum_{x \in X}e^{tx}f(x)\\& = \frac{1}{3}e^x + \frac{2}{3}e^{2x}\end{align}

확률변수의 모든 모멘트들은 MGF를 기반으로 나타낼 수 있습니다. 그러므로 이 함수에 의해 분포를 결정할 수 있습니다. 예를 들어 두 확률변수들이 같은 MGF를 갖는다면 그들은 같은 분포를 가져야 함을 의미합니다.

모멘트 생성함수를 구성하는 확률 변수 etx는 식 2로 정의되는 테일러 급수(Taylor Series)로 나타낼 수 있습니다.

[테일러 급수(Taylor Series)]
\begin{align}e^x&=1+x+\frac{x^2}{2!} +\frac{x^3}{3!} +\cdots\\&= \sum^\infty_{k=0} \frac{x^k}{k!}\end{align} (식 2)

sympy 모듈의 .series() 메서드 또는 fps() 함수를 사용하여 테일러 급수를 나타낼 수 있습니다. 다음 코드의 O()(알파벳 문자 O)는 x = ∞를 나타내는 기호로서 컴퓨터 과학에서 사용하는 Big O notation 입니다. 이 부분을 삭제하기 위해 .removeO()를 사용합니다.

  • sympy 함수.series(x=None, x0=0, n=6, dir="+")
    • 함수 또는 식의 급수 전개를 반환합니다.
    • x: 변수
    • x0: 변수의 초기값
    • n: 급수를 전개 할 항의 개수
    • dir: 급수 전개의 방향을 지정합니다.
  • sympy.fps(f, x=None, x0=0, dir=1, …)
    • 함수 f의 급수를 공식화하여 나타냅니다.
    • x: 급수의 변수
    • x0: 시작점이며 기본값은 0
    • dir: 급수 전개의 방향을 나타내며 1 또는 '+'일 경우 x0을 기준으로 오른쪽, -1 또는 '-'일 경우는 왼쪽으로 전개되는 식을 나타냄
  • sympy.O()
    • O()(알파벳 문자 O)는 x = ∞를 나타내는 기호로서 컴퓨터 과학에서 사용하는 Big O notation 입니다.
  • sympy객체.removeO()
    • series()에 의한 급수 전개시 O() 즉, Big O notation으로 표현된 부분을 삭제합니다.
x=symbols("x")
exp(x).series(x)

$1 + x + \frac{x^{2}}{2} + \frac{x^{3}}{6} + \frac{x^{4}}{24} + \frac{x^{5}}{120} + O\left(x^{6}\right) $

fps(exp(x))

$\left(\sum_{k=1}^{\infty} \begin{cases} \frac{x^{k}}{k!} & \text{for}\: k \bmod 1 = 0 \\0 & \text{otherwise} \end{cases}\right) + 1 $

위 결과에서 "k mod 1 = 0"은 $\frac{k}{1}$의 나머지가 0임을 의미합니다.

식 2(테일러 식)을 사용하면 모멘트 생성함수 (MGF)는 식 3과 같이 전개됩니다.

\begin{align}M_X(t)&=E\left(e^{tX}\right)\\ &=E\left(1+tX+\frac{t^2X^2}{2!} +\frac{t^3X^3}{3!}\right)+\cdots\\ &=1+tE(X)+\frac{t^2}{2!}E(X^2)+\frac{t^3}{3!}E(X^3)+\cdots\end{align} (식 3)

전개된 MGF를 t관해 1차 미분하고 0을 대입해 봅니다(식 4).

\begin{align}\frac{d\left(M_X(t) \right)}{dt}&= E(X)+t(EX^2)+\frac{t^2}{2!}E(X^3)+\cdots\\ \frac{d\left(M_X(0) \right)}{dt}&=E(X) \end{align} (식 4)

식 4는 확률변수의 1차 모멘트 즉, 기대값을 나타냅니다. 같은 방식으로 2차 미분을 해봅니다(식 5).

\begin{align}\frac{d^2\left(M_X(t) \right)}{dt^2}&= E(X^2)+t(EX^3)+\cdots\\ \frac{d^2\left(M_X(0) \right)}{dt^2}&=E(X^2) \end{align} (식 5)

식 5의 결과는 2차 모멘트가 됩니다. 이 과정을 식 6과 같이 일반화시키면 모멘트 생성함수의 미분의 차수와 동일차수의 모멘트가 생성되므로 MGF에 의해 기대값, 분산등의 여러 모멘트를 계산할 수 있습니다.

$$\frac{d^n\left(M_X(t) \right)}{dt^n}= E(X^n)$$ (식 6)

예 2)

함수 f(x)는 a ≤ x ≤ b의 구간에 존재하는 변수 x에 대응하는 확률을 나타냅니다.

$$f(x)=\frac{1}{b-a}$$

모멘트 생성함수를 결정하고 그로부터 1차 모멘트인 기대값을 계산합니다.

MGF는 E(etx)는 etx·f(x)의 적분 결과입니다. 이 계산은 sympy패키지의 함수 integrate()를 적용합니다. 

a, b, x, t=symbols("a, b, x, t", integer=True)
f=1/(b-a)
M=integrate(exp(t*x)*f, (x, a, b)); M

$\begin{cases} \frac{e^{a t}}{a t - b t} - \frac{e^{b t}}{a t - b t} & \text{for}\: a t - b t \neq 0 \\\frac{a}{a - b} - \frac{b}{a - b} & \text{otherwise} \end{cases}$

위 결과는 조각함수입니다. sympy에서 조각함수는 .args 속성을 사용하여 각 결과를 나타낼 수 있습니다. 위 결과의 .arg 결과는 다음과 같습니다. 

M.args
((exp(a*t)/(a*t - b*t) - exp(b*t)/(a*t - b*t), Ne(a*t - b*t, 0)),
(a/(a - b) - b/(a - b), True))

위 결과와 같이 조각함수는 각 요소가 두개인 두개의 튜플로 구성됩니다. 조건 a ≠ b에 부합하는 것은 위 결과의 첫 번째 식입니다. 

M1=M.args[0][0]; M1

$\frac{e^{a t}}{a t - b t} - \frac{e^{b t}}{a t - b t}$

위 식을 전개하기 위해 .series() 메서드를 적용합니다. 

M2=M1.series(t, 0, 4).removeO(); M2

$\frac{a}{a - b} - \frac{b}{a - b} + t^{3} \left(\frac{a^{4}}{24 \left(a - b\right)} - \frac{b^{4}}{24 \left(a - b\right)}\right) + t^{2} \left(\frac{a^{3}}{6 \left(a - b\right)} - \frac{b^{3}}{6 \left(a - b\right)}\right) + t \left(\frac{a^{2}}{2 \left(a - b\right)} - \frac{b^{2}}{2 \left(a - b\right)}\right)$

위 결과의 미분은 sympy 함수인 diff()을 사용합니다. 

E=M2.diff(t).subs(t, 0)
simplify(E)

$\displaystyle \frac{a}{2} + \frac{b}{2}$

Labels:

댓글

댓글 쓰기

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같...
댓글 쓰기
Read more »

[sympy] Sympy객체의 표현을 위한 함수들

Sympy객체의 표현을 위한 함수들 General simplify(x): 식 x(sympy 객체)를 간단히 정리 합니다. import numpy as np from sympy import * x=symbols("x") a=sin(x)**2+cos(x)**2 a $\sin^{2}{\left(x \right)} + \cos^{2}{\left(x \right)}$ simplify(a) 1 simplify(b) $\frac{x^{3} + x^{2} - x - 1}{x^{2} + 2 x + 1}$ simplify(b) x - 1 c=gamma(x)/gamma(x-2) c $\frac{\Gamma\left(x\right)}{\Gamma\left(x - 2\right)}$ simplify(c) $\displaystyle \left(x - 2\right) \left(x - 1\right)$ 위의 예들 중 객체 c의 감마함수(gamma(x))는 확률분포 등 여러 부분에서 사용되는 표현식으로 다음과 같이 정의 됩니다. 감마함수는 음이 아닌 정수를 제외한 모든 수에서 정의됩니다. 식 1과 같이 자연수에서 감마함수는 factorial(!), 부동소수(양의 실수)인 경우 적분을 적용하여 계산합니다. $$\tag{식 1}\Gamma(n) =\begin{cases}(n-1)!& n:\text{자연수}\\\int^\infty_0x^{n-1}e^{-x}\,dx& n:\text{부동소수}\end{cases}$$ x=symbols('x') gamma(x).subs(x,4) $\displaystyle 6$ factorial 계산은 math.factorial() 함수를 사용할 수 있습니다. import math math.factorial(3) 6 a=gamma(x).subs(x,4.5) a.evalf(3) 11.6 simpilfy() 함수의 알고리즘은 식에서 공통사항을 찾아 정리하...
댓글 쓰기
Read more »

sympy.solvers로 방정식해 구하기

sympy.solvers로 방정식해 구하기 대수 방정식을 해를 계산하기 위해 다음 함수를 사용합니다. sympy.solvers.solve(f, *symbols, **flags) f=0, 즉 동차방정식에 대해 지정한 변수의 해를 계산 f : 식 또는 함수 symbols: 식의 해를 계산하기 위한 변수, 변수가 하나인 경우는 생략가능(자동으로 인식) flags: 계산 또는 결과의 방식을 지정하기 위한 인수들 dict=True: {x:3, y:1}같이 사전형식, 기본값 = False set=True :{(x,3),(y,1)}같이 집합형식, 기본값 = False ratioal=True : 실수를 유리수로 반환, 기본값 = False positive=True: 해들 중에 양수만을 반환, 기본값 = False 예 $x^2=1$의 해를 결정합니다. solve() 함수에 적용하기 위해서는 다음과 같이 식의 한쪽이 0이 되는 형태인 동차식으로 구성되어야 합니다. $$x^2-1=0$$ import numpy as np from sympy import * x = symbols('x') solve(x**2-1, x) [-1, 1] 위 식은 계산 과정은 다음과 같습니다. $$\begin{aligned}x^2-1=0 \rightarrow (x+1)(x-1)=0 \\ x=1 \; \text{or}\; -1\end{aligned}$$ 예 $x^4=1$의 해를 결정합니다. solve() 함수의 인수 set=True를 지정하였으므로 결과는 집합(set)형으로 반환됩니다. eq=x**4-1 solve(eq, set=True) ([x], {(-1,), (-I,), (1,), (I,)}) 위의 경우 I는 복소수입니다.즉 위 결과의 과정은 다음과 같습니다. $$x^4-1=(x^2+1)(x+1)(x-1)=0 \rightarrow x=\pm \sqrt{-1}, \; \pm 1=\pm i,\; \pm1$$ 실수...
댓글 쓰기
Read more »