기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

미분방정식이란?

미분방정식(Differential Equation)

미분방정식이란

미분 방정식은 미분을 포함하는 모든 방정식(상미분 또는 편미분)입니다. 모두가 알고 있는 미분 방정식이 하나 있는데, 바로 뉴턴의 운동 제2법칙입니다. 질량이 있는 물체의 경우 중 m은 가속도 a로 움직이고 있고 힘 F가 작용한다면 뉴턴의 제2법칙은 다음과 같이 나타냅니다. $$F=ma$$ 위 식을 미분방정식으로 나타내기 위해 가속도 a를 속도(v)의 미분 또는 위치(u)의 2차 미분 형태로 나타냅니다. $$a=\frac{dv}{dt}\; \text{or} \; a=\frac{d^2u}{dt^2}$$ 힘 F는 시간, 속도, 위치의 함수이므로 다음과 같이 미분항을 포함하는 미분방정식으로 나타낼 수 있습니다. $$ F(t, v)=m\frac{dv}{dt} \tag{1}$$ $$ F\left(t, u, \frac{du}{dt}\right)=m\frac{d^2u}{dt^2} \tag{2}$$ 미분방정식의 차수(order)는 식 중에 가장 높은 차수로 결정됩니다. 위의 식 중 첫번째는 1차, 두번째 식은 2차 식이 됩니다. 차수는 미분 방정식에 상미분 또는 편도함수가 있는지 여부에 따라 달라지지 않습니다.

미분(Ordinary differential) 및 편미분(Partial differential) 방정식

미분 방정식에 일반적인 미분항(상미분항)을 가지면 상미분 방정식이라고하며 ode로 축약됩니다. 마찬가지로, 미분 방정식에 편도함수가 있는 경우 미분방정식을 편미분방정식이라고 하며 pde로 축약됩니다. 위에서 소개한 뉴턴 법칙의 미분방정식은 상미분방정식입니다. 다음과 같이 편미분항이 존재할 경우 편미분 방정식(pde)이 됩니다. $$\alpha^2\frac{\partial^2 u}{\partial x^2}=\frac{\partial u}{\partial t}$$

선형미분방정식(Linear Differential Equations)

일반적인 선형미분방정식은 다음과 같은 형태입니다. $$a_n(t)y^{(n)}(t)+a_{n-1}(t)y^{(n-1)}(t)+a_{n-2}(t)y^{(n-2)}(t)+\cdots +a_1(t)y'(t)+a_0y(t)=g(t)$$ 선형방정식의 중요한 특징은 함수와 그 미분 함수 사이의 곱이 없다는 것입니다. 계수 $$a_0(t), \cdots, a_n(t)$$ 그리고 상수 g(t)는 0, 상수, 0이 아닌 함수, 선형함수, 비선형 함수등이 될 수 있습니다. 함수 y(t) 그리고 그 함수의 미분은 그 미분방정식이 선형인지를 결정하기 위해 사용됩니다. 다음 미분방정식의 예는 함수와 미분함수사이의 곱이 존재합니다. 그러므로 비선형(non-linear)입니다. $$\sin(y)\frac{d^y}{dx^2}=(1-y)\frac{dy}{dx}+y^2e^{-5y}$$

예)
$y(x)=x^{-\frac{3}{2}}$가 x>0인 조건에서 미분방정식 $4x^2y''+12xy'+3y=0$ 해임을 결정합니다.

x=symbols("x")
y=x**(-3/2)
dy=y.diff(x)
ddy=y.diff(x, 2)
dy
$\quad \color{navy}{\scriptstyle - \frac{1.5}{x^{2.5}}}$
ddy
$\quad \color{navy}{\scriptstyle \frac{3.75}{x^{3.5}}}$
4*x**2*ddy+12*x*dy+3*y
0
다음 코드는 sympy모듈을 사용하여 위 미분방정식의 해를 결정한 것입니다. 이 과정에서 symbols(), Eq(), dsolve()등의 함수를 사용합니다.
  1. 변수 정의(symbols(기호))
  2. 함수 정의 (symbols(기호, cls=Function)
  3. 미분방정식을 정의(Eq() 적용)
  4. 해 결정 (dsolve() 함수 적용): 미분 방정식의 해는 $y(x)=Cx^2$등과 같이 함수의 형태를 가집니다. 이 형태에서 우항만을 나타내기 위해서는 rhs 속성을 적용합니다.
x=symbols('x')
f=symbols('f', cls=Function)
y=f(x)
eq=Eq(4*x**2*diff(y, x, 2)+12*x*diff(y, x)+3*y, 0)
eq
$\quad \color{navy}{\scriptstyle 4 x^{2} \frac{d^{2}}{d x^{2}} f{\left(x \right)} + 12 x \frac{d}{d x} f{\left(x \right)} + 3 f{\left(x \right)} = 0}$
sol=dsolve(eq, y); sol
$\quad \color{navy}{\scriptstyle f{\left(x \right)} = \frac{C_{1} + \frac{C_{2}}{x}}{\sqrt{x}}}$
sol.rhs
$\quad \color{navy}{\scriptstyle \frac{C_{1} + \frac{C_{2}}{x}}{\sqrt{x}}}$ 위 결과의 $C_1, C_2$는 상수입니다. 그러므로 해는 다양합니다. 이 다양한 해들 중에서 특정한 해를 결정하기 위해서는 이 방정식의 조건(들)이 필요합니다. 이러한 조건들을 초기조건(들), initial condition(s), 라고 합니다. 함수의 특정한 값 또는 그 함수의 미분에서의 특정한 값들이 초기조건이 됩니다. 위 예에서 $y(4)=\frac{1}{8}, \; y'(4)=-\frac{3}{64}$의 초기조건이 주어진다면 위 일반해에서 $C_1, \; C_2$를 결정할 수 있습니다.
c1, c2=symbols('c1, c2')
y=(c1+c2/x)/sqrt(x); y
$\quad \color{navy}{\scriptstyle \frac{c_{1} + \frac{c_{2}}{x}}{\sqrt{x}}}$
eq1=Eq(y.subs(x,4), 1/8); eq1
$\quad \color{navy}{\scriptstyle \frac{c_{1}}{2} + \frac{c_{2}}{8} = 0.125}$
eq2=Eq(diff(y, x).subs(x, 4), -3/64); eq2
$\quad \color{navy}{\scriptstyle - \frac{c_{1}}{16} - \frac{3 c_{2}}{64} = -0.046875}$
solve((eq1, eq2))
{c1: 0.0, c2: 1.00000000000000}
위 결과에 의하면 $\frac{1}{x\sqrt{x}}=x^{-\frac{3}{2}}$가 됩니다. 위 과정은 sympy의 dsolve()함수에 초기조건을 전달하기 위한 인수 ics에 값을 전달하는 것으로 결과를 확인할 수 있습니다. 이 인수에 전달하는 값은 사전(dictionary)형식입니다.
spec=dsolve(eq, y, ics={f(4):1/8, f(x).diff(x).subs(x, 4): -3/64});spec
$\quad\color{navy}{\scriptstyle f{\left(x \right)} = \frac{1.0}{x^{\frac{3}{2}}}}$
y.subs(x, 4)
𝑓(4)
초기조건을 고려하지 않은 경우 해를 특정할 수 없습니다. 이러한 일반적인 해의 형태를 일반해(general solution)이라고 합니다.

예)
2ty'+4y=3의 일반해는 다음과 같습니다. 초기조건 y(1)=-4인 경우의 특정해를 결정할 수 있습니다.

t=symbols('t')
f=Function('f')(t)
eq=Eq(2*t*f.diff(t)+4*f, 3);eq
$\quad \color{navy}{\scriptstyle 2t \frac{d}{d t} f{\left(t \right)} + 4 f{\left(t \right)} = 3}$
sol=dsolve(eq, f); sol
$\quad \color{navy}{\scriptstyle f{\left(t \right)} = \frac{C_{1}}{t^{2}} + \frac{3}{4}}$
C=symbols("C")
y=C/t**2+3/4
C1=solve(y.subs(t, 1)+4, C);C1
[-4.75000000000000]
위를 정리하면 $$f(t)=-4.75\frac{1}{t^2}+\frac{3}{4}$$ 이는 dsolve()함수에 ics에 인수를 전달하여 결과를 반환할 수 있습니다.
dsolve(eq, f, ics={f.subs(t, 1):-4})
$\quad \color{navy}{\scriptstyle f{\left(t \right)} = \frac{3}{4} - \frac{19}{4 t^{2}}}$

암시적/명시적 해(implicity/expliity solution)

$$y'=\frac{t}{y}, \quad y(2)=-1$$ 위 미분방정식의 해가 $y^2=t^2-3$이라고 한다면 부과적인 조사가 필요합니다. 이 해의 함수는 다음을 함께 나타내기 때문입니다. $$y=\pm \sqrt{t^2-3}$$ 위와 같이 실제적인 해를 포함하는 해의 형태를 암시적 해(Implicity solution)이라하며 보다 실제적이고 구체적인 해를 명시적 해(Explicity solution)이라 합니다.
t=symbols('t')
y=Function('f')(t)
eq=Eq(y.diff(t), t/y);eq
$\quad\color{navy}{\scriptstyle \frac{d}{d t} f{\left(t \right)} = \frac{t}{f{\left(t \right)}}}$
dsolve(eq, y, ics={y.subs(t, 2): -1})
$\quad\color{navy}{\scriptstyle f{\left(t \right)} = - \sqrt{t^{2} - 3}}$

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b