기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

치환미분

치환미분

결합함수의 미분을 계산하기 위해 사용할 수 있는 치환방법을 소개했습니다. 이것을 좀더 일반화하여 여러 형태에 사용되는 치환미분을 살펴봅니다.

다음 함수는 거듭제곱 형태로서 연쇄법칙을 적용하여 미분할 수 있습니다.

$$y=\sqrt{(x^2+a^2)^3}$$

미분 계산을 위해서는 함수를 최대한 간단하게 정리하는 것이 유리합니다. 위 함수에서 $x^2 + a^2 = u$로 치환하면 다음과 같이 정리됩니다.

$y=\sqrt{u^3}$

위와 같이 치환에 의한 함수의 미분의 과정은 다음과 같습니다.

  1. $\displaystyle u=x^2+y^2$
  2. $\displaystyle y=\sqrt{u^3}$
  3. $\displaystyle \frac{du}{dx}=2x$
  4. $\displaystyle \frac{du}{dx}=\frac{3\sqrt{u}}{2}$
  5. $\displaystyle \frac{dy}{dx}=\frac{dy}{du} \frac{du}{dx}$

위 과정의 1과 2 단계는 치환 과정이며 3과 4 단계는 각각 치환된 함수를 미분한 것입니다. 최종 결과인 5 단계에서는 3과 4 단계의 결과들을 곱하고 치환 함수를 원래의 함수로 환원시킨 것입니다. 위의 5 단계를 계산하면 다음과 같습니다.

$$3x\sqrt{u}=3x\sqrt{x^2+a^2}$$

위의 모든 과정을 코드화하면 다음과 같습니다.

a, u, x=symbols('a, u, x')
u1=x**2+a**2
y=u**(Rational('3/2'))
dydu=diff(y, u) #dy/du
dydu
$\quad \small \color{blue}{\frac{3 \sqrt{u}}{2}}$
#치환 
dudx=diff(u1, x)
dudx #du/dx
$\quad \small \color{blue}{2x}$
dydx=dydu*dudx
dydx
$\quad \small \color{blue}{3 \sqrt{u} x}$
#환원
dydx.subs(u, u1)
$\quad \small \color{blue}{3 x \sqrt{a^{2} + x^{2}}}$

위 과정을 몇 가지 예들에 적용해 봅니다.

예 1)
  $y = \sqrt{a + x}$의 $\displaystyle \frac{dy}{dx}$?

$$a + x = u \rightarrow y = \sqrt{u}$$
a, u, x=symbols('a, u, x')
u1=x+a
y=u**(Rational('1/2'))
dydx=y.diff(u)*u1.diff(x)
dydx
$\quad \small \color{blue}{\frac{1}{2 \sqrt{u}}}$
dydx.subs(u, u1)
$\quad \small \color{blue}{\frac{1}{2\sqrt{a+x}}}$

예 2)
  $\displaystyle y =\frac{1}{\sqrt{a+x^2}}$의 $\displaystyle \frac{dy}{dx}$?

a, u, x=symbols('a, u, x')
u1=a+x**2
y=u**(Rational('-1/2'))
dydx=y.diff(u)*u1.diff(x)
dydx
$\quad \small \color{blue}{- \frac{x}{u^{\frac{3}{2}}}}$
dydx.subs(u, u1)
$\quad \small \color{blue}{- \frac{x}{\left(a + x^{2}\right)^{\frac{3}{2}}}}$
y1=1/sqrt(a+x**2)
y1.diff(x)
$\quad \small \color{blue}{- \frac{x}{\left(a + x^{2}\right)^{\frac{3}{2}}}}$

예 3)
  $\displaystyle y=\left(m - n x^{\frac{2}{3}} + \frac{p}{x^{\frac{4}{3}}}\right)^{a}$의 $\displaystyle \frac{dy}{dx}$?

$$u=\left(m - n x^{\frac{2}{3}} + \frac{p}{x^{\frac{4}{3}}}\right)^{a} \rightarrow y=u^a$$
a, m, n, p, u, x=symbols('a, m, n, p, u, x')
y=(m-n*x**(Rational('2/3'))+p/x**(Rational('4/3')))**a
u1=m-n*x**(Rational('2/3'))+p/x**(Rational('4/3'))
y1=u**a 
u1dx=u1.diff(x)
u1dx
$\quad \small \color{blue}{- \frac{2 n}{3 \sqrt[3]{x}} - \frac{4 p}{3 x^{\frac{7}{3}}}}$
y1du=y1.diff(u)
y1du
$\quad \small \color{blue}{\frac{a u^{a}}{u}}$
y1dx=y1du*u1dx
y1dx.subs(u, u1)
$\quad \small \color{blue}{\frac{a \left(- \frac{2 n}{3 \sqrt[3]{x}} - \frac{4 p}{3 x^{\frac{7}{3}}}\right) \left(m - n x^{\frac{2}{3}} + \frac{p}{x^{\frac{4}{3}}}\right)^{a}}{m - n x^{\frac{2}{3}} + \frac{p}{x^{\frac{4}{3}}}}}$
dydx=y.diff(x)
dydx
$\quad \small \color{blue}{\frac{a \left(- \frac{2 n}{3 \sqrt[3]{x}} - \frac{4 p}{3 x^{\frac{7}{3}}}\right) \left(m - n x^{\frac{2}{3}} + \frac{p}{x^{\frac{4}{3}}}\right)^{a}}{m - n x^{\frac{2}{3}} + \frac{p}{x^{\frac{4}{3}}}}}$

예 4)
  다음 식을 미분합니다.

$$y=\frac{1}{\sqrt{x^3-a^2}}$$

위 식은 분수 형태이지만 분자가 상수이고 분모가 거듭제곱 형태이므로 치환에 의한 연쇄법칙(결합함수의 미분 참조)을 적용할 수 있습니다.

$$\begin{align} u&=x^3-a^2\\ y&=\sqrt{u} \end{align}$$
a, u, x=symbols('a, u, x')
y=1/sqrt(x**3-a**2)
u1=x**3-a**2
y1=1/sqrt(u)
u1dx=u1.diff(x)
u1dx
$\quad \small\color{blue}{3x^2}$
y1du=y1.diff(u)
y1du
$\quad \small\color{blue}{-\frac{1}{2u^{\frac{3}{2}}}}$
y1dx=y1du*u1dx
y1dx.subs(u, u1)
$\quad \small\color{blue}{- \frac{3 x^{2}}{2 \left(- a^{2} + x^{3}\right)^{\frac{3}{2}}}}$
dydx=y.diff(x)
dydx
$\quad \small\color{blue}{- \frac{3 x^{2}}{2 \left(- a^{2} + x^{3}\right)^{\frac{3}{2}}}}$

미분, 적분의 모든 계산에 적용되는 하나의 통일된 방법은 없습니다. 각 식에 맞게 적절한 방법을 선택하는 것이 중요합니다. 위 예들은 치환할 수 있는 식을 가진 경우입니다. 그러나 구성된 식들이 여러 종류일 경우는 다른 접근이 필요합니다. 다음 예 5의 경우는 단일한 식으로 치환하여 전체 식이 간략화될 수 없는 구조이며 분수 형태입니다. 이러한 형태의 미분은 미분의 나눗셈 규칙(결합함수의 미분 참조)을 적용할 수 있습니다.

예 5)
  다음 식의 $\displaystyle \frac{dy}{dx}$?

$$y=\displaystyle \frac{\sqrt{1 - x}}{\sqrt{x + 1}}$$
x=symbols('x')
y=sqrt(1-x)/sqrt(x+1)
de=denom(y)#분모
nu=numer(y) #분자
dde=de.diff()
dde
$\quad \small \color{blue}{\frac{1}{2 \sqrt{x + 1}}}$
dnu=nu.diff()
dnu
$\quad \small \color{blue}{- \frac{1}{2 \sqrt{1 - x}}}$
dy=(dnu*de-nu*dde)/de**2 #(1)
simplify(dy)
$\quad \small \color{blue}{- \frac{1}{\sqrt{1 - x} \left(x + 1\right)^{\frac{3}{2}}}}$

위 코드의 dy의 미분 과정은 다음과 같습니다.

$$\begin{align} \frac{dy}{dx}&=\frac{\frac{d\sqrt{1-x}}{dx}\sqrt{x+1}-\sqrt{1-x}\frac{d\sqrt{x+1}}{dx}}{x+1}\\ &=\frac{-\frac{\sqrt{1-x}}{2\sqrt{x+1}}-\frac{\sqrt{x+1}}{2\sqrt{1-x}}}{x+1}\\ &=-\frac{1}{(x+1)^{\frac{3}{2}}\sqrt{1-x}} \end{align}$$

물론 원래 함수를 직접 미분하는 것에 의해 같은 결과가 반환되어야 합니다.

dy2=y.diff(x)
simplify(dy2)
$\quad \small \color{blue}{- \frac{1}{\sqrt{1 - x} \left(x + 1\right)^{\frac{3}{2}}}}$

예 6)
  다음 식의 $\displaystyle \frac{dy}{dx}$?

$$y=\sqrt{\frac{x^3}{1+x^2}}$$

다음 식은 분수형태입니다. 분수 즉, 나눗셈은 곱셈으로 표시할 수 있습니다. 그러므로 예5와 같이 미분의 나눗셈 법칙을 적용할 수 있지만 곱의 법칙 역시 적용할 수 있습니다.

$$\Rightarrow x^{\frac{3}{2}}(1+x^2)^{-\frac{1}{2}}$$

위 식의 $(1+x^2)^{-\frac{1}{2}}$는 예 2에서 전개한 치환미분 방법을 적용하여 계산합니다. 먼저 나눗셈 규칙을 적용합니다.

x=symbols('x')
y=sqrt(x**3)/sqrt(1+x**2)
de=denom(y)#분모 
nu=numer(y) #분자
d_de=de.diff()
d_de
$\quad \small \color{blue}{\frac{x}{\sqrt{x^{2} + 1}}}$
d_nu=nu.diff()
d_nu
$\quad \small \color{blue}{\frac{3 \sqrt{x^{3}}}{2 x}}$
dy=(d_nu*de-nu*d_de)/de**2 #(1)
simplify(dy)
$\quad \small \color{blue}{\frac{\left(x^{2} + 3\right) \sqrt{x^{3}}}{2 x \left(x^{2} + 1\right)^{\frac{3}{2}}}}$

위 결과는 원 식에 대한 직접 미분과 같습니다.

dy_o=y.diff(x)
simplify(dy_o)
$\quad \small \color{blue}{\frac{\left(x^{2} + 3\right) \sqrt{x^{3}}}{2 x \left(x^{2} + 1\right)^{\frac{3}{2}}}}$

위와 같이 미분의 나눗셈 규칙 대신 곱 규칙을 적용하여 계산해 봅니다.

dy_o=y.diff(x)
y1=x**(Rational("3/2"))*(1+x**2)**(Rational("-1/2"))
y1
$\quad \small\color{blue}{\frac{x^{\frac{3}{2}}}{\sqrt{x^{2} + 1}}}$
u=x**(Rational("3/2"))
v=(1+x**2)**(Rational("-1/2"))
dy1=u.diff()*v+u*v.diff()
simplify(dy1)
$\quad \small\color{blue}{\frac{\sqrt{x} \left(x^{2} + 3\right)}{2 \left(x^{2} + 1\right)^{\frac{3}{2}}}}$

예 7)
  다음 식의 $\displaystyle \frac{dy}{dx}$?

$$y=\left(x+\sqrt{x^2+x+a}\right)^3$$

함수 y는 거듭제곱 형태로 연쇄 규칙을 적용하여 미분 할수 있습니다.

$$\frac{dy}{dx}=3\left(x+\sqrt{x^2+x+a}\right)^2\color{red}{\frac{d\left(x+\sqrt{x^2+x+a}\right)}{dx}(1)}$$ $$\begin{align} \color{red}{\frac{d\left(x+\sqrt{x^2+x+a}\right)}{dx}}&=\frac{dx}{dx}+\frac{d\left(\sqrt{x^2+x+a}\right)}{dx}\\ &=\left(1+\color{blue}{\frac{d\left(\sqrt{x^2+x+a}\right)}{dx}(2)}\right)\\ \color{blue}{\frac{d\left(\sqrt{x^2+x+a}\right)}{dx}}&=\frac{1}{2\sqrt{x^2+x+a}}\frac{d\left(x^2+x+a\right)}{dx}\\ &=\frac{2x+1}{2\sqrt{x^2+x+a}} \end{align}$$

위는 함수 y의 미분 계산 과정을 나타낸 것으로 식 (1)은 직접 미분이 어려운 경우이며 거듭제곱 형을 포함하므로 다시 연쇄 규칙을 적용하여 미분 하였습니다. 그 결과에서 식(2)의 미분에 연쇄 규칙을 반복하여 적용하면 최종 결과는 다음과 같습니다.

$$\left(x + \sqrt{a + x^{2} + x}\right)^{2} \left(\frac{3 \left(x + \frac{1}{2}\right)}{\sqrt{a + x^{2} + x}} + 3\right)$$
a, x=symbols('a, x')
y=(x+sqrt(x**2+x+a))**3
dydx=diff(y, x)
dydx
$\quad \small\color{blue}{\left(x + \sqrt{a + x^{2} + x}\right)^{2} \left(\frac{3 \left(x + \frac{1}{2}\right)}{\sqrt{a + x^{2} + x}} + 3\right)}$

예 7과 같이 결과에 대한 연속적인 미분이 필요한 경우 결국 많은 미분 계수가 생성되며 최종적으로 이들을 연결하여야 합니다. 위 예의 미분 과정은 다음과 같이 간략히 나타낼 수 있습니다.

$$\frac{dy}{dx}=\frac{dy}{dz}\frac{dz}{dv}\frac{dv}{dx}$$

예 7)
  $z = 3x^4,\; v = 7z^{-2},\; y =\sqrt{1 + v}$로 부터 $\frac{dy}{dx}$?

v, x, z=symbols('v, x, z')
z1=3*x**4
dzdx=z1.diff(x)
dzdx
$\quad \small\color{blue}{12x^3}$
v1=7/z**2
dvdz=v1.diff(z)
dvdz
$\quad \small\color{blue}{-\frac{14}{z^3}}$
y=sqrt(1+v)
dydv=y.diff(v)
dydv
$\quad \small\color{blue}{\frac{1}{2\sqrt{v+1}}}$

다음은 예의 3개의 식들을 결합하여 미분한 것입니다.

eq=y.subs(v, v1).subs(z, z1)
eq
$\quad \small\color{blue}{\sqrt{1 + \frac{7}{9 x^{8}}}}$
diff(eq, x)
$\quad \small\color{blue}{- \frac{28}{9 x^{9} \sqrt{1 + \frac{7}{9 x^{8}}}}}$

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b