기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

극소와 극대의 결정

내용

극대와 극소의 결정

곡선으로부터 계산되는 $\displaystyle \frac{dy}{dx}$는 곡선의 기울기를 의미합니다. 기울기를 다시 한번 더 미분한 결과 $\displaystyle \frac{d^2y}{dx^2}$는 그 기울기의 단위 길이 당 변화하는 비율(rate)을 의미합니다. 간단히 말해서 경사의 곡률(curvature)을 측정 한 것입니다.

import numpy as np
import pandas as pd
from sympy import *
import matplotlib.pyplot as plt

그림 1의 (a)는 직선과 (b)는 곡선을 나타낸 것입니다.

plt.figure(dpi=60)
x=np.linspace(-1, 5, 100)
y1=x+1
y2=x**2+1
plt.plot(x, y1, label="(a)")
plt.plot(x, y2, label="(b)")
plt.xlabel('x', size=12, weight="bold")
plt.ylabel('y', size=12, weight="bold")
plt.legend(loc="best", prop={"weight":"bold"})
plt.xticks([])
plt.yticks([])
plt.show()
그림 1. (a)$\displaystyle \frac{d^2y}{dx^2}=0$, (b)$\displaystyle \frac{d^2y}{dx^2}>0$.
plt.figure(dpi=60)
x=np.linspace(-1, 5, 100)
y1=x+1
y2=x**2+1
plt.plot(x, y1, label="(a)")
plt.plot(x, y2, label="(b)")
plt.xlabel('x', size=12, weight="bold")
plt.ylabel('y', size=12, weight="bold")
plt.legend(loc="best", prop={"weight":"bold"})
plt.xticks([])
plt.yticks([])
plt.show()

그림 1(a)의 경우 기울기는 상수입니다. 그러므로 기울기의 미분계수는 0이 됩니다.

$$\begin{align} &\frac{dy}{dx}=\text{constant}\\ &\frac{d\left(\frac{dy}{dx}\right)}{dx}=\frac{d^2y}{dx^2}=0 \end{align}$$

그림 1(b)는 이차항의 계수가 양수인 이차곡선으로 접선의 기울기는 상수가 아닙니다. 그러므로 곡선위의 임의의 점에서의 접선의 기울기에 대한 미분계수 즉, 곡률은 증가합니다.

$$\frac{d\left(\frac{dy}{dx}\right)}{dx}=\frac{d^2y}{dx^2} \gt 0$$

그림 2 (a)의 함수 f(x)는 로그함수와 같은 형상으로 우상향 합니다. 그러나 (b)에 나타낸 것과 같이 그 함수의 각 점에서의 미분계수는 x의 증가와 함께 감소되고 있음을 나타냅니다. 그러므로 그림 2(b)의 각 점에서의 접선의 기울기인 x에 대한 y의 2차 미분계수는 음수가 됩니다.

rng=np.linspace(1, 50, 100)
y1=[y.subs(x, i) for i in rng]
dy1=[dy.subs(x, i) for i in rng]
plt.figure(dpi=100)
plt.plot(rng, y1, color="blue", label="(a) f(x)")
plt.plot(rng, dy1, color="red", label="(b) dy/dx")
plt.xlabel('x', size=12, weight="bold")
plt.ylabel('y', size=12, weight="bold")
plt.xticks([])
plt.yticks([])
plt.legend(loc="best", prop={"weight":"bold", "size":12})
plt.show()
그림 2. 함수 f(x)와 1차 미분계수($\displaystyle \frac{dy}{dx}$의 관계.

위에서 소개한 그래프들의 기울기의 변화는 이차 미분 계수에 의해 반영됩니다. 그러므로 이차 미분 계수의 부호는 극대와 극소를 결정할 수 있는 단서를 제공합니다. 예를 들어 이차 미분 계수가 양수이면 그래프는 증가하고 음수일 경우 감소한다는 것을 의미합니다. 표 1과 같이 이차미분계수의 부호와 $\displaystyle \frac{dy}{dx}=0$인 지점에서 함수의 극값을 결정할 수 있습니다.

표 1. 1차와 2차 미분 계수와 극값
$\displaystyle \frac{d^2y}{dx^2}$$\displaystyle \frac{dy}{dx}$ 극값
+0기울기의 증가, 극소값
-0기울기의 감소, 극대값

그림 3은 $\displaystyle y = 0.3(x-3)^2 + 1$에 대한 그래프로서 위쪽으로 오목하며 x = 3인 지점에서 극소점을 나타냅니다. 또한 x가 증가할수록 그 식에 대한 접선의 기울기 즉, y의 이차 미분계수는 증가를 나타냅니다.

x=Symbol("x")
y= 0.3*(x-3)**2 + 1
y
0.3(𝑥−3)2+1
dy=y.diff(x)
dy
0.6x−1.8
xEx=solve(dy)
xEx
[3.00000000000000]
yEx=[y.subs(x, i) for i in xEx]
yEx
[1]
dy2=y.diff(x, 2)
dy2
0.6
rng=np.linspace(-10, 10, 100)
y1=[y.subs(x, i) for i in rng]
dy1=[dy.subs(x, i) for i in rng]
plt.figure(figsize=(10, 4), dpi=100)
plt.plot(rng, y1, color="blue", label="f(x)")
plt.plot(rng, dy1, color="red", label="dy/dx")
plt.scatter(xEx, yEx, label="Minimum",color="black")
plt.xlabel('x', size=12, weight="bold")
plt.ylabel('y', size=12, weight="bold")
plt.text(xEx[0]-1, yEx[0]+1, f"({N(xEx[0],1)}, {yEx[0]})", size=12, weight="bold")
plt.legend(loc="best", prop={"weight":"bold", "size":12})
plt.grid(True)
plt.show()
그림 3. 접선의 기울기와 극소값.

그림 4는 $y = -0.3(x-3)^2 + 4$를 그래프화한 것으로 볼록한 모양을 나타냅니다. 이 곡선은 x = 3인 지점에서 극대점을 나타냅니다. 또한 x가 증가할수록 그 식에 대한 접선의 기울기 즉, y의 이차 미분계수는 감소를 나타냅니다.

x=Symbol("x")
y = -0.3*(x-3)**2 + 4
y
4−0.3(𝑥−3)2
dy=y.diff(x)
dy
1.8−0.6𝑥
xEx=solve(dy)
xEx
[3.00000000000000]
yEx=[y.subs(x, i) for i in xEx]
yEx
[4]
dy2=y.diff(x, 2)
dy2
−0.6
rng=np.linspace(-10, 10, 100)
y1=[y.subs(x, i) for i in rng]
dy1=[dy.subs(x, i) for i in rng]
plt.figure(figsize=(10, 4), dpi=100)
plt.plot(rng, y1, color="blue", label="f(x)")
plt.plot(rng, dy1, color="red", label="dy/dx")
plt.scatter(xEx, yEx, label="Maximum",color="black")
plt.xlabel('x', size=12, weight="bold")
plt.ylabel('y', size=12, weight="bold")
plt.text(xEx[0]-1, yEx[0]+1, f"({N(xEx[0],1)}, {yEx[0]})", size=12, weight="bold")
plt.legend(loc="best", prop={"weight":"bold", "size":12})
plt.grid(True)
plt.show()
그림 4. 접선의 기울기와 극대값.

예 1)
 이차 미분계수를 적용하여 다음 식들의 극소 또는 극대값을 결정을 위한 몇 가지 예를 봅시다.

(1) y = 4x2 - 9x - 6

x=Symbol("x")
y = 4*x**2-9*x-6
y
4𝑥2−9𝑥−6
dy=y.diff(x)
dy
8𝑥−9
xEx=solve(dy)
xEx
[9/8]
yEx=[y.subs(x, i) for i in xEx]
yEx
[-177/16]
dy2=y.diff(x, 2)
dy2
8

위 코드의 결과는 이차 미분계수가 양수입니다. 즉, 곡률은 증가하는 상태이므로 극소값임을 의미합니다. 이 결과는 극값 주위를 값들에 대응되는 y 값들의 비교로 극소임을 확인해 봅니다.

rng=[0, 0.5, 1, 9/8, 12/8, 2]
yrng=[N(y.subs(x, i), 3) for i in rng]
pd.DataFrame([rng, yrng], index=["범위(x)", "대응값(y)"])
0 1 2 3 4 5
범위(x) 0 0.5 1 1.125 1.5 2
대응값(y) -6.00 -9.50 -11.0 -11.1 -10.5 -8.00

위 결과는 x=3에서 최소인 y를 나타내고 있습니다.

(2) y = x3 - 3x + 16

x=Symbol("x")
y = x**3 - 3*x + 16
y
𝑥3−3𝑥+16
dy=y.diff(x)
dy
3𝑥2−3
xEx=solve(dy)
xEx
[-1, 1]
yEx=[y.subs(x, i) for i in xEx]
yEx
[18, 14]
dy2=y.diff(x, 2)
dy2
6𝑥
xEx=np.array(xEx, dtype=float)
rng=np.unique(np.sort(np.append(np.linspace(np.min(xEx)-2, np.max(xEx)+2, 5), xEx)))
rng
array([-3. , -1.5, -1. ,  0. ,  1. ,  1.5,  3. ])
yrng=[N(y.subs(x, i), 3) for i in rng]
dy2rng=[N(dy2.subs(x, i), 3) for i in rng]
pd.DataFrame([rng, yrng, dy2rng], index=["범위(x)", "대응값(y)","d2y/dx"])
0 1 2 3 4 5 6
범위(x) -3.0 -1.5 -1.0 0.0 1.0 1.5 3.0
대응값(y) -2.00 17.1 18.0 16.0 14.0 14.9 34.0
d2y/dx -18.0 -9.00 -6.00 0 6.00 9.00 18.0

결과에 의하면 이 식의 극값은 두 개이며 각 지점에서 이차 미분 계수는 음수와 양수임을 나타냅니다. 즉, 극점들을 중심으로 일정한 범위에 대해 대응하는 y값과 이차미분계수의 부호를 비교하면 극점인 x의 -1과 1에서 대응하는 y값 18과 14이 각각 극대값과 극소값임을 알 수 있습니다. 이 함수를 그래프로 나타내면 그림 5와 같습니다.

rng1=np.unique(np.sort(np.append(np.linspace(np.min(xEx)-2, np.max(xEx)+2, 100), xEx)))
yrng1=[N(y.subs(x, i), 3) for i in rng1]
dy2rng1=[N(dy2.subs(x, i), 3) for i in rng1]
plt.figure(figsize=(10, 4), dpi=100)
plt.plot(rng1, yrng1, color="blue", label="f(x)")
plt.plot(rng1, dy2rng1, color="red", label=r"$\mathbf{\frac{d^2y}{dx^2}}$")
plt.scatter(xEx[0], yEx[0], label="Maximum",color="green")
plt.scatter(xEx[1], yEx[1], label="Minimum",color="orange")
plt.axhline(0, linestyle="--", color="black")
plt.xlabel('x', size=12, weight="bold")
plt.ylabel('y', size=12, weight="bold")
plt.legend(loc="best", prop={"weight":"bold", "size":12})
plt.grid(True)
plt.show()
그림 5. $y=-x^3+3x +16$의 극대값과 극소값.

(3) $\displaystyle \mathbf{y=\frac{x-1}{x^2+2}}$

x=Symbol("x")
y=(x-1)/(x**2+2)
y
$\quad \small \color{blue}{\frac{x - 1}{x^{2} + 2}}$
dy=y.diff(x)
dy
$\quad \small \color{blue}{- \frac{2 x \left(x - 1\right)}{\left(x^{2} + 2\right)^{2}} + \frac{1}{x^{2} + 2}}$
xEx=solve(dy)
xEx
[1 - sqrt(3), 1 + sqrt(3)]
yEx=[y.subs(x, i) for i in xEx]
yEx
[-sqrt(3)/((1 - sqrt(3))**2 + 2), sqrt(3)/(2 + (1 + sqrt(3))**2)]
dy2=y.diff(x, 2)
dy2
$\quad \small \color{blue}{\frac{2 \left(- 2 x + \left(x - 1\right) \left(\frac{4 x^{2}}{x^{2} + 2} - 1\right)\right)}{\left(x^{2} + 2\right)^{2}}}$
xEx=np.array(xEx, dtype=float)
rng=np.unique(np.sort(np.append(np.linspace(np.min(xEx)-2, np.max(xEx)+2, 5), xEx)))
rng
array([-2.73205081, -0.8660254 , -0.73205081,  1.        ,  2.73205081,
        2.8660254 ,  4.73205081])
yrng=[N(y.subs(x, i), 3) for i in rng]
dy2rng=[N(dy2.subs(x, i), 3) for i in rng]
pd.DataFrame([rng, yrng, dy2rng], index=["범위(x)", "대응값(y)","d2y/dx"])
0 1 2 3 4 5 6
범위(x) -2.732051 -0.866025 -0.732051 1.0 2.732051 2.866025 4.732051
대응값(y) -0.394 -0.679 -0.683 -1.48e-16 0.183 0.183 0.153
d2y/dx -0.0575 0.413 0.539 -0.444 -0.0387 -0.0306 0.00171

극값의 x 좌표에 대응하는 2차 미분의 값은 각각 양수와 음수 입니다. 그러므로 위 코드의 결과는 다음과 같이 해석됩니다.

x at $\displaystyle \frac{dy}{dx}=0$ $\displaystyle \frac{d^2y}{dx^2}$ y 극값
-0.732 양수 -0.683극대값
2.732 음수0.183극소값

위의 결과는 그림 6으로 확인할 수 있습니다.

rng1=np.unique(np.sort(np.append(np.linspace(np.min(xEx)-2, np.max(xEx)+2, 100), xEx)))
yrng1=[N(y.subs(x, i), 3) for i in rng1]
dy2rng1=[N(dy2.subs(x, i), 3) for i in rng1]
plt.figure(dpi=100)
plt.plot(rng1, yrng1, color="blue", label="f(x)")
plt.plot(rng1, dy2rng1, color="red", label=r"$\mathbf{\frac{d^2y}{dx^2}}$")
plt.scatter(xEx[0], yEx[0], label="Maximum",color="green")
plt.scatter(xEx[1], yEx[1], label="Minimum",color="orange")
plt.axhline(0, linestyle="--", color="black")
plt.xlabel('x', size=12, weight="bold")
plt.ylabel('y', size=12, weight="bold")
plt.legend(loc="best", prop={"weight":"bold", "size":12})
plt.grid(True)
plt.show()
그림 6. $\displaystyle\frac{x - 1}{x^{2} + 2}$의 극값.

예 2)
&emspl;어떤 공장의 생산 비용 C는 생산량 P와 다음의 관계를 보입니다. 최소의 비용을 사용할 경우의 생산량을 계산합니다.

$$\begin{align}C&=aP+\frac{b}{c+P}+d\\ &\text{a, b, c, d: 양의 상수}\end{align}$$
a, b, c,d,P=symbols('a, b, c, d, P', positive=True)
C=a*P+b/(c+P)+d
dC=diff(C, P)
dC
$\quad \small \color{blue}{a - \frac{b}{\left(P + c\right)^{2}}}$
P_m=solve(dC, P)
P_m
[-c + sqrt(b)/sqrt(a)]
ddC=diff(C, P, 2)
ddC
$\quad \small \color{blue}{\frac{2 b}{\left(P + c\right)^{3}}}$
ddC.subs(P, P_m[0])
$\quad \small \color{blue}{\frac{2 a^{\frac{3}{2}}}{\sqrt{b}}}$

P에 대한 1차 미분에 의한 극점 P_m에 대해 2차 미분은 양수입니다. 그러므로 이 지점은 극소점으로 극소값을 나타낸다. 즉, 최소 비용을 일으키는 생산량 P는 $\displaystyle -c + \sqrt{\frac{b}{a}}$입니다.

예 3)
&emspl;N개의 램프를 조명하는데 시간당 비용(C)과의 관계는 다음과 같습니다.

$$\mathsf{\begin{align} C&=N \left(\frac{C_l}{t}+\frac{EPC_e}{1000}\right)\\ E&= efficiency \;(lamp/w)\\ P&= lamp \;power \;(watt, w)\\ t&=time\\ Cl &= \frac{\text{비용}}{t}\\ Ce& = \frac{\text{비용}}{t \cdot P} \end{align}}$$

램프의 평균 수명과 작동되는 효율을 연결하는 관계는 대략 $t = mE^n$이며, 여기서 m과 n은 램프의 종류에 따른 상수입니다. 총 조명 비용이 가장 적은 효율성을 찾으십시오.

비용 함수 C를 효율성 E에 대해 미분해야 합니다. 또한 함수 C의 t는 상수가 아닌 E에 관련된 변수이므로 즉, E에 의존하므로 다음 코드와 같이 함수 C의 변수 t를 mEn로 치환한 상태에서 미분을 시행해야 합니다.

Cl, Ce, E, m, n, N, P, t=symbols('Cl, Ce, E, m, n, N, P, t', positive=True)
C=N*(Cl/t+(E*P*Ce)/1000)
t1=m*E**n
C=C.subs(t, t1)
C
$\quad \small \color{blue}{N \left(\frac{Ce E P}{1000} + \frac{Cl E^{- n}}{m}\right)}$

위 결과의 극점의 극대, 극소를 결정합니다.

Cl, Ce, E, m, n, N, P, t=symbols('Cl, Ce, E, m, n, N, P, t', positive=True)
C=N*(Cl/t+(E*P*Ce)/1000)
t1=m*E**n
C=C.subs(t, t1)
C
$\quad \small \color{blue}{N \left(\frac{Ce E P}{1000} + \frac{Cl E^{- n}}{m}\right)}$
dC=diff(C, E)
dC
$\quad \small \color{blue}{N \left(\frac{Ce P}{1000} - \frac{Cl E^{- n} n}{E m}\right)}$
Em=solve(dC, E)
Em
[(1000*Cl*n/(Ce*P*m))**(1/(n + 1))]
ddC=diff(C, E, 2)
ddC
$\quad \small \color{blue}{\frac{Cl E^{- n} N n \left(n + 1\right)}{E^{2} m}}$
ddC.subs(E, Em[0])>0
True

이차미분에 극값이 될 E지점을 대입한 값은 양수입니다. 그러므로 최소비용이 될 E는 다음과 같습니다.

Cmin=C.subs(E, Em[0])
Cmin
$\quad \small \color{blue}{N \left(\frac{Ce P \left(\frac{1000 Cl n}{Ce P m}\right)^{\frac{1}{n + 1}}}{1000} + \frac{Cl \left(\frac{1000 Cl n}{Ce P m}\right)^{- \frac{n}{n + 1}}}{m}\right)}$

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b