기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

[Linear Algebra]직교벡터(Orthogonal vectors)

직교벡터(Orthogonal vectors)

식 1에 의하면 두 벡터의 사잇각이 직각일 경우 정사영의 노름(norm)은 0이 됩니다. 즉, 내적은 0으로 식 2와 같이 나타낼 수 있습니다.

\begin{align}u\cdot v & = \Vert{u}\Vert \Vert{v}\Vert \cos(\theta)\\ \cos(\theta) &= \frac{u\cdot v}{\Vert{u}\Vert \Vert{v}\Vert}\end{align}(식 1)
\begin{align}x·y &= \Vert{x}\Vert \Vert{y}\Vert \cos(90°)\\ &= 0\end{align}(식 2)

식 2가 성립하는 두 벡터들은 서로 직교벡터(Orthogonal vectors)이며 직교성(orthogonality)을 가진다고 합니다. 그림 1에서 벡터 uv, 그리고 벡터 u-v는 모두 직각관계를 나타냅니다.

그림 1. 직교벡터
fig, ax=plt.subplots(figsize=(2,2))
ax.arrow(0,0, 1,0,color="r", lw=2, head_width=0.05)
ax.arrow(0,0, -1,0, color="b", lw=2, head_width=0.05)
ax.arrow(0,0, 0, 1, color="g", lw=2, head_width=0.05)
ax.arrow(-1, 0,  1, 1, ls="-.", color="b",alpha=0.3)
ax.arrow(1, 0,  -1, 1, ls="-.", color="r",alpha=0.3)
ax.spines['left'].set_position(("data", 0))
ax.spines['bottom'].set_position(("data", 0))
ax.spines['right'].set_visible(False)
ax.spines['top'].set_visible(False)
ax.set_xticks([])
ax.set_yticks([])
plt.text(0.02, 0.02, r"$90^o$", color="r")
plt.text(-0.4, 0.02, r"$90^o$", color="b")
cor=[(-0.5, -0.1), (0.5, -0.1), (0.1, 0.5), (0.6, 0.5), (-1.3, 0.5)]
nme=["-v","v", 'u', "||u-v||", "||u-(-v)||"]
col=["r", 'b', 'g', 'r','b']
for i in range(len(cor)):
    plt.text(cor[i][0], cor[i][1], nme[i], color=col[i])
plt.show()

그림 1에서 나타낸 벡터들과의 관계는 식 3과 같이 나타낼 수 있습니다.

$$\Vert{u - v}\Vert = \Vert{u - (-v)}\Vert$$(식 3)
직교벡터의 특성
  • 두 벡터 u · v = 0 이라면 두 벡터 u, v는 직교적입니다.
  • 영벡터는 모든 벡터에 직교합니다

예 1)

두 벡터 x, y의 직교여부를 결정합니다.

x = [2, -2, -3, 0],   y = [0, -4, 4, -2]

x=np.array([2, -2, -3, 0])
y=np.array([0, -4, 4, 2])
x@y
-4

두 벡터의 내적은 0이 아닙니다. 즉, 그들은 직교하지 않음을 나타냅니다.

예 2)

두 벡터 x, y가 직교하기 위한 b를 결정합니다.

x = [6, b, -3],  y = [-1, 7, 3]

이 예는 b의 값을 결정하는 것으로 b를 변수로 지정될 필요가 있습니다. 파이썬 모듈 sympy의 함수 symbols() 함수는 문자를 연산이 가능한 수학 기호로 지정할 수 있습니다. 또한 지정된 기호를 포함하는 행렬을 생성하기 위해서는 sympy 모듈의 Matrix() 함수를 사용합니다. 이 함수에 의해 생성된 객체는 numpy의 array 객체와 유사하며 상호 호환이 가능합니다. 또한 이 객체의 전이 행렬은 .T 속성으로 이루어집니다.

b=symbols("b")
x=Matrix([6, b, -3])
y=Matrix([-1, 7, 3])
print(x)
Matrix([[6], [b], [-3]])
print(y)
Matrix([[-1], [7], [3]])

Matrix() 함수에 의해 생성된 객체는 열벡터 또는 행렬의 형태를 갖습니다. 그러므로 행렬곱을 시행하기 위해서는 앞객체의 열의 수와 뒤객체의 행의 수를 일치시켜야 됩니다. 객체 xy 모두 3×1의 형태이므로 앞객체는 전치되어야 합니다. sympy 객체들의 행렬곱은 '*' 연산자 또는 .dot() 메소드로 실행됩니다.

x.T*y
[7b−15]
iner=x.dot(y)
print(iner)
7*b - 15

직교가 되기 위해서는 위 값이 0이 되어야 합니다. 즉, 위 결과인 7b - 15 = 0의 해를 결정하는 것으로 sympy.solve() 함수를 적용합니다.

solve(iner, b)
[15/7]

예 3)

벡터 u1, u2, u3가 직교하기 위한 a, b를 결정합니다.

u1 = [-3, -2, 1], u2 = [a, 1, b], u3 = [1, -4, -5]

예제 2와 같은 방식으로 미지수를 결정할 수 있습니다. 결정할 미지수가 두 개이므로 그 미지수를 포함하는 두개의 식이 필요합니다. 두개의 식을 생성하기 위해 u1과 u2 그리고 u2와 u3의 내적을 계산합니다.

a, b=symbols("a b")
u1=Matrix([-3, -2, 1])
u2=Matrix([a, 1, b])
u3=Matrix([1, -4, -5])
iner1=u1.dot(u2);iner1
-3a+b-2
iner2=u2.dot(u3); iner2
a-5b-4

위 두 결과를 정리하면 식 4와 같이 나타낼 수 있습니다.

\begin{align}-3a + b - 2 & = 0\\ a - 5b - 4 & = 0 \end{align}(식 4)

식 4와 같은 연립방정식의 해 역시 sympy.solve() 함수를 사용하여 결정할 수 있습니다.

solve((iner1, iner2), a, b)
{a: -1, b: -1}

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b