기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

[Linear Algebra] 선형변환(Linear transformation)

선형변환(Linear transformation)

T: U → V은 벡터 공간의 U를 다른 벡터 공간 V로 옮기는 변환(함수)를 나타냅니다. 이 변환이 선형변환(Linear transformation)이 되기 위해서는 선형결합의 성립을 위한 식 1의 조건을 만족해야 합니다. 즉, 선형결합이 성립되는 벡터들은 선형변환이 가능하다는 것을 의미합니다.

\begin{align} &\forall \; \text{u}_1,\; \text{u}_2 \in \text{U} \rightarrow T(\text{u}_1 + \text{u}_2) = T(\text{u}_1)+T(\text{u}_2)\\ &\forall \; \text{u} \in \text{U} \cap α \in \text{C} \rightarrow T(\alpha \text{u}) = \alpha T(\text{u})\\&u,\, v:\; \text{벡터, 스칼라} \end{align}(식 1)

예 1)

다음 식이 선형변환인지를 결정합니다.

$$T\left(\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix} \right)=\begin{bmatrix}2x_1+x_3\\-4x_2\end{bmatrix} $$

위 변환은 식 2와 같이 표준행렬 A에 의한 선형결합으로 나타낼 있습니다.

\begin{align}\begin{bmatrix}2x_1+x_3\\-4x_2\end{bmatrix}&=\begin{bmatrix}2& 0& 1\\0& -4& 0\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}\\\Leftrightarrow &\; T=Ax \end{align}(식 2)

식 2의 성립여부는 동차시스템으로 전환한 상태에서 해의 존재를 결정하는 것으로 확인할 수 있습니다.

A=np.array([[2,0,1],[0,-4,0]])
c=np.zeros((2,1))
aug=np.c_[A, c]
print(aug)
[[ 2.  0.  1.  0.]
 [ 0. -4.  0.  0.]]
Matrix(aug).rref()
(Matrix([
 [1, 0, 0.5, 0],
 [0, 1,   0, 0]]),
 (0, 1))

1개의 자유변수가 존재하므로 선형종속입니다. 즉, 선형결합이 성립하므로 선형변환 역시 성립합니다. 임의의 ℝ3의 두 벡터에 대해 위 선형변환의 조건의 성립여부를 확인해 봅니다.

a=np.array([3, 6, 9]).reshape(3, 1)
b=np.array([2, 5, 8]).reshape(3, 1)
a_b=a+b
print(np.isclose(A@a_b, A@a+A@b))
[[ True]
 [ True]
 [ True]]
print(np.isclose(A@(2*a_b), 2*(A@a_b)))
[[ True]
 [ True]
 [ True]]

위 결과는 임의의 두 벡터에 대한 선형변환의 조건을 충족함을 나타냅니다.

예 2)

다음 식이 선형변환인지를 검정해 봅니다.

$$T\left(\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix} \right)+\begin{bmatrix}0\\0\\-2\end{bmatrix}=\begin{bmatrix}4x_1+2x_2\\0\\x_1+3x_2-2\end{bmatrix} $$

위 식의 좌항을 기준으로 변환 T를 표준행렬로 나타낼 수 있습니다. 이 표준행렬을 사용하여 위 식은 식 3과 같이 나타낼 수 있습니다.

$$\begin{bmatrix}4&2&0\\0&0&0\\1&0&3\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}+\begin{bmatrix}0\\0\\-2\end{bmatrix} =\begin{bmatrix}x4X_1+2X_2\\0\\X_1+3X_2\end{bmatrix}+\begin{bmatrix}0\\0\\-2\end{bmatrix}$$ (식 3)

식 3에서 상수벡터는 좌항과 우항에서 모두 고려된 것으로 상쇄되므로 표준행렬에 의한 선형결합 여부만을 결정하는 것과 같습니다.

A=np.array([[4,2,0], [0,0,0], [1,0,3]])
b=np.array([0, 0, -2]).reshape(-1,1)
c=np.zeros((3,1))
print(A)
[[4 2 0]
 [0 0 0]
 [1 0 3]]
aug=np.c_[A, c]
Matrix(aug).rref()
(Matrix([
 [1, 0,  3.0, 0],
 [0, 1, -6.0, 0],
 [0, 0,    0, 0]]),
 (0, 1))

위 결과 1개의 자유변수를 가진 선형종속입니다. 즉, 선형결합이 성립합니다. 다음은 선형변환의 조건을 확인하기 위해 임의의 두 벡터을 적용합니다.

a=np.array([3, 6, 9]).reshape(3, 1)
b=np.array([2, 5, 8]).reshape(3, 1)
a_b=a+b
print(np.isclose(A@a_b, A@a+A@b))
[[ True]
 [ True]
 [ True]]
c=2
print(np.isclose(A@(2*a_b), 2*(A@a_b)))
[[ True]
 [ True]
 [ True]]

예 3)

다음 행렬변환이 선형변환인가를 결정합니다.

$$T\left(\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}\right)=\begin{bmatrix}x_1& x_2\\x_2& -x_3\end{bmatrix}$$

위 변환의 표준행렬은 식 4와 같습니다.

$$A = \begin{bmatrix}1&1&0\\0&1&-1\end{bmatrix}$$ (식 4)

A를 기준으로하는 동차시스템의 해를 결정합니다.

A=np.array([[1,1,0],[0,1,-1]])
c=np.zeros((2,1))
aug=np.c_[A, c]
Matrix(aug).rref()
(Matrix([
 [1, 0,  1.0, 0],
 [0, 1, -1.0, 0]]),
 (0, 1))

1개의 자유변수를 가진 선형종속입니다. 선형결합이 성립하므로 위의 두 조건이 성립할 것입니다. 즉, 선형변환이 이루어집니다.

a=np.array([3, 6, 9]).reshape(3, 1)
b=np.array([2, 5, 8]).reshape(3, 1)
a_b=a+b
print(np.isclose(A@a_b, A@a+A@b))
[[ True]
 [ True]]
c=2
print(np.isclose(A@(2*a_b), 2*(A@a_b)))
[[ True]
 [ True]]

동차방정식과 항등행렬에 의한 선형결합을 각각 영변환, 항등변환으로 명명합니다.

  • T(u) = 0을 만족하는 변환을 영변환(zero transformation)이라고 합니다.
  • T(u) = u와 같이 자신으로 변환되는 경우는 항등변환(identity transformation)이라고 합니다.

식 5와 같이 모든 벡터는 표준기저벡터(e1, e2, e3)를 사용하여 선형결합형태로 표현할 수 있습니다.

\begin{align}\begin{bmatrix}3\\5\\7\end{bmatrix}&=3\begin{bmatrix}1\\0\\0\end{bmatrix}+5\begin{bmatrix}0\\1\\0 \end{bmatrix}+7\begin{bmatrix}0\\0\\1 \end{bmatrix}\\&=3e_1+5e_2+7e_3\\&=\left(\begin{bmatrix}3\\5\\7\end{bmatrix}\right)^T\begin{bmatrix}1&0&0\\0&1&0\\0&0&1 \end{bmatrix} \end{align} (식 5)

식 6은 식 5를 일반화하여 나타낸 것으로 항등변환에 해당합니다.

\begin{align}x&=\begin{bmatrix}x_1\\x_2\\ \vdots \\x_n\end{bmatrix}\\&=x_1e_1+x_2e_2+\cdots+x_ne_n\\&= \begin{bmatrix}1&0&\cdots&0\\0&1&\cdots&0\\\vdots& \vdots& \ddots &\vdots\\0&0&\cdots&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\ \vdots \\x_n\end{bmatrix}\\&=T\left(\begin{bmatrix}x_1\\x_2\\ \vdots \\x_n\end{bmatrix}\right)\end{align}(식 6)

대각행렬은 스칼라 배수를 사용하여 식 7과 같이 항등변환으로 나타낼 수 있습니다.

\begin{align}A&=\begin{bmatrix}a_{11}&0&\cdots&0\\0&a_{22}&\cdots&0\\\vdots& \vdots& \ddots &\vdots\\0&0&\cdots&a_{nn}\end{bmatrix}\\&=\begin{bmatrix}1&0&\cdots&0\\0&1&\cdots&0\\\vdots& \vdots& \ddots &\vdots\\0&0&\cdots&1\end{bmatrix}\begin{bmatrix}a_{11}\\a_{22}\\ \vdots \\a_{nn}\end{bmatrix}\\&=T\left(\begin{bmatrix}a_{11}\\a_{22}\\ \vdots \\ a_{nn} \end{bmatrix}\right) \end{align}(식 7)

예 4)

다음은 2차원에서 3차원으로의 변환(T: R2→R3)을 나타낸 것입니다. T에 의해 벡터 b 또는 c로의 변환 여부를 결정합니다.

\begin{align}T\left(\begin{bmatrix}x_1\\x_2\end{bmatrix}\right)&=\begin{bmatrix}x_1 - 3x_2\\3x_1+5x_2\\-x_1+7x_2\end{bmatrix}\\b=\begin{bmatrix}3\\2\\-5\end{bmatrix}& \quad c=\begin{bmatrix}3\\2\\5\end{bmatrix}\end{align}

위 식은 식 8과 같이 나타낼 수 있으며 이 예는 결과 벡터인 b 또는 c와의 선형결합 성립여부를 결정하는 것입니다.

\begin{align}\begin{bmatrix}1&-3\\3&5\\-1&7\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}&=\begin{bmatrix}x_1-3x_2\\3x_1+5x_2\\-x_1+7x_2\end{bmatrix}\\ \Rightarrow\; Ax&=b\;\text{또는}\;c\end{align} (식 8)

식 4.2.7의 표준행렬과 벡터 b 또는 c와의 확대행렬에 대한 rref를 조사하는 것으로 선형결합의 성립여부를 판단할 수 있습니다.

A=np.array([[1,-3],[3, 5],[-1,7]])
b=np.array([3, 2, -5]).reshape(-1,1)
c=np.array([3, 2, 5]).reshape(-1,1)
Matrix(np.c_[A, b]).rref()
(Matrix([
 [1, 0,  3/2],
 [0, 1, -1/2],
 [0, 0,    0]]),
 (0, 1))
Matrix(np.c_[A, c]).rref()
((Matrix([
 [1, 0, 0],
 [0, 1, 0],
 [0, 0, 1]]),
 (0, 1, 2))

위 결과에 의하면 A와 b의 확대행렬의 rref로 부터 자명한 해를 계산할 수 있습니다. 그러므로 b는 T에 의한 변환이 성립합니다. 그러나 A와 c의 확대행렬의 3행은 식 9와 같이 성립할 수 없습니다.

0x1 + 0x2 = 1 (식 9)

그러므로 Ax = c는 모순된 시스템으로 선형변환은 가능하지 않습니다.

예 5)

두 벡터 u, v를 사용하여 T에 의한 선형변환 여부를 결정하여 봅니다.

$$T=\begin{bmatrix}0&-1\\1&0\end{bmatrix}\quad u=\begin{bmatrix}4\\1\end{bmatrix} \quad v=\begin{bmatrix}2\\3\end{bmatrix}$$

T=np.array([[0,-1],[1,0]])
u=np.array([[4],[1]])
v=np.array([[2],[3]])
print(np.isclose(T@u+T@v, T@(u+v)))
[[ True]
 [ True]]
c=2
print(np.isclose(T@(2*u), 2*(T@u)))
[[ True],
 [ True]]

위 결과는 T에 대한 선형변환의 두 조건을 모두 만족합니다. 즉, 변환 T는 선형입니다. 이것은 T와 u 또는 v의 선형결합이 성립한다는 것을 의미합니다. T는 정방행렬로 다음과 같이 행렬식이 0이 아니므로 역행렬에 의해 각 선형결합의 해벡터를 결정할 수 있습니다.

la.det(T)
1.0
sol_u=la.solve(T, u)
print(sol_u)
[[ 1.]
 [-4.]]
sol_v=la.solve(T, v)
print(sol_v)
[[ 3.]
 [-2.]]

예 6)

다음 변환 A에 의해 ℝ4의 벡터 b가 0벡터에 대응되는 모든 벡터들을 결정합니다.

\begin{align}A&=\begin{bmatrix}1&-3&5&-5\\0&1&-3&5\\2&-4&4&4\end{bmatrix} \quad b=\begin{bmatrix}x_1\\x_2\\x_3\\x_4 \end{bmatrix} \\ &\begin{bmatrix}1&-3&5&-5\\0&1&-3&5\\2&-4&4&4\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\\x_4 \end{bmatrix}=\begin{bmatrix}0\\0\\0\end{bmatrix}\end{align}

A=np.array([[1,-3,5,-5], [0,1,-3,5], [2,-4,4,4]])
c=np.array([0,0,0])
sol=Matrix(np.c_[A, c]).rref()
sol
(Matrix([
 [1, 0, -4, 0, 0],
 [0, 1, -3, 0, 0],
 [0, 0,  0, 1, 0]]),
 (0, 1, 3))

위 결과는 A에 의한 선형변환이 성립함을 나타냅니다. 1개의 자유변수를 포함하므로 백터 b는 표준행렬 A의 영공간의 스칼라배의 형태로 다양하게 존재합니다.

Matrix(A).nullspace()
[Matrix([
 [4],
 [3],
 [1],
 [0]])]

위 선형결합의 해 벡터인는 b는 식 10과 같이 나타낼 수 있습니다.

$$b=\begin{bmatrix}x\\y\\z\\w\end{bmatrix}=\begin{bmatrix}4z\\3z\\z\\0\end{bmatrix}=z\begin{bmatrix}4\\3\\1\end{bmatrix}$$ (식 10)

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b