기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

R: 역행렬을 사용하여 선형시스템의 해 결정

내용

역행렬을 사용하여 선형시스템의 해 결정

항등행렬

항등행렬 : eye(n)
> eye(3)
     [,1] [,2] [,3]
[1,]    1    0    0
[2,]    0    1    0
[3,]    0    0    1

역행렬

역행렬: 다음의 관계를 만족하는 행렬 B를 역행렬(inverse matrix)라고 합니다. $$A \cdot B = I \rightarrow B=A^{-1}$$ 이러한 역행렬을 가지는 행렬을 가역행렬(reversible matrix)라고 합니다.
> set.seed(2)
> a<-sample(1:10, 4);a
[1] 5 6 9 1
> A<-matrix(a, 2,2);A
     [,1] [,2]
[1,]    5    9
[2,]    6    1
> A_inv<-solve(A); A_inv
            [,1]       [,2]
[1,] -0.02040816  0.1836735
[2,]  0.12244898 -0.1020408
> A%*%A_inv
     [,1]          [,2]
[1,]    1 -1.110223e-16
[2,]    0  1.000000e+00
> round(A%*%A_inv)
     [,1] [,2]
[1,]    1    0
[2,]    0    1
위 행렬 A의 행렬식은 0이 아닙니다.
> det(A)
[1] -49

행렬식

행렬은 그 행렬로 부터 계산할 수 있는 행렬식(determinant)이 0인 경우 역행렬이 존재하지 않는 특성을 가지고 있습니다. 즉, 행렬식은 어떤 행렬에 대해 특이 행렬 여부를 결정할 수 있는 근거가 됩니다.
행렬식 ≠ 0 → 가역행렬
그러나 위 명제의 역은 성립하지 않습니다.
R함수 det()를 사용하여 계산합니다.

연립방정식에 적용

역행렬을 사용하여 연립방정식의 해를 결정할 수 있습니다. $$ \begin{matrix} \begin{matrix} x + y + 2z& =9 \\2x + 4y- 3z& = 1\\ 3x + 6y- 5z& = 0 \end{matrix} \rightarrow & \begin{bmatrix}1&1&2\\2&4&-3\\3&6&-5\end{bmatrix} \begin{bmatrix}x\\y\\z\end{bmatrix} = \begin{bmatrix}9\\1\\0\end{bmatrix} \end{matrix}$$ 위 식의 계수행렬을 A, 변수행렬을 x, 상수행렬은 c 라고 하면 다음과 같이 나타낼 수 있습니다.
Ax=c
A가 가역행렬이라면 변수행렬은 다음과 같이 계산될 수 있습니다. $$\begin{align}&Ax=c\\&A^{-1}Ax=A^{-1}c\\&x=A^{-1}c\end{align}$$
> a1<-c(1,1,2)
> a2<-c(2,4,-3)
> a3<-c(3, 6, -5)
> A<-rbind(a1, a2, a3);A
   [,1] [,2] [,3]
a1    1    1    2
a2    2    4   -3
a3    3    6   -5
> det(A)
[1] -1
행렬식이 0이 아니므로 가역행렬이므로 역행렬을 계산합니다.
> constant<-matrix(c(9, 1, 0), nrow=3); constant
     [,1]
[1,]    9
[2,]    1
[3,]    0
> A_inv<-solve(A); A_inv
     a1  a2 a3
[1,]  2 -17 11
[2,] -1  11 -7
[3,]  0   3 -2
위 역행렬과 상수행렬의 행렬곱에 의해 해를 결정합니다.
> A_inv%*%constant
     [,1]
[1,]    1
[2,]    2
[3,]    3
위 과정은 solve(개수행렬, 상수벡터)함수로 대체할 수 있습니다.
> solve(A, constant)
     [,1]
[1,]    1
[2,]    2
[3,]    3

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b