기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

[Linear Algebra] 기약행 사다리꼴 형태 (Reduced row echelon form, rref)

기약행 사다리꼴 형태 (Reduced row echelon form, rref)

관련된 내용

행사다리 꼴(row echelon form, ref)은 식 1과 같이 상삼각행렬 형태를 보입니다. 각 행에서 0이외의 첫번 째 요소가 1인 경우를 기약행사다리꼴(reduced row echelon form, rref) 이라고 합니다.

$$\begin{bmatrix}0& a& b & c & \cdots\\0& 0& d & e & \cdots\\0& 0& 0 & f & \cdots\\ \vdots& \vdots& \vdots& \vdots& \ddots\end{bmatrix}$$(식 1)

식 2는 연립방정식을 행렬 방정식으로 나타낸 것입니다.

$$\begin{aligned}x+y& =2\\ 2x+4y &=-3\\ 3x+6y & =5 \end{aligned}\Rightarrow \begin{bmatrix} 1& 1\\2& 4\\3& 6\end{bmatrix} \begin{bmatrix} x\\ y\end{bmatrix} = \begin{bmatrix}2\\ -3\\5\end{bmatrix}$$(식 2)

식 2에서는 나타낸 것과 같이 표준행렬은 정방행렬이 아니므로 역행렬에 의한 해를 결정할 수 없습니다. 이 경우 식 3에서 나타낸 것과 같이 표준행렬과 상수행렬을 결합한 형태에서 각 행간의 연산에 의해 표준행렬을 항등행렬의 형태로 전환할 수 있다면 해를 결정 할 수 있습니다.

\begin{align}\begin{bmatrix} 1& 1& :2 \\2& 4& :-3\\3& 6 & :5\end{bmatrix} &\Rightarrow \begin{bmatrix} 1& 0& :a \\0& 1& :b\\0& 0 & :0\end{bmatrix}\\ \begin{bmatrix} 1& 0 \\0& 1\\0& 0\end{bmatrix} \begin{bmatrix} x \\y\end{bmatrix}&= \begin{bmatrix} a \\b\\c\end{bmatrix}\\ \therefore x=a &\quad y=b\end{align}(식 3)

식 3의 첫 행렬과 같이 표준행렬과 상수행렬을 결합한 형태를 확대 행렬(augment matrix)이라고 합니다. 식 4와 같이 확대행렬에서 두 행간의 연산을 반복하여 최종적으로 표준행렬을 항등행렬과 유사한 형태인 기약행 사다리꼴 형태(rref)로 수정하는 것으로 각 미지수의 해를 결정할 수 있습니다. 이 방법을 가우스조르당 소거법이라고 합니다.

1행 × 2 − 2행 = 2행(식 4)

식 2.2.7에서 나타낸 것과 같이 확대 행렬에서 표준행렬과 상수행렬을 구분하기 위해 콜론을 사용했습니다. 다음은 콜론의 오른쪽에 나타낸 표준행렬을 rref로 변환하기 위한 연산 과정을 코드화한 것입니다.

au=np.array([[1,1,2], [2,4,-3], [3,6,5]])
print(au)
[[ 1  1  2]
 [ 2  4 -3]
 [ 3  6  5]]
au[1,:]=au[1,:]-2*au[0,:]
print(au)
[[ 1  1  2]
 [ 0  2 -7]
 [ 3  6  5]]
au[2,:]=au[2,:]-3*au[0,:] 
au[1,:]=au[1,:]/2 
au[0,:]=au[0,:]-au[1,:] 
au[2,:]=au[2,:]-3*au[1,:] 
au[2,:]=au[2,:]/8
print(au)
[[ 1  0  5]
 [ 0  1 -3]
 [ 0  0  1]]

위 결과와 같이 상수행렬의 각 요소는 표준행렬에 표시되는 각 변수에 대한 해가 됩니다. 위 결과는 식 5와 같이 나타낼 수 있습니다.

$$\begin{bmatrix} 1& 0 \\0& 1\\0& 0\end{bmatrix} \begin{bmatrix} x \\y\end{bmatrix}= \begin{bmatrix} 5\\-3\\1\end{bmatrix} \Rightarrow \begin{aligned}x&=5\\y&=-3\\0x+0y&=1 \end{aligned}$$(식 5)

식 5의 3번째 행(식)의 경우는 계수가 모두 0인데 상수 1과 같음을 의미하는 것으로 성립될 수 없는 식입니다. 그러므로 이 선형시스템(연립방정식)의 해는 존재할 수 없습니다. 이와 같이 해를 결정할 수 없는 연립방정식(선형시스템)을 모순된 시스템(inconsistemt system)이라 합니다. 그림 1은 위 연립방정식(식 2)을 나타낸 것으로 세개의 직선의 교차점은 존재할 수 없습니다.

그림 1. 교차점을 가지지 않는 세 직선.

메서드 sympy객체.rref()를 사용하여 rref를 확인할 수 있습니다. 이 메서드를 적용하는 sympy 객체는 모듈 sympy의 여러 함수들로 생성된 객체이며 파이썬의 기본 자료형인 리스트 형식으로 생성됩니다. 이것은 numpy의 배열(array)과 같은 형식이므로 두 모듈에서 생성된 객체의 상호변환이 가능합니다. 그러므로 다음 코드와 같이 numpy의 배열 객체는 sympy 모듈의 행렬을 생성하는 함수 Matrix()을 사용하여 변환하여 메서드 rref()에 적용할 수 있습니다. 이 메서드는 객체의 rref와 선도변수의 위치를 튜플 형태로 반환합니다. 선도변수의 위치는 각 행에서 첫 1의 값이 나오는 위치에 해당하는 열 번호를 나타냅니다.

A=np.array([[1,1],[2,4],[3,6]])
print(A)
[[1 1]
 [2 4]
 [3 6]]
print(Matrix(A).rref())
(Matrix([
[1, 0],
[0, 1],
[0, 0]]), (0, 1))

식6과 같이 표현되는 기약행사다리꼴은 행렬의 다양한 정보를 포함하고 있습니다.

$$\begin{bmatrix}{\color{red}{1}}&0&0&0 & \cdots\\0& {\color{red}{1}}& 0 & 0 & \cdots\\0& 0& {\color{red}{1}} & 0 & \cdots\\ \vdots& \vdots& \vdots& \vdots& \ddots\end{bmatrix}$$
(식 6)
[기약행사다리꼴 형태의 특성]
  1. 선도 1(leading 1): 각 행에서 0이후에 나타나는 첫 번째 요소로서 그 값이 1인 경우를 의미
    • 선도 1이 나타난 위치를 피봇 위치(pivot position)이라 합니다.
  2. 피봇열(pivot column): 피봇 위치를 포함하는 열 (column)
    • 선도변수(leading variable): 피봇 열에 해당하는 변수
    • 자유변수(free variable): 피봇 열이 아닌 열에 대응하는 변수
    • 자유변수가 존재하면 다수의 해들이 존재합니다.
  3. k 행이 모두 0으로 구성되지 않는 경우 선도 1 이전의 0수는 k+1 행보다 k행이 더 많습니다.
  4. 어떤 행의 요소들이 모두 0인 경우 그 직전 행의 모든 요소들이 0은 아닙니다.
  5. 선도 1을 포함하는 행의 나머지 요소들은 모두 0입니다.

위 특성들 중 1, 2, 3, 4를 만족하면 행사다리꼴 형태(row echelon form, ref)이며 위의 모든 특성을 충족하는 경우 기약 행 사다리꼴 형태(rref)이 됩니다.

예 1)

다음 연립 방정식의 해를 기약행사리꼴 형태를 사용하여 계산해봅니다.

a + b - c + 3d = 0
3a + b - c - d = 0
2a - b - 2c + d = 0

위 연립방정식의 확대행렬 aug는 다음과 같습니다.

aug=np.array([[1,1,-1,3, 0], [3,1,-1, -1, 0], [2,-1,-2, 1, 0]])
print(aug)
[[ 1  1 -1  3  0]
 [ 3  1 -1 -1  0]
 [ 2 -1 -2  1  0]]
re=Matrix(aug).rref()
re
(Matrix([
 [1, 0, 0,    -2, 0],
 [0, 1, 0,   5/3, 0],
 [0, 0, 1, -10/3, 0]]),
 (0, 1, 2))

위 결과는 1, 2, 그리고 3열이 피봇열로 3개의 선도변수와 1개의 자유변수가 존재함을 나타냅니다. 이 결과는 식 7과 같이 나타낼 수 있습니다.

\begin{align}&\begin{bmatrix} 1&0&0&-2\\ 0& 1& 0 & \frac{5}{3} \\ 0& 0&1 &\frac{-10}{3}\end{bmatrix} \begin{bmatrix} a\\b\\c\\d\end{bmatrix}= \begin{bmatrix} 0\\0\\0\end{bmatrix}\\ &\Rightarrow \begin{aligned}a-d =0 & \rightarrow a=d\\ b+\frac{5}{3}d=0& \rightarrow a=-\frac{5}{3}\\ c-\frac{10}{3}d=0 &\rightarrow c=\frac{10}{3}d\end{aligned}\end{align}(식 7)

식 7에서 나타낸 것과 같이 선도변수인 a, b, c는 자유변수인 d에 의존합니다. 즉, 자유변수가 존재하면 다수의 해가 존재합니다.

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b