기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

[Linear Algebra] 급수(Rank)

급수(Rank)

선형결합에 의해 생성되는 부분 공간 W의 차원은 그 공간을 구성하는 기저(Basis) 벡터의 수 입니다. 그 기저 벡터의 수를 급수(rank)라고 합니다.

예 1)

다음 동차 방정식의 급수(rank)를 결정해 봅니다.

3x1 + 6x2 - x3 + x4 + 7x5 = 0
x1 - 2x2 + 2x3 + 3x4 - x5 = 0
2x1 - x2 + 5x3 + 8x4 - 4x5 = 0
v1=np.array([3, 1, 2])
v2=np.array([6, -2, -1])
v3=np.array([-1, 2, 5])
v4=np.array([1, 3, 8])
v5=np.array([7, -1, -4])
c=np.zeros(3)
aug=np.c_[v1, v2,  v3, v4, v5, c]
print(aug)
[[ 3  6 -1  1  7  0]
 [ 1 -2  2  3 -1  0]
 [ 2 -1  5  8 -4  0]]
print(np.array(Matrix(aug).rref()[0], dtype=float).round(2))
[[ 1.    0.    0.    0.45  2.03  0.  ]
 [ 0.    1.    0.    0.18 -0.12  0.  ]
 [ 0.    0.    1.    1.45 -1.64  0.  ]]

위 결과에 의하면 피벗열은 0, 1, 2열이므로 이 열에 대응되는 열벡터들은 기저벡터가 됩니다. 그러므로 식 1과 같이 나타낼 수 있는 선형 시스템들은 모두 선형 독립 관계가 성립합니다.

\begin{align}&\text{system 1}:\; \begin{bmatrix}3&6&-1\\1&-2&2\\2&-1&5\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}1\\3\\8\end{bmatrix}\\ &\text{system 2}:\; \begin{bmatrix}3&6&-1\\1&-2&2\\2&-1&5\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}7\\-1\\-4 \end{bmatrix}\end{align}(식 1)
re1=Matrix(np.c_[aug[:,:3], aug[:,3]]).rref()
print(np.array(re1[0], dtype=float). round(2))
[[1.   0.   0.   0.45]
 [0.   1.   0.   0.18]
 [0.   0.   1.   1.45]]
re2=Matrix(np.c_[aug[:,:3], aug[:,4]]).rref()
print(np.array(re2[0], dtype=float). round(2))
[[ 1.    0.    0.    2.03]
 [ 0.    1.    0.   -0.12]
 [ 0.    0.    1.   -1.64]]

위 결과는 행렬 aug의 기저 벡터는 3개이므로 급수(Rank)는 3입니다.

Rank aug = 3

numpy.linalg 패키지의 matrix_rank() 함수를 사용하여 급수를 계산할 수 있습니다.

la.matrix_rank(aug)
3

행렬의 급수는 행렬의 다양한 특성들로 확인할 수 있습니다.

행렬의 Rank
  • 0이 아닌 부분공간 W의 차원은 그 공간의 기저(basis)벡터의 수
  • 부분공간이 0인 W의 차원은 0으로 정의합니다.
  • 피봇열(pivot column)의 수
  • 부분공간의 차원을 나타냅니다.
  • numpy.linalg.matrix_rank()로 계산

결과적으로 선형결합에서 다음은 모두 동치입니다.

선형독립의 의미
  • 선형 독립 (linear independent)
  • ⇔ 표준행렬은 기저(basis)벡터들만으로 구성
  • ⇔ 유일한 해 ( trivial solution)
  • ⇔ 유일한 좌표벡터(coordinate vector)의 존재
  • ⇔ 자유변수(free variable)가 없음
  • ⇔ n × m 차원 행렬 A에서 Rank A = m

위 예에서 부분공간 W는 식 2와 같습니다.

W = span{v1, v2, v3}(식 2)

식 2의 스판 벡터 v1, v2, v3는 기저 벡터라는 것을 의미합니다. 그러므로 위의 system1, system2은 자명한 해를 가지며 부분공간은 3차원이 됩니다. 식 3의 표현과 같이 각 선형시스템에서의 해 집합이 좌표 벡터가 됩니다.

\begin{align}&\text{base}=\begin{bmatrix}3&6&-1\\1&-2&2\\2&-1&5\end{bmatrix}\\&\text{system 1}\Rightarrow \begin{bmatrix}1\\3\\8\end{bmatrix}_\text{base}=\begin{bmatrix}0.455\\0.183\\1.45\end{bmatrix}\\&\text{system 2}\Rightarrow \begin{bmatrix}7\\-1\\-4\end{bmatrix}_\text{base}=\begin{bmatrix}2.03\\-0.121\\-1.64\end{bmatrix} \end{align}(식 3)

예 2)

다음 행렬 A의 Rank A를 결정합니다.

$$A=\begin{bmatrix}2& 5& -3& -4& 8\\ 4& 7& -4& -3& 9\\ 6& 9& -5& 2& 4\\ 0& -9& 6& 5& -6\end{bmatrix}$$

A=np.array([[ 2,  5, -3, -4,  8],  [ 4,  7, -4, -3,  9], [ 6,  9, -5,  2,  4], [ 0, -9,  6,  5, -6]])
Matrix(A).rref()
(Matrix([
[1, 0,  1/6, 0, 17/12],
[0, 1, -2/3, 0,  -1/6],
[0, 0,    0, 1,  -3/2],
[0, 0,    0, 0,     0]]),
(0, 1, 3))
la.matrix_rank(A)
3

위의 결과로부터 행렬 A의 열의 수 n은 식 4와 같이 정리할 수 있습니다.

n = Rank A + # of nonpivot column(식 4)

예 3)

벡터 v1, v2, v3로 구성된 선형결합이 가능하다면 부분공간의 차원을 결정합니다.

$$v_1=\begin{bmatrix}2\\-8\\6\end{bmatrix},\quad v_2=\begin{bmatrix}3\\-7\\-1\end{bmatrix},\quad v_3=\begin{bmatrix}-1\\6\\-7\end{bmatrix}$$

v1=np.array([[2],[-8],[6]])
v2=np.array([[3],[-7],[-1]])
v3=np.array([[-1],[6],[-7]])
Matrix(np.c_[v1, v2, v3]).rref()
(Matrix([
[1, 0, -11/10],
[0, 1,    2/5],
[0, 0,      0]]),
(0, 1))

위의 결과에서 피봇열(pivot column)은 0과 1열 입니다. 그러므로 부분공간 H의 차수는 2차원입니다.

예 4)

V = {v1, v2}에서 벡터 c의 좌표벡터를 결정합니다. 또한 전이벡터(x)와 V의 차원, 열공간과 영공간의 수?

$$v_1=\begin{bmatrix}1\\4\\-3\end{bmatrix}, \quad v_2=\begin{bmatrix}-2\\-7\\5\end{bmatrix}, \quad x=\begin{bmatrix}x_1\\x_2\end{bmatrix}, \quad c=\begin{bmatrix}2\\9\\-7\end{bmatrix}$$

v1=np.array([[1], [4], [-3]])
v2=np.array([[-2], [-7], [5]])
c=np.array([[2], [9], [-7]])
au=np.c_[v1, v2, c]
Matrix(au).rref()
(Matrix([
[1, 0, 4],
[0, 1, 1],
[0, 0, 0]]),
(0, 1))

위 결과와 같이 v1, v2는 기저벡터이며 2차원입니다. 즉, Rank V = 2입니다.

la.matrix_rank(np.c_[v1, v2])
2

위 시스템의 해인 [4, 1]은 벡터 c에 대응하는 좌표벡터(x)가 됩니다. 이 좌표벡터는 기저벡터들로 구성된 기저행렬 V에 의해 벡터 c로 전환되는 것으로 V가 전이행렬이 됩니다(식 5).

cv = x(식 5)

피벗열의 수는 열공간의 차원(dim Col)과 같으며 피벗열이 아닌 열의수는 그 행렬의 영공간(Null space)의 수와 같습니다. 그러므로 위 시스템에서 열공간은 2개, 영공간은 0개입니다

행렬의 차원과 급수

m×n 형태의 행렬 A에서 피봇 벡터와 나머지 벡터들 사이에 식 6의 관계가 성립합니다.

rank A + dim Nul A(식 6)
= (# of pivot column) + (# of nonpivot column)
= n

즉, 피봇 열의 수 = 열공간의 수 = 급수

예 5)

다음 행렬 A의 급수를 결정해 봅니다.

$$A=\begin{bmatrix}3&0&-1\\3&0&-1\\4&0&5\end{bmatrix}$$

A=np.array([[3,0,-1], [3,0,-1], [4,0,5]])
Matrix(A).rref()
(Matrix([
[1, 0, 0],
[0, 0, 1],
[0, 0, 0]]),
(0, 2))

위 기약행사다리꼴의 결과에 의하면 피벗 열이 2개이고 자유 변수가 1개이 입니다. 그러므로 다음과 같이 나타낼 수 있습니다.

Rank A = dim Col A = 2
Total number of columns = dim Col A+ dim Nul A
= 2 + 1
= 3

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b