기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

[linear algebra] 벡터와 행렬(vector & Matrix)

벡터와 행렬(vector & Matrix)

파이썬에서 벡터, 행렬 등은 numpy.array() 함수를 사용하여 생성합니다. 또한 각 객체는 차원(dimension)을 갖습니다.

벡터(vector)

A = (3,1), B = (2,3)는 두 개 축 위에 표시되는 좌표(점)로 나타낼 수 있습니다. 각 점은 어떤 기준에 대한 크기만을 가집니다. 예를 들어 원점 O(0,0)를 기준으로 A 또는 B의 거리는 식 1과 같이 계산할 수 있습니다.

\begin{align}\Vert \overline{OA}\Vert &=\sqrt{(3-0)^2+(1-0)^2}=\sqrt{10}\\ \Vert \overline{OB}\Vert &=\sqrt{(2-0)^2+(3-0)^2}=\sqrt{13}\end{align} (식 1)

식 1의 $\overline{OA}$는 점 O와 점 A 사이의 거리를 계산한 것입니다. 이 거리를 점 O를 시작하여 A 까지의 거리로 표현한다면 이동 방향이 고려된 것입니다. 이와 같이 거리 즉, 이동 크기에 방향을 함께 고려한 량을 벡터(Vector)라고 하고 식 2와 같이 화살표를 첨가하여 나타냅니다. 일반적으로 출발점이 원점(O)인 경우 출발점을 생략하며 벡터 표시인 화살표 없이 단순히 알파벳 소문자로 표시합니다. 벡터의 관점에서 보면 식 1은 벡터 a와 벡터 b의 길이(크기)를 계산한 것으로 놈(Norm)이라고 합니다.

벡터는 행과 열을 구분할 수 없습니다. 일반적으로 식 2와 같이 한 행으로 표시하지만 많은 경우 세로로 정렬됨을 의미 합니다. 이러한 표시를 열벡터라고 하지만 실제로는 행과 열로 구성된 행렬입니다. 또한 행렬(Matrix)의 경우는 대문자 알파벳으로 나타내며 벡터, 행렬을 구성하는 각각의 수를 요소(element)라고 합니다.

\begin{align}&\overrightarrow{oa}=\vec{a}=\begin{bmatrix}3&1\end{bmatrix}=\begin{bmatrix}3\\1\end{bmatrix}\\&\overrightarrow{ob}=\vec{b}=\begin{bmatrix}2&3\end{bmatrix}=\begin{bmatrix}2\\3\end{bmatrix} \end{align}(식 2)

결과적으로 점들은 벡터로 표시하여 방향을 가진 직선이 됩니다. 점은 차원이 없으며 벡터는 1차원(dimension)이 됩니다. 위의 점 A 또는 벡터 a를 시각화하기 위해서는 2개의 축이 필요하지만 좌표와 벡터는 축의 수와 관계 없이 각각 점과 직선을 나타냅니다(그림 1).

그림 1. 점과 벡터를 나타내기 위한 좌표.
fig, ax=plt.subplots(figsize=(3,2))
cord=[(0,0), (3,1),(2,3)]
nme=["O","A","B"]
col=['g','b','r']
for i, j in enumerate(cord):
    ax.scatter(j[0], j[1], color="white", edgecolors=col[i])
    ax.text(j[0], j[1]+0.15, nme[i], color=col[i], fontweight="bold")
ax.arrow(0,0, 3, 1, color="b", head_width=0.1)
ax.arrow(0,0, 2, 3, color="r", head_width=0.1)
ax.text(1, 0.5,  r"$\vec{a}$", color="b")
ax.text(1, 1.8, r"$\vec{b}$",color="r")
ax.spines['left'].set_position(("data", 0))
ax.spines['bottom'].set_position(("data", 0))
ax.spines['right'].set_visible(False)
ax.spines['top'].set_visible(False)
ax.grid(True)
plt.show()

파이썬의 패키지 numpy의 array( ) 함수는 행렬을 포함하는 1차원이상의 구조인 배열(array) 자료형을 생성합니다. 그러므로 이 함수에 의해 생성되는 데이터는 기본적으로 벡터이며 대괄호를 사용하여 나타냅니다.

numpy.array() 함수에 의한 배열의 생성과 차원, 그리고 인덱스는 기사 배열(Array)의 생성, 차원, 그리고 인덱스를 참조하세요.

import numpy as np
a=np.array([3,1])
b=np.array([2,3])
print(a)
[3 1]
print(b)
[2 3]

위 결과 객체 a, b의 출력을 위해 print() 함수를 사용하였습니다. 그러나 이 함수없이 그대로 각 객체를 나타낼 수 있습니다. 이 경우는 다음 결과와 같이 객체의 자료형등의 부가적인 정보를 나타냅니다.

a
array([3, 1])

벡터를 구성하는 각 값들은 요소(element, entries, codfficients, components)라고 합니다. 벡터내의 요소의 수는 벡터의 크기(size, dimentsion, length)라고 합니다.

다음은 특정한 요소들로 구성된 벡터입니다.

  • zeo vector: 모든 요소가 0인 벡터
  • 항등벡터(identity vector): 요소 한개의 값이 1이고 나머지 요소들은 0인 벡터(식 3)
$$e_1=\begin{bmatrix}1\\0\\1 \end{bmatrix}, \quad e_2=\begin{bmatrix}0\\1\\0 \end{bmatrix}, \quad e_3=\begin{bmatrix}0\\0\\1\end{bmatrix}$$(식 3)
  • one vector: 모든 요소가 1인 벡터
  • 희소성(Sparsity)
    • 벡터를 구성하는 대부분의 요소들이 0인 경우 벡터는 희소하다고 합니다.
    • 0 벡터는 0이 아닌 항목이 없기 때문에 가장 높은 희소성을 가집니다.
    • 희소 벡터는 많은 응용 프로그램에서 발생합니다.

그림 1과 같이 각 점과 벡터를 시각화를 위해 2개의 축이 필요하지만 벡터의 경우는 기본적으로 한 개의 축위에 표시할 수 있습니다. 다시 말하면 벡터를 표시하기 위해 실제적으로 필요한 축의 수는 1개입니다. 이와 같이 벡터 또는 1개 이상의 벡터들로 구성되는 행렬 등을 표시하기 위해 기본적으로 필요한 축의 수를 차원(dimension)으로 정의합니다. 이 차원은np.ndim() 함수로 확인할 수 있습니다. 위 벡터 a와 b는 2개의 요소로 구성된 모양을 가집니다. 이와 같이 벡터, 행렬 등 배열의 모양은 .shape 속성으로 확인할 수 있습니다.

a.shape, b.shape
((2,), (2,))
np.ndim(a), np.ndim(b)
(1, 1)

벡터에 있는 요소의 값은 크기만 정의할 수 있는 스칼라입니다. 모든 요소가 실수인 벡터를 실수 벡터(real vector)라고 하며 ℝn으로 나타냅니다. n은 행의 수를 나타냅니다. 벡터의 경우는 하나의 행으로 구성되므로 ℝ1, 2개의 행으로 구성된 행렬일 경우 ℝ2로 표시됩니다. 즉, n은 축의 수를 나타내는 차원을 나타냅니다.

행렬(Matrix)

행렬(matrix)는 여러개의 벡터로 구성됩니다. 예를 들어 위에서 생성한 두 벡터 a와 b를 식 4와 같이 행 단위로 구성하여 행렬로 나타낼 수 있습니다.

$$A=\begin{bmatrix}\text{[}3 & 1\text{]}\\\text{[}2 & 3\text{]}\end{bmatrix}=\begin{bmatrix}3 & 1 \\ 2 & 3 \end{bmatrix}$$ (식 4)

위 행렬 A의 가로방향을 행(row), 세로방향을 열(column)이라 하고 하며 벡터와 같이 numpy.array()함수를 사용하여 생성합니다.

A=np.array([[3,1],[2,3]])
print(A)
[[3 1]
 [2 3]]

행렬 객체는 pandas.DataFrame() 함수를 사용하여 표의 형태로 나타낼 수 있습니다.

A_df=pd.DataFrame(A); A_df
0 1
0 3 1
1 2 3

위 코드의 A_df는 행렬 A를 table 형태로 나타낸 것으로 데이터 과학에서는 각 열을 변수(feature), 행은 샘플(sample, instance)로 나타냅니다.

다양한 수학 계산을 위해 행렬 A의 행과 열을 교환하는 경우가 발생합니다. 이와 같이 행과 열의 교환을 전치(transform)라고 하며 식 5와 같이 나타냅니다. 객체의 전치는 객체.T 속성 또는 np.transpose(객체, axis=none) 함수를 사용하여 생성할 수 있습니다.

함수 np.transpose()의 인수 axis는 전치를 시행할 축을 지정합니다. 이에 대해 기사 함수의 인자 axis에 대해를 참조할 수 있습니다.

\begin{align}\text{Matrix}\;M&\Rightarrow \text{Transpose M}\; M^T\\ \begin{bmatrix}{\color{r}a}&b\\{\color{r}c}&d \end{bmatrix}& \Rightarrow \begin{bmatrix}{\color{r}a}&{\color{r}c}\\b&d \end{bmatrix}\\ \therefore\; A^T&=\begin{bmatrix}3&2\\1&3\end{bmatrix}\end{align}(식 5)
print(A.T)
[[3 2]
 [1 3]]
print(np.transpose(A))
[[3 2]
 [1 3]]

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b