기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

[Linear Algebra]변환과 관련된 용어

변환과 관련된 용어

선형대수에서 변환(transformation)은 함수(function)를 의미합니다. 함수는 어떤 객체에 대해 한개이상의 연산 과정을 실시하여 다른 결과를 반환하는 연산의 모둠이라고 할 수 있습니다. 즉, 변환(함수)에 의해 x1이라는 인자를 투입하면 y1 또는 y1, y2, ... 등 다중의 결과를 반환할 수도 있습니다. 이와 같은 변환과정에 빈번히 사용되는 용어들을 정리해보면 다음과 같습니다.

1.사상(mapping, Function)

입력(X) → 함수(f) → 출력(Y) ⇔ f: x rarr; y ⇔ y = f(x)

위 관계를 "집합 X에서 집합 Y로의 사상(함수)"이라고 표현합니다.

2. 상(Image)

위의 입력 X가 함수에 적용되면 입력값에 대응되는 Y가 반환됩니다. 그 함수에 대응하여 반환되는 각각의 결과를 상(image)라고 합니다.

3. 정의역(domain), 공역(codomain), 치역(range)

  • 상을 나타내기 위한 입력 집합을 정의역
  • 함수의해 생성될 가능성이 있는 모든 부분을 공역
  • 공역 중에서 함수에 의해 생성되는 결과들의 집합을 치역(image, 상)
    • 공역(Y)과 치역($y_i$ i=...-1, 0, 1,...)은 같을 수가 있습니다.
    • $y_i \subseteq Y$

4. 핵(kernel)

$T: R^n \rightarrow R^n$의 선형변환에서 즉, 함수 T에 의해 정의역에 대한 상이 0이 되는 전체 집합을 T의 핵(kernel)이라 하며 kerT로 나타냅니다.

kerT = { v ∈ Rn | T(v) = 0 }

예)

다음 변환의 핵(ker T)를 결정합니다.

$$T: R^2 \rightarrow R^2,\; T(x, y) =(x-y, 0)$$

위 선형변환의 표준행렬을 생각해 보면 다음과 같습니다.

\begin{align}T\left(\begin{bmatrix} x \\ y \end{bmatrix} \right) & =\begin{bmatrix} x-y \\ 0 \end{bmatrix} \\ &= x\begin{bmatrix} 1\\0 \end{bmatrix} +y\begin{bmatrix} -1\\0 \end{bmatrix}\\&=\begin{bmatrix} x \\ y \end{bmatrix}\begin{bmatrix} 1& -1\\0& 0\end{bmatrix} \end{align}

위 식의 마지막항이 표준행렬 A가 됩니다.

위의 변환에서 결과 즉, 상이 0이 되기 위해서는 x=y의 조건을 만족하는 정의역의 집합부분입니다. 그러므로 kerT는 다음과 같습니다.

kerT = { (x, y) ∈ R2 | y = x }

5. 단사(one-to-one, injective)

T: Rn → Rm, T(u) = v의 변환에서 입력에 대한 고유한 결과를 보인다면 즉, 일대일 대응이면 단사라고 합니다.

예)

T(x, y)=(y, x)는 단사인가?

위 식은 다음과 같이 나타낼 수 있습니다.

$$T\left(\begin{bmatrix} x \\ y \end{bmatrix} \right)=x \begin{bmatrix} 0\\1\end{bmatrix}+y\begin{bmatrix} 1\\0 \end{bmatrix}=\begin{bmatrix}y\\x\end{bmatrix}$$

위 식을 만족하는 벡터 (x, y)는 (0, 0) 뿐입니다. 즉, 위의 조건을 만족하는 값은 하나뿐이므로 단사입니다. 이 과정을 일반화시켜 다음과 같이 정의할 수 있습니다.

injective → kerT = 0

즉, kerT=0은 단사의 필요충분조건입니다.

예)

T: R3 → R3에서 다음은 단사입니까?

T(x, y, z) = (x+2y-z, y+z, x+y-2z)

위 식을 표준행렬을 사용하여 다음과 같이 나타낼 수 있습니다.

\begin{align}T\left(\begin{bmatrix} x \\ y \\ z \end{bmatrix} \right) & =x\begin{bmatrix} 1\\0\\-1\end{bmatrix}+y\begin{bmatrix} 0\\1\\1\end{bmatrix}+z\begin{bmatrix} 1\\1\\-2 \end{bmatrix}\\&=\begin{bmatrix}1& 2& -1\\ 0& 1& 1\\ 1& 1& -2\end{bmatrix}\begin{bmatrix} x \\ y \\ z \end{bmatrix}\end{align}

kerT = 0이 단사의 필요충분조건이라고 했습니다. 즉, T에 의한 상이 0인 정의역의 집합이 유일하여야 합니다. 이것은 다음의 선형결합이 자명한 해를 갖는 선형독립이라는 것을 의미합니다.

$$\begin{bmatrix}1& 2& -1\\ 0& 1& 1\\ 1& 1& -2\end{bmatrix}\begin{bmatrix} x \\ y \\ z \end{bmatrix}=\begin{bmatrix} 0\\0\\0\end{bmatrix}$$

선형결합이 독립이기 위해서는 역행렬이 존재해야 합니다. 정방행렬일 경우 역행렬의 존재는 행렬식 ≠ 0의 조건이 만족되어야 합니다.

A=np.matrix("1,2,-1; 0, 1, 1; 1,1,-2")
la.det(A)
0.0

행렬식의 값은 np.linalg.det(A) 함수로 확인할 수 있습니다. 위 결과와 같이 행렬식이 0이므로 행렬 A는 역행렬이 존재하지 않는 비가역행렬입니다. 그러므로 위에서 해가 존재하지 않습니다. 결론적으로 단사가 아닙니다.

6. 전사(onto, surjective)

T: Rn → Rm, T(v)=w에서 w ∈ Rm에 대해 v ∈ Rn 이 존재하면 전사라고 합니다. 즉, 이 정의는 "Y=f(x) 즉, 공역과 치역이 같다"를 의미합니다.

7. 전단사과 동형사상

전사와 단사를 모두 포함하는 것으로 일대일 함수에 의해 치역과 공역이 같은 경우입니다. 결과적으로 정의역과 치역 그리고 공역의 형태가 모두 같은 경우로 동형사상(isomortphism)이라고 합니다.

예)

다음의 전단사인지를 결정합니다.

T: R2 → R2 T(x, y) = (x-y, 0)

T=np.matrix("1, -1; 0, 0")
print(T)
[[ 1 -1]
 [ 0  0]]
la.det(T)
0.0

위 결과로 함수 행렬 T는 비가역행렬입니다. 즉, 위 변환은 단가 아닙니다. 그러므로 전단사(동형사상)가 될 수 없습니다.

m×n의 행렬 A에 대한 선형변환 TA : Rn → Rm은 다음 두 성질을 만족합니다.

  • TA가 단사이면 A의 열벡터들이 일차독립입니다.
  • TA가 전사이면 A의 행벡터들이 일차독립입니다.

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b