텐서연산: dot operation

내용

• 텐서 연산
• 요소별 연산
• Tensor dot
• 텐서 연산의 기하학적 해석

텐서 연산(Tensor Operation)

텐서 연산

모든 컴퓨터 프로그램이 입력된 데이터를 이진수로 변환시켜 AND , OR , NOR 등의 이진 연산 과정을 거치는 것과 같이 신경망에서 학습한 모든 변환은 텐서에 적용된 소수의 텐서 연산이 실행 될 수 있습니다. 숫자 데이터의 예를 들어 텐서를 추가하거나 텐서를 곱하는 등의 작업이 가능합니다.

모델을 생성하기 위해 먼저 층(layer)을 구축합니다. tensorflow.keras의 모듈을 적용하여 층을 구축하는 대표적 방법은 다음과 같습니다.

tf.keras.layers.Ddense(512, activation="relu")

이 층은 2D 텐서를 입력받아 2D를 반환합니다. 이 층에서 수행되는 함수는 다음과 같습니다.

output=relu(dot(W, input)+b)

요소별 연산

입력 데이터 input과 가중치 W의 내적에 다른 벡터 b 사이의 덧셈 연산이 이루어지며 최종적으로 relu 연산 즉, 최대값을 반환하는 max(x, 0) 연산을 수행합니다.

위 연산에서 덧셈과 relu() 연산은 요소별 연산(Element-wise operation) 입니다. 즉, 고려 중인 텐서의 각 요소에 독립적으로 적용되는 연산입니다. 그러므로 대규모 병렬 구현에 매우 적합합니다.

임의의 두 배열 객체의 덧셈과 relu()함수의 연산은 다음과 같이 요소별로 이루어집니다.

import tensorflow as tf
from tensorflow import keras
import numpy as np
import pandas as pd
from scipy import stats
from sklearn import preprocessing
import matplotlib.pyplot as plt

x=np.array([[2, -6, 3],[6, 8, 7]])
y=np.array([[5, 1, 5],[8, -9, -9]])
z=np.zeros((2,3))
for i in range(z.shape[0]):
    for j in range(z.shape[1]):
        z[i, j]=x[i, j]+y[i, j]
z

array([[ 7., -5.,  8.],
           [14., -1., -2.]])

x+y

array([[ 7, -5,  8],
           [14, -1, -2]])

최대값을 반환하는 relu()연산 역시 작동 형태는 다음과 같이 요소별 연산입니다.

k=np.zeros((2,3))
for i in range(z.shape[0]):
    for j in range(z.shape[1]):
        k[i, j]=max(z[i, j], 0)
k

array([[ 7.,  0.,  8.],
           [14.,  0.,  0.]])

같은 원리로 요소별 곱셈, 뺄셈 등을 수행할 수 있습니다. 실제로 Numpy 배열을 처리할 때 이러한 작업은 잘 최적화된 내장 Numpy 함수로 사용할 수 있습니다.

x=np.array([[2, -6, 3],[6, 8, 7]])
y=np.array([[5, 1, 5],[8, -9, -9]])
z=x+y
z

array([[ 7, -5,  8],
           [14, -1, -2]])

np.zeros_like(z)

array([[0, 0, 0],
           [0, 0, 0]])

zero=np.zeros_like(z)
z1=np.fmax(z, zero)
z1

array([[ 7,  0,  8],
           [14,  0,  0]])

Tensor dot

텐서 곱이라고도 하는 dot operation(요소별 곱과 혼동하지 말 것)은 두 1D 텐서(벡터)들 사이의 내적(inner product)를 나타냅니다. 즉, 두 벡터가 겹쳐질 경우의 크기를 나타내는 것으로 식 1과 같이 계산됩니다.

$$\begin{align}\tag{1}&a=\begin{bmatrix}a_1&a_2\end{bmatrix}\\&b=\begin{bmatrix}b_1\\b_2\end{bmatrix}\\ & a\cdot b=a_1b_1+a_2b_2 \end{align}$$

요소별 연산과 달리 입력 텐서의 항목을 결합합니다. 요소별 곱은 Numpy, Keras, Theano 및 TensorFlow에서 * 연산자로 수행됩니다. dot operation은 TensorFlow의 tf.matmul() 함수를 사용하여 계산할 수 있습니다.

내적 계산은 위와 같이 앞 벡터의 행방향과 뒤 벡터의 열방향으로 벡터간의 곱으로 나타낼 수 있습니다. 이와 같은 방식을 2D 텐서(행렬)에 적용할 수 있습니다. 앞 객체의 행과 뒤 객체의 열의 사이에서 연산이 이루어집니다. 그러므로 앞 객체 열의 수와 뒤 객체 행의 수가 같아야 합니다. 행렬곱 연산의 각 객체 차원은 다음과 같습니다.

(r₁ × c₁) · (r₂ × c₂) = (r₁× c₂)

• c₁ = r₂ 이 조건은 충족되어야 합니다.
• r₁, r₂ : 행렬 1과 2의 행의 수
• c₁, c₂ : 행렬 1과 2의 열의 수

x=np.array([[2, -6, 3],[6, 8, 7]])
y=np.array([[5, 1, 5],[8, -9, -9]])
np.dot(x, y.T)

array([[ 19,  43],
           [ 73, -87]])

xten=tf.constant(x)
yten=tf.constant(y)
tf.matmul(xten, tf.transpose(yten))

<tf.Tensor: shape=(2, 2), dtype=int64, numpy=
    array([[ 19,  43],
           [ 73, -87]])>

위 코드에서 x, y는 동일한 형태를 가진 2차원 텐서(행렬)입니다. 이들의 내적 연산(dot operation)을 위해서는 한 객체의 전치가 필요합니다. tensorflow에서는 tf.transpose() 함수를 사용하여 전치 시킬 수 있습니다.

텐서 연산의 기하학적 해석

텐서 연산으로 조작된 텐서의 내용은 일부 기하학적 공간에서 점의 좌표로 해석될 수 있기 때문에 모든 텐서 연산에는 기하학적 해석이 가능합니다. 예를 들어 덧셈을 생각해 봅시다. A는 2D 공간의 한 점입니다. 다음 그림과 같이 원점과 점을 연결하는 화살표로 그리는 것이 일반적입니다.

A=[0.5, 1]
plt.figure(dpi=100)
plt.scatter(A[0], A[1], color='red',label="(0.5, 1)")
plt.arrow(0, 0, A[0], A[1], width=0.003, label=r"$\vec{A}$")
plt.legend(loc="best")
plt.show()

점 A에 추가할 새 점 B = [1, 0.25] 를 고려하여 각 대응하는 화살표를 연결하면 다음과 같이 기하학적 도형이 되며 그 정점은 두 벡터의 합을 나타내는 벡터가 됩니다.

A=np.array([0.5, 1])
B=np.array([1, 0.25])
C=np.array(A+B)
x=np.c_[A, B, C].T
x

array([[0.5 , 1.  ],
           [1.  , 0.25],
           [1.5 , 1.25]])

plt.figure(dpi=100)
col=["red","blue","green"]
for i,j in zip(x, col):
    plt.scatter(i[0], i[1], s=100, color=j, label=f"({i[0]},{i[1]})")
    plt.arrow(0, 0, i[0], i[1], width=0.007)
plt.arrow(x[0,0], x[0,1], 1, 0.25, width=0.007, alpha=0.5)
plt.arrow(x[1,0], x[1,1], 0.5, 1, width=0.007, alpha=0.5)
plt.legend(loc="upper left")
plt.show()

일반적으로 아핀 변환, 회전, 스케일링 등과 같은 기본 기하학적 연산은 텐서 연산으로 표현할 수 있습니다. 예를 들어, 각도 θ 만큼 2D 벡터의 회전은 평면의 벡터인 u = [cos(θ), sin(θ)] 및 v = [-sin(θ), cos(θ)]로 구성된 2 × 2 행렬 R = [u, v]의 내적을 통해 달성할 수 있습니다.