장단기메모리(LSTM)

• RNN의 작동구조
• LSTM의 작동구조
  • 입력게이트
  • 삭제게이트
  • 셀상태(장기상태)
  • 출력게이트와 은닉상태(단기상태)

이 글은 "Understanding LSTM Networks"와 "장단기 메모리(Long Short-Term Memory, LSTM)"를 참고하여 작성하였습니다.

LSTM(Long Short-Term Memory)

바닐라RNN: 기본적인 순환신경망으로 비교적 짧은 시퀀스에서만 효과를 보이는 단점이 있습니다.

현재의 은닉층은 현재의 입력과 이전의 은닉상태를 입력받아 계산합니다. 이 과정에서 초기에 계산된 정보(은닉상태)의 영향은 시간단계가 길어지면서 감소됩니다. 초기 시점이 현시점과 충분히 길다면 그 영향은 거의 의미가 없을 수 있습니다. 이러한 단점을 극복하기 위한 다양한 RNN의 변형이 등장하게 되었으며 LSTM(장단기 메모리, Long Short-Term Memory) 역시 그 중의 하나입니다.

RNN의 작동구조

다음 그림과 같이 현시점 은닉층(rnn 셀)에서는 현 시점의 입력벡터(x_t)와 직전 시점에서의 은닉상태(h_t-1)의 결합의 결과를 tanh()에 의한 비선형화한 결과 즉, 업데이트된 은닉상태(h_t)를 새로운 가중치(W_y)로 사용하여 출력(y_t)을 반환하고 다음 시점의 은닉층으로 전달됩니다.

h_t = tanh(W_xx_t + W_hh_t-1+b)

그림 1. RNN의 작동구조

LSTM의 작동구조

그림 2. LSTM의 구조

위 lstm 구조의 그림에서 셀 상태(C_t)는 이전 시점의 셀상태(C_t-1)의 입력으로 구성됩니다. 여기에 삭제게이트와 입력게이트 그리고 출력게이트가 첨가되어 다음 셀로 전달됩니다. 이 세개의 게이트에 공통적으로 시그모이드(sigmoid, σ) 함수가 적용됩니다. 이 함수는 [0, 1]사이의 값을 반환함으로서 게이트를 조절합니다. tanh는 하이퍼블릭탄젠트 함수를 나타냅니다.

입력게이트

위 그림에서 나타낸 것과 같이 입력게이트는 g_t와 i_t로 구성됩니다. 이들의 생성에 관여되는 가중치들은 다음과 같이 정리할 수 있습니다.

• W_xg, W_xi: 입력벡터와 입력게이터와 관계된 가중치
• W_hi, W_hi: 이전 시점에서 전달되는 은닉상태와 입력게이터와 관계된 가중치

i_t = σ(W_xix_t+W_hih_t-1+b_i)

g_t = tanh(W_xgx_t+W_hgh_t-1+b_g)

위의 두 연산의 결과들은 [0, 1] 사이의 값(시그모이드)과 tanh의 [-1, 1]로서 이들의 곱은 선택될 기억의 양을 판단하게 된다. 이 최종적인 곱 연산의 결과는 셀상태에 합류됩니다.

삭제게이트

입력벡터와 이전의 은닉상태의 합이 시그모이드 함수에 통과하여 ft를 반환합니다. 이 과정에서 입력벡터에 관여되는 가중치를 W_xf 이전의 은닉상태에 관여되는 가중치는 W_hf와 이 함수 전체에 관여되는 편차를 b_f로 나타내면 연산은 다음과 같습니다.

f_t = σ(W_xfx_t+W_hfh_t-1+b_f)

결과는 [0, 1] 사이의 값으로 0에 가까울수록 많은 정보들이 삭제됩니다.

셀상태(장기상태)

위에서 언급한 것과 같이 셀상태는 C_t으로 표시됩니다. LSTM에서 이 셀상태를 장기 상태라고 부르기도 합니다. 이 상태는 그림에서 나타난 것과 같이 이전 셀상태와 삭제게이트와의 곱과 입력게이트의 결과의 합의 결과입니다.

C_t = f_tºC_t-1+i_tºg_t

º : 원소별 곱(elementwise product)를 나타냅니다.

이 결과는 다음 시점의 셀상태로 전달됩니다.

f_t=0 인 경우는 이전 은닉상태는 입력게이트에서의 i_t에서만 작용됩니다. 또한 위 식에 따르면 현재 셀상태에 있어 이전 셀상태는 전혀 영향을 주지 못합니다. 반대로 i_t=0인 경우는 현재셀은 이전 셀에 완전히 의존됩니다. 결과적으로 삭제게이트는 이전 시점의 입력을 얼마나 반영할지를 의미하고, 입력게이트는 현재 시점의 입력을 얼마나 반영할지를 결정합니다.

출력게이트와 은닉상태(단기상태)

위 그림의 O_t와 h_t에 관계됩니다. Ot는 이전시점의 은닉상태와 현 시점의 입력벡터의 연산이며 h_t는 O_t와 현재의 셀상태와의 원소곱으로 다음과 같습니다.

O_t=σ(W_xox_t+W_hoh_t-1+b_o)

h_t= O_tºtanh(c_t)

W_xo, W_ho: O_t와 각각 입력벡터와 이전의 은닉상태에 관계된 가중치

b_o: O_t에 관계된 편차

º : 원소별 곱(elementwise product)를 나타냅니다.

O_t는 시그모이드 함수의 결과로 [0,1]의 값을 가집니다. 그러므로 현재 셀상태(장기상태)의 가중치로의 역할을 합니다. 최종생성된 h_t은 은닉상태로 다음 시점의 셀에 전달될 뿐만 아니라 현재 셀의 결과(yt)를 위한 입력이 됩니다.

pytorch의 RNN/LSTM/GRU 메서드는 동일한 파라메터를 가집니다. LSTM을 기준으로 알아보면 다음과 같습니다.

lstm=nn.RNN(input_size, hidden_size, num_layers, nonlinearlity=tanh, bias=True, batch_first=True, dropout, biddirection)

input_dim: 입력 x의 feature차원

hidden_dim: hidden feature 차원

num_layers: 시점 당 LSTM의 층의 갯수

nonlinearlity: tanh 또는 relu등의 비선형을 사용, 기본은 `tanh`

bias: 편차 적용, 기본값은 True

dropout: 마지막 층을 제외하고 dropout을 적용

batch_first: 기본값은 False

True일 경우 입력, 출력 모두 (batch_size, sequence_lenght,feature_dim)으로 구성.

False일 경우 (sequence_lenght, batch_size, feature_dim)로 구성

feature_dim = input_size

이 순서는 hidden과 cell state에서는 적용되지 않습니다.

dropout: 0이 아니라면 last layer를 제외하고 각 층에서 드롭아웃을 실행합니다. 기본은 0

bidirectional: 양방향, 한 방향으로 진행여부를 결정하며 기본값은 False

model=nn.LSTM(input, (h₀, c₀))

input은 차원

unbatch: (sequence_length, feature_dim)

batch_first=False: (sequence_length, batch_size, feature_dim)

batch_first=True: (batch_size, sequence_length, feature_dim)

h₀, c₀은 hidden/cell state의 초기 상태

unbatched input: (D*num_layers, hidden_size)

batched input: (D*num_layers, batch_size, hidden_size)

D은 양방향(bi-direction)일 경우 2, 한방향(one-direction)일 경우 1

h₀, c₀를 지정하지 않을 경우 0으로 자동할당

위 모델 model의 결과는 output, (h_n, c_n)입니다.

output 모든 시점별(sequence)로 생성되는 은닉상태를 나타냄

unbatch: (batch_size, D*hidden_size)

batch_first=False: (sequence_length, batch_size, D*hidden_size)

batch_first=True: (batch_size, sequence_length, D*hidden_size)

h_n은 최종 은닉상태, c_n은 최종 셀 상태

unbatch: (D*num_layers, hidden_size)

batch: (D*num_layers, batch_size, hidden_size)

이 메소드의 변수

• model.weight_ih_l[k] – k번째 레이어의 학습 가능한 입력-은닉 가중치
  • k = 0: (hidden_size, input_size)
  • k ≠ 0: (hidden_size, num_directions × hidden_size)
• model.weight_hh_l[k] – k번째 레이어의 학습 가능한 은닉-은닉 가중치, (hidden_size, hidden_size)
• model.bias_ih_l[k] – k번째 레이어의 학습 가능한 입력-은닉 편차, (hidden_size)
• model.bias_hh_l[k] – k번째 레이어의 학습 가능한 은닉-은닉 편차, (hidden_size)