이 글은 "Understanding LSTM Networks"와 "장단기 메모리(Long Short-Term Memory, LSTM)"를 참고하여 작성하였습니다.
LSTM(Long Short-Term Memory)
바닐라RNN: 기본적인 순환신경망으로 비교적 짧은 시퀀스에서만 효과를 보이는 단점이 있습니다.
현재의 은닉층은 현재의 입력과 이전의 은닉상태를 입력받아 계산합니다. 이 과정에서 초기에 계산된 정보(은닉상태)의 영향은 시간단계가 길어지면서 감소됩니다. 초기 시점이 현시점과 충분히 길다면 그 영향은 거의 의미가 없을 수 있습니다. 이러한 단점을 극복하기 위한 다양한 RNN의 변형이 등장하게 되었으며 LSTM(장단기 메모리, Long Short-Term Memory) 역시 그 중의 하나입니다.
RNN의 작동구조
다음 그림과 같이 현시점 은닉층(rnn 셀)에서는 현 시점의 입력벡터(xt)와 직전 시점에서의 은닉상태(ht-1)의 결합의 결과를 tanh()에 의한 비선형화한 결과 즉, 업데이트된 은닉상태(ht)를 새로운 가중치(Wy)로 사용하여 출력(yt)을 반환하고 다음 시점의 은닉층으로 전달됩니다.
LSTM의 작동구조
위 lstm 구조의 그림에서 셀 상태(Ct)는 이전 시점의 셀상태(Ct-1)의 입력으로 구성됩니다. 여기에 삭제게이트와 입력게이트 그리고 출력게이트가 첨가되어 다음 셀로 전달됩니다. 이 세개의 게이트에 공통적으로 시그모이드(sigmoid, σ) 함수가 적용됩니다. 이 함수는 [0, 1]사이의 값을 반환함으로서 게이트를 조절합니다. tanh는 하이퍼블릭탄젠트 함수를 나타냅니다.
입력게이트
위 그림에서 나타낸 것과 같이 입력게이트는 gt와 it로 구성됩니다. 이들의 생성에 관여되는 가중치들은 다음과 같이 정리할 수 있습니다.
- Wxg, Wxi: 입력벡터와 입력게이터와 관계된 가중치
- Whi, Whi: 이전 시점에서 전달되는 은닉상태와 입력게이터와 관계된 가중치
it = σ(Wxixt+Whiht-1+bi)
gt = tanh(Wxgxt+Whght-1+bg)
위의 두 연산의 결과들은 [0, 1] 사이의 값(시그모이드)과 tanh의 [-1, 1]로서 이들의 곱은 선택될 기억의 양을 판단하게 된다. 이 최종적인 곱 연산의 결과는 셀상태에 합류됩니다.
삭제게이트
입력벡터와 이전의 은닉상태의 합이 시그모이드 함수에 통과하여 ft를 반환합니다. 이 과정에서 입력벡터에 관여되는 가중치를 Wxf 이전의 은닉상태에 관여되는 가중치는 Whf와 이 함수 전체에 관여되는 편차를 bf로 나타내면 연산은 다음과 같습니다.
ft = σ(Wxfxt+Whfht-1+bf)
결과는 [0, 1] 사이의 값으로 0에 가까울수록 많은 정보들이 삭제됩니다.
셀상태(장기상태)
위에서 언급한 것과 같이 셀상태는 Ct으로 표시됩니다. LSTM에서 이 셀상태를 장기 상태라고 부르기도 합니다. 이 상태는 그림에서 나타난 것과 같이 이전 셀상태와 삭제게이트와의 곱과 입력게이트의 결과의 합의 결과입니다.
Ct = ftºCt-1+itºgt
º : 원소별 곱(elementwise product)를 나타냅니다.
이 결과는 다음 시점의 셀상태로 전달됩니다.
ft=0 인 경우는 이전 은닉상태는 입력게이트에서의 it에서만 작용됩니다. 또한 위 식에 따르면 현재 셀상태에 있어 이전 셀상태는 전혀 영향을 주지 못합니다. 반대로 it=0인 경우는 현재셀은 이전 셀에 완전히 의존됩니다. 결과적으로 삭제게이트는 이전 시점의 입력을 얼마나 반영할지를 의미하고, 입력게이트는 현재 시점의 입력을 얼마나 반영할지를 결정합니다.
출력게이트와 은닉상태(단기상태)
위 그림의 Ot와 ht에 관계됩니다. Ot는 이전시점의 은닉상태와 현 시점의 입력벡터의 연산이며 ht는 Ot와 현재의 셀상태와의 원소곱으로 다음과 같습니다.
Ot=σ(Wxoxt+Whoht-1+bo)
ht= Otºtanh(ct)
Wxo, Who: Ot와 각각 입력벡터와 이전의 은닉상태에 관계된 가중치
bo: Ot에 관계된 편차
º : 원소별 곱(elementwise product)를 나타냅니다.
Ot는 시그모이드 함수의 결과로 [0,1]의 값을 가집니다. 그러므로 현재 셀상태(장기상태)의 가중치로의 역할을 합니다. 최종생성된 ht은 은닉상태로 다음 시점의 셀에 전달될 뿐만 아니라 현재 셀의 결과(yt)를 위한 입력이 됩니다.
pytorch의 RNN/LSTM/GRU 메서드는 동일한 파라메터를 가집니다. LSTM을 기준으로 알아보면 다음과 같습니다.
- input_dim: 입력 x의 feature차원
- hidden_dim: hidden feature 차원
- num_layers: 시점 당 LSTM의 층의 갯수
- nonlinearlity: tanh 또는 relu등의 비선형을 사용, 기본은 `tanh`
- bias: 편차 적용, 기본값은 True
- dropout: 마지막 층을 제외하고 dropout을 적용
- batch_first: 기본값은 False
- True일 경우 입력, 출력 모두 (batch_size, sequence_lenght,feature_dim)으로 구성.
- False일 경우 (sequence_lenght, batch_size, feature_dim)로 구성
- feature_dim = input_size
- 이 순서는 hidden과 cell state에서는 적용되지 않습니다.
- dropout: 0이 아니라면 last layer를 제외하고 각 층에서 드롭아웃을 실행합니다. 기본은 0
- bidirectional: 양방향, 한 방향으로 진행여부를 결정하며 기본값은 False
model=nn.LSTM(input, (h0, c0))
- input은 차원
- unbatch: (sequence_length, feature_dim)
- batch_first=False: (sequence_length, batch_size, feature_dim)
- batch_first=True: (batch_size, sequence_length, feature_dim)
- h0, c0은 hidden/cell state의 초기 상태
- unbatched input: (D*num_layers, hidden_size)
- batched input: (D*num_layers, batch_size, hidden_size)
- D은 양방향(bi-direction)일 경우 2, 한방향(one-direction)일 경우 1
- h0, c0를 지정하지 않을 경우 0으로 자동할당
위 모델 model의 결과는 output, (hn, cn)입니다.
- output 모든 시점별(sequence)로 생성되는 은닉상태를 나타냄
- unbatch: (batch_size, D*hidden_size)
- batch_first=False: (sequence_length, batch_size, D*hidden_size)
- batch_first=True: (batch_size, sequence_length, D*hidden_size)
- hn은 최종 은닉상태, cn은 최종 셀 상태
- unbatch: (D*num_layers, hidden_size)
- batch: (D*num_layers, batch_size, hidden_size)
이 메소드의 변수
- model.weight_ih_l[k] – k번째 레이어의 학습 가능한 입력-은닉 가중치
- k = 0: (hidden_size, input_size)
- k ≠ 0: (hidden_size, num_directions × hidden_size)
- model.weight_hh_l[k] – k번째 레이어의 학습 가능한 은닉-은닉 가중치, (hidden_size, hidden_size)
- model.bias_ih_l[k] – k번째 레이어의 학습 가능한 입력-은닉 편차, (hidden_size)
- model.bias_hh_l[k] – k번째 레이어의 학습 가능한 은닉-은닉 편차, (hidden_size)
댓글
댓글 쓰기