[밑바닥부터 시작하는 딥러닝 2] chap8(어텐션)

 

• seq2seq ⇒ 2개의 RNN을 연결해 하나의 시계열 데이터를 다른 시계열 데이터로 변환.

• 어텐션의 역할 ⇒ seq2seq를 더 강력하게 해줌.

8.1 어텐션의 구조

8.1.1 seq2seq의 문제점

• 고정길이벡터

• ex) 아무리 문장 길이가 길어져도 고정길이벡터 → 같은 길이의 벡터로 표현해버림 ⇒ 많은 정보를 압축하다보니 한계점이 분명이 올 것임.

• ex) 옷을 우거지로 넣으면 결국 옷장에서 삐져나오는 것과 같은 것.

8.1.2 Encoder 개선

• encoder 출력 길이를 입력 문장의 길이에 따라 바꿔주는 것.

• 그러기 위해선 시각별(단어별) LSTM 계층의 은닉 상태 벡터를 모두 이용.

• ex) 5개의 단어가 입력된 경우, encoder은 5개 벡터를 출력함.

8.1.3 Decoder 개선 1(선택 작업 계층)

• 인간이 번역할 때는 ‘나=I’, 고양이=cat이라는 대응 관계로 지식을 활용⇒ 얼라이먼트라고 칭함

• seq2seq2에게도 적용시킴

• 기존 decoder은 마지막에 있는, 최종 은닉 상태만을 가져가는 형식.

• 어떤 계산 층이 새로 생김

1. 선택작업 계층
   • 2가지를 입력받음 1) (encoder에서 나온 hs), 2) 가중치 계산에서 나온 a
   • 얘네들을 계산해서 c로 전달

   

   

   

   • 가중합을 구해서 맥락벡터로 만든다 ex) ‘나’ 라는 단어에 가중치가 0.8로 가장 높으므로 c라는 맥락 벡터에는 ‘나’ 라는 단어에 대한 정보가 많이 포함 되어 있을 것임.

8.1.4 Decoder 개선 2 (가중치(a) 계산 계층)

2. 가중치(a) 계산 계층
   • encoder의 은닉 상태 모음인 hs + LSTM 출력값 h 2개 값을 입력으로 받음.

   

   • 두개의 입력 데이터로 a라는 가중치를 만들어야 함.
   • 이 때 우리가 해야할 일은 hlstm이 hs에서의 각 은닉 상태와 얼마나 관련이 있는지를 하나의 수치로 표현하는 가중치로 만들어야 함.⇒ 벡터의 내적을 이용해 구함.
   • ⇒ 코사인 유사도: 두 벡터의 크기 신경 x, 두 벡터가 가리키는 방향 간의 각도를 구함 ⇒ 유사도 계산.

   

   

   • 가중치 계산 계층의 계산 그래프

8.1.5 Decoder 개선 3 (1+2 결합하기)

• affine 계층으로 입력하는 구조 추가.

8.2 어텐션을 갖춘 seq2seq 구현

 

8.3 어텐션 평가

 

8.4 어텐션에 관한 남은 이야기

8.4.1 양방향 RNN

class TimeBiLSTM:     def __init__(self, Wx1, Wh1, b1,                  Wx2, Wh2, b2, stateful=False):         self.forward_lstm = TimeLSTM(Wx1, Wh1, b1, stateful)         self.backward_lstm = TimeLSTM(Wx2, Wh2, b2, stateful)         self.params = self.forward_lstm.params + self.backward_lstm.params         self.grads = self.forward_lstm.grads + self.backward_lstm.grads      def forward(self, xs):         o1 = self.forward_lstm.forward(xs)         o2 = self.backward_lstm.forward(xs[:, ::-1])         o2 = o2[:, ::-1] ## 왜 다시 뒤집음?          out = np.concatenate((o1, o2), axis=2)         return out      def backward(self, dhs):         H = dhs.shape[2] // 2         do1 = dhs[:, :, :H]         do2 = dhs[:, :, H:]          dxs1 = self.forward_lstm.backward(do1)         do2 = do2[:, ::-1]         dxs2 = self.backward_lstm.backward(do2)         dxs2 = dxs2[:, ::-1]         dxs = dxs1 + dxs2         return dxs

8.4.2 Attention 계층 사용 방법

• 꼭 상하 방향으로 attention을 넣을 필요는 없음

• 다양하게 모델이 구성됨.

8.4.3 seq2seq 심층화 & skip connection

• 계층을 깊게 할 경우, 모델의 일반화 성능( 과적합이 발생하지 않도록 ) 떨어뜨리지 않도록 하는 것이 중요함.⇒ 방법의 예로 skip connection 기법이 존재.
  • skip connection은 출력값을 깊이 방향의 다음 LSTM 계층 출력값에 더해주는 방식으로 수행
  • 덧셈 연산을 하게 되면 역전파가 진행되어도 기울기 손실이 일어나지 않음.
  • 깊이 방향에서의 기울기 소실과 폭발 ⇒ skip connection
  • 시간 방향에서의 기울기 소실 ⇒ 게이트 추가한 LSTM, GRU
  • 시간 방향에서의 기울기 폭발 ⇒ Gradient Clipping( L2 규제)
• 

8.5 어텐션 응용

8.5.1 구글 신경망 기계 번역(GNMT)

• 규칙 기반 번역 ⇒ 용례 기반 번역⇒ 통계 기반 번역

• 우리가 앞서 배웠던 어탠션을 갖춘 seq2seq와 마찬가지로 Encoder, Decoder, Attention으로 구성되어있다. 다만, 여기에 번역 정확도를 높이기 위해 LSTM 계층의 다층화, 양방향 LSTM, skip 연결 등을 추가했다. 그리고 학습 시간을 단축하기 위해 GPU로 분산학습을 수행하고 있다. 이외에도 낮은 빈도의 단어처리나 추론 고속화를 위한 양자화 등의 연구도 이루어지고 있다. 이로써 점점 사람의 정확도에 가까워지고 있다.

8.5.2 트랜스포머

• RNN 대신 합성곱 계층을 활용해 seq2seq 구현1. RNN: 병렬처리 불가.
  2. RNN: 물리적 거리가 멀어지면 대응관계 잘 학습 못함.
  ⇒ 이를 해결하기 위해 나온 기법이 트랜스포머
• ⇒ 이전 시각에 대한 결과를 이용해 순서대로 계산하기 때문에 병렬처리가 불가능.

• 셀프 어텐션

• 셀프 어텐션의 경우, 입력 시퀀스 내에서의 대응관계를 학습하고, 동시에 출력 시퀀스 내에서의 대응관계도 학습함.

• 계산량 줄고, GPU 활용한 병렬 계산의 혜택도 얻음.

8.5.3 뉴럴 튜링 머신(NTM)

• 외부 메모리를 통한 확장

• 정보량이 많아지게 될 때, RNN 외부에 기억 장치를 두고 필요한 정보를 적절하게 기록하는.

• activation + memory 구성

• ???