[밑바닥부터 시작하는 딥러닝 2] chap6(게이트가 추가된 RNN)

 

6.1 RNN의 문제점

• 시계열 데이터의 장기 의존 관계 학습하는데 어려움 존재

• 기울기 소실 및 기울기 폭발 문제 발생
  • 1. 기울기 소실

    • 역전파의 경우, tanh을 미분하게 되면 점점 0에 수렴하게 됨.

    • 이전의 기울기 값을 계속 곱하면서 갱신하기 때문에 소실상태 발생

    

  • 2. 기울기 폭발

    • 역전파의 경우, matmul 노드에서 dhWh라는 행렬 곱으로 기울기 계산함

    • 이 때, 매번 같은 가중치인 Wh가 사용됨(행렬곱셈 으로 인해)

    • 결국 입력층으로 갈수록 점차 커지다가 가중치들이 비정상적으로 큰 값이 되어버림

    

• 기울기 폭발에 대한 해결방안

  • 기울기 클리핑(gradients clipping) 사용

  • 신경망에서 사용되는 모든 매개변수에 대한 기울기를 하나로 처리

  

  • g−bar는 L2 노름을 의미, L2 노름이 문턱값을 초과하면 두 번쨰 줄의 수식과 같이 기울기를 수정하는 기법.

6.2 기울기 소실과 LSTM

• 기울기 소실에 대한 대책 방안 ⇒ RNN 아키텍처를 전부 수정해야.

• 기울기 소실에 대한 대책 ⇒ LSTM, GRU 모델 ⇒ 게이트를 추가

• LSTM의 구조

  

  • c의 경로가 추가됨 ( c⇒ 기억 셀을 의미)

  • 순환되는 LSTM 층에서만 전파됨. h 출력방향으로는 출력 x

    

    

    ht= tanh(ct)

• Gate의 역할

  

  • 어느 정도 열지를 조절할 수 있음

  • 시그모이드 함수를 사용해 열림 상태를 구함

• 1. output 게이트

  

  • 노란색 부분을 output 게이트라고 칭함.

  • 아다마르 곱 (원소별 곱)

  

  

  

  • ex) 결과값이 0.5가 나왔다면, 과거의 기억 정보를 가지고 있는 tanh(ct)의 절반 정도만 다음 은닉 상태로 보내라~ 의 의미

  • 파라미터는 3개 (Wx, Wh, b)

• 2. forget 게이트

  

  • 이전 시각의 기억 셀로부터 잊어야 할 기억 삭제

  • ‘과거부터 지금까지의 기억 중에 불필요한 정보는 잊어버리자는 목적 하에 수행됨.

  

• 3. main 게이트 (기억 게이트)

  

  • 시그모이드 ↔ 활성화 함수 tanh 사용

  • 새로운 정보를 흐르고 있는 ct에 추가해주는 느낌

  

• 4. input 게이트

  

  

  • 새로운 기억 셀 안에서도 적절하게 쓸 정보만 선택하자의 의미로 추가된 게이트

  • 새로 추가되는 정보로써의 가치가 얼마나 큰지를 판단.

• 5. 그래서 어떻게 LSTM이 기울기를 막을 수 있는데?

  • 3개의 게이트 (아웃풋, 망각, 인풋) 존재

  

  • 빨간색 덧셈의 경우, 곱셈이 아니기에 기울기 변화가 일어나지 않음 (그냥 흘려보내기에) ⇒ 기울기 소실x

  • 파란색 곱셈의 경우, 행렬곱 역전파를 수행하지 않음 ⇒ 아다마르라는 원소끼리의 곱 연산을 진행하기 때문에 기울기 소실을 막아줌

  • 기존의 경우, matmul 노드로 행렬 곱 역전파로 반복적 진행했었음

6.3 LSTM 구현

• 하나의 게이트마다 각 3개의 파라미터를 가지고 잇음

• 한번에 결합해줌 ⇒ 아핀 변환 진행affine 변환이란: 행렬변환과 평행이동을 결합한 형태 ex) xWx+ hWh+ b 형태로

• 큰 행렬을 한번에 계산하는 것이 따로 계산하는 것보다 훨씬 빠름.

• 최종 행렬 행상

• Time LSTM: T개분의 시계열 데이터를 한꺼번에 처리하는 계층

• RNN의 경우 학습시 Truncated BPTT를 수행 ⇒ 역전파의 경우 적당한 길이로 끊어서.

 

6.4 LSTM을 사용한 언어 모델

코드

6.5 RNNLM 추가 개선

6.5.1 계층 다층화

• 2~4층 정도 쌓음

• GNMT 모델: LSTM 8층 쌓은 신경망

6.5.2 드롭 아웃에 의한 과적합 억제

• 상하 방향으로 삽입

• 시계열 방향으로 넣어버리면 시간의 흐름에 따라 정보가 사라짐.

• 흐르는 시간에 비례해 드롭아웃에 의한 노이즈 축적

• 변형 드롭아웃 (상하방향 + 시계열 방향)

• 마스크: 데이터의 통과 및 차단을 결정하는 이진 형태의 무작위 패턴을 가리킴

• 따라서 정보를 잃게 되는 방법도 고정됨.

6.5.3 가중치 공유

• 학습 매개변수 줄어듦

+ GRU

• 기억셀(c) 없음

• reset gate와 update gate만 존재