[파이썬 딥러닝 파이토치] Part3

 

• 기존 신경망의 단점:

1. 과적합

2. Gradient Vanishing

3. ++ Internal Covariance Shift 현상 발생 ( Input 분포가 달라짐에 따라 학습 속도가 느려지는 현상

⇒ 이를 완화시키고자 딥러닝이 나오게 됨

과적합과 기울기 감퇴 문제를 해결한 딥러닝 방법

drop - out

• 학습 시에는 dropout 실행

• 평가 시에는 drop out 사용x (모든 노드를 활용해 output 계산)

activation 함수

• relu 함수

• 입력 값이 0 이상 부분이면 기울기 1, 0 이하 부분은 0 ⇒ 따라서 아예 없어지거나 완전히 살리는 것으로 해석 가능

• ⇒ 레이어가 깊어져도 Gradient Vanishing이 일어나는 것을 완화시킴

Batch Normalization

• Internal Covariance Shift 현상 막기 위해 나옴

• 정규화 시킴

Initialization

• LeCun Initialization

• Xavier Initialization (이전 레이어의 노드수와 다음 레이어의 노드 수에 따라 가중치 결정지음)

• He Initialization ( Relu 함수에서도 용이하게 쓰일 수 있는 초기화 방법)

매개변수 갱신

• SGD

  • 조금씩 최적 해를 찾아감

  • 전체 데이터에 대해 Back Propagation x

  • 배치 단위로 역전파 진행 ⇒ 일직선으로 가지 않음

• Momentum

  • gradiant 방향으로 가되 관성 추가

  • 보폭을 크게 하는 개념

  • 따라서 최적 해가 아닌 지역해를 지나칠 수 있다는 장점

• NAG(nesterov Accelerated Gradient)

  • momentum으로( 관성) 이동 후 기울기를 구해 이동하는 방식

• Adagrad

  • 가보지 않은 곳은 많이 움직이고 가본 곳은 조금씩 움직이자!

• PMSProp

  • Adagrad 단점 보완한 방법( 이전 가중치를 계속 곱하기에 어느 순간 0이 됨)

• Adadelta

  • Adagrad 단점 보완한 방법

  • 기울기의 양이 너무 적어지면 움직임이 멈출 수도

• Adam

  • RMSProp + Momentum

• RAdam

  • 학습 초기에 기울기가 매우 작아져서 학습이 더이상 일어나지 않는 현상 발생 → 이를 보완한 것이 RAdam

비지도학습

• 회귀와 분류 모델의 경우 지도학습 but 비지도 학습도 점차 개발됨

• GAN

• AE (Auto Encoder)

  • Input과 Output을 똑같이 설정해줘야 함

  

  • Input data를 latent space에 압축시킨 후 새로운 피처로 만듬 ⇒ 성능 높아짐, 차원을 줄임

  • 데이터를 원래 데이터로 잘 복원 시키는 학습을 함

• SAE(Stacked AutoEncoder) 층으로 쌓은

  • AE의 새로운 피처가 유의미 하다면 이 피처를 쌓아 올려서 학습 → 더 좋은 학습 모델이 될 것이다!

  

  • input data로 AE1 학습

  • 1에서 학습된 모형의 은닉층(민트색)을 입력 데이터로 받은 후 AE2 학습

  • 반복

  • 마지막에는 분류 기능 함수 (softmax) 를 사용

  • fine tuning으로 다충 신경망 다시 재학습

• DAE(Denoising AutoEncoder) noise

  • 안개 낀 상황에서 운전을 연습하면 실전에 도움이 된다!의 의미

  • input : x+ noise

  • output: x

  • 인풋에 noise를 처음에 줘서 실제 어떤 데이터가 들어와도 강건한 모델 만들겠다!