[Standford_cs231n] Lecture 7 ) Training Neural Networks II

 

1. Optimization

1. SGD: 가장 기본적인 방법 (경사하강법)

2. Mini batch GD: 배치 단위로 나눠서 배치마다 파라미터 업데이트

3. SGD + Momentum: 기존에 관성 합친 것(속도) ⇒ 계속 가려던 성질 활용

4. NAG: 이전 속도로 한걸음 미리 가보고 기울기 구해서 업데이트하는 방법

5. Adagrad: 전체의 손실함수 곡면의 변화를 학습시켜서 다음 학습률 정해주는 것

6. PMSprop: Adagrad 단점 보완 ⇒ 최근 곡면 변화량만 가져와서 학습률 정해줌

7. Adam: pmsprop + momentum

1-1) optimization 설명

• 딥러닝의 학습에서는 최대한 틀리지 않는 방향으로 학습해 나가야 함.

• 여기서 얼마나 틀리는지 알게 하는 함수가 바로 loss function (손실함수) 임.

• 이 손실함수를 정의해 놓으면 가중치가 얼마나 좋고 나쁜지를 알려줌.

• loss function의 최솟값을 찾는 것을 목표로 하는데, 여기서 최솟값을 찾아가는 것을 최적화라고 하며, 이를 수행하는 알고리즘이 바로 최적화 알고리즘임.

• optimizer은 loss를 줄이기 위해 weight와 learning rate 와 같은 neural network 속성을 변경하는데 사용하는 알고리즘

1-1-1) Gradient Descent

• 가장 기본적이지만 가장 많이 사용되는 최적화 알고리즘

• linear regression 및 classification 알고리즘에서 많이 사용됨.

• neural network backpropagation은 Gradient Descent 사용.

• 이 친구는 loss function의 1차 도함수에 의존하는 알고리즘

• 함수가 최솟값에 도달할 수 있도록 backpropagation을 통해 weight를 변경하는 방법을 사용함.

• loss가 한 layer에서 다른 layer로 전달되고 parameter(weight)가 loss에 따라 수정되어 loss를 최소화 할 수 있음.

1-2) SGD(Stochastic Gradient Descent)

• 파라미터가 각 trainig example마다 한 번씩 계산되면서 바뀜

• ex) 데이터셋이 1000개의 row를 갖고 있으면 SGD는 데이터 세트의 한 cycle에서 parameter을 1000번 업데이트 시킴.

• 파라미터가 계속 업데이트 되다 보니 손실함수 변동이 크게 됨.

• SGD는 미니 배치 안에서 loss를 계산함

• 그레디언트 반대 방향을 이용해 파라미터 벡터를 업데이트

• 문제점

  1. 속도가 느림

  

  

  • f(x, y) = $x^2+y^2$ 같은 그래프라고 하면 각각 미분 함수는 dx 와 dy가 될 것임.

  • 이 때 수평방향으로는 기울기 변화가 작고, 수직 방향으로는 기울기가 가파르기 때문에 지그재그로.

  • 예를 들어 가중치가 2개라고 가정했을 때, 하나의 기울기는 변화가 작고, 하나의 기울기는 변화가 크다면 저렇게 지그재그로 가게 될 것임. ⇒ 두 벡터의 합 방향으로 움직여야 하기 때문. 그래서 속도가 정말 느림.

  • 한 방향으로는 엄청나게 민감하지만 다른 방향으로는 완만함.

  2. local minima

  

  • 굴곡이 있는 모양에서는 gradient가 0이 되면서 멈춰버림.

  • gradient를 계산하고 반대방향으로 이동하는 것인데 저 상황에서는 0이 되고, 반대 방향은 loss가 커지는 방향이므로 학습이 멈추게 됨.

  3. saddle point

     

  • 한쪽으로는 증가하고, 다른 한쪽은 감소. 저 중간 친구는 기울기가 마찬가지로 0이 되어버림.

  • 고차원 그래프에서 흔히 생기는 문제임.

  • 완벽히 기울기가 0은 아니지만, 그 주변이 굉장히 완만해서 가중치 업데이트가 느리게 진행하고 그곳에 안주하게 됨.

  

  Monkey Saddle

  • 왼쪽같이 생긴 Monkey Saddle이란 그래프가 있다.

  • 가운데 넓고 거의 평평한 부분으로 가중치가 업데이트 되면, 그 주변의 기울기도 굉장히 완만하기 때문에 업데이트가 매우 더디게 진행되고 거의 멈춰버리는 현상이 생긴다.

  ⇒ 따라서 기울기가 0이 되어도 멈추지 않게 하는 힘이 필요함.

1-3) Mini-Batch Gradient Descent

• 데이터셋을 배치 단위로 나누고 매 배치 후에 파라미터가 업데이트 되는 방법.

• 다양한 배치로 나뉘고 매 배치 후에 파라미터 업데이트 됨.

1-4) SGD + Momentum

• mementum ⇒ 계속 내려가던 성격이였다면 계속 내려가게.

• 즉, 가속도의 개념이 추가된 것이라고 보면 됨.

• 기울기가 0인 지점이 있다 한들, 내려오던 속도에 영향 받아서 쭉 내려감.

• 1단계: 속도 업데이트⇒ t+1지점에서의 속도를 직전단계인 t지점에서의 속도를 기반으로 예측.
• 직전 지점에서의 속도 기울기를 고려해서 업데이트 하되, 기울기가 너무 빠르게 변화하는 것을 제한하기 위해 마찰계수(rho) 사용.
• rho는 보통 0.99나 0.9 사용

• 2단계: 가중치 업데이트⇒ loss 함수에서 t+1지점의 경우 직전지점에서의 학습률 지점에서의 예측 속도를 고려해 업데이트 진행.

• 다시 말해 속도가 추가 됐나 안됐나의 차이.

• 따라서 그림을 보면 모멘텀은 더 큰 스텝으로 감 ⇒ 속도항 때문에.

• 지그재그의 상황이라면 momentum이 변동을 상쇄시켜버림.

• 이를 통해 민감한 수직 방향의 변동은 줄여주고 수평방향의 움직임은 가속화 시킴.

• 문제점

  • 계속 내려가는 성질을 보이게 되면 계속 내려감.

  • 경사가 가파르면 빠른 속도로 내려오다가 최소 지점을 만나면 gradient는 순간적으로 작아지지만 속도는 빠르기 떄문에 최소 지점을 지나치게 됨. ⇒ overshooting 문제

  • 그렇기 때문에 관성을 활용해서 극솟값으로부터 빠져나올 수도.

  

1-5) Nesterov Accelerated Gradient

• 모멘텀을 더 업그레이드 한 방법 ⇒ 오버슈팅을 보완한 방법.

• 현재 속도로 한걸음 미리 가보고 오버슈팅된 만큼 다시 내리막길로 감.

• 즉, 미리 예측해보고 가는 방법.

• 기존 모멘텀의 경우, 직전 지점의 gradient와 속도 벡터의 합벡터로 다음 스텝의 지점을 구함

• but, 이 친구의 경우, 직전지점에서 속도벡터만큼 이동한 지점(이전에서 미리 한번 더 가봄)에서의 기울기를 구해서 업데이트해줌.

• 즉 직전지점(xt)에서 미리 속도벡터 구해서 가본값의 미분한 기울기를 업데이트(loss)를 줄이는 것이기 때문에 빼줌. ⇒ 해서 다음지점에 더해줌.

• 이때 p는 rho값.

1-6) Adagrad

• 손실함수 곡면의 변화에 따라 적응적으로 학습률을 정하는 것.

• 학습률을 매개변수에 맞춤형 값을 만들어줌(학습률을 서서히 낮춰줌)

1. learning rate decay(학습률 감소)

• 초반에는 큰 폭으로 이동하여 최대한 빠르게 내려가고, 점차 학습률을 줄여 조심스럽게 내려가는 방법

2. adaptive learning rate(적응적 학습률)

• ex) 손실함수의 경사가 가파를 때 큰폭으로 이동하면서 최적화 경로를 벗어나거나 최소 지점을 지나칠 수 있기 때문에, 작은 폭으로 이동함. 경사가 완만하면 큰 폭으로 이동.

• y축 방향의 경우, 기울기가 커서 처음에는 크게 움직임

• 이 큰 움직임이 h를 크게 만듬(기울기의 제곱) ⇒ 처음에는 크게 움직이지만, h를 갱신 시키면서 학습률(보폭)을 작게

• → y축 방향으로 갱신 강도가 빠르게 약해짐. 지그재그 움직임도 줄어듦(lr 효과)

• 경사가 완만할 때는 최적해 경로가 아닐 수 있기에 큰 폭으로 이동하는 것이 좋음

• 경사가 가파를 때 큰 폭으로 이동할 경우, 최적화 경로를 벗어나게 됨(최소 지점을 벗어나는)

---

• 그러기 위해서는 곡면의 변화량에 학습률이 적응적으로 조정되어야.

• 이전 경사도를 누적한걸 가지고 곱해서 적응시키는거.

• 이전 값들을 계속 곱해서 누적.

• SGD 파라미터 업데이트 식에서 학습률을 곡면의 변화량의 제곱근으로 나눠주면 적응적 학습률이 됨.

• 즉, 직전 시점에서의 값에서 적응적 학습률 값을 빼면 됨.⇒ 모델의 파라미터 별로 곡면의 변화량을 계산하기 때문에 파라미터 별로 개별 학습률을 가지는 효과 생성. ⇒ 더 정확하고 빠르게 갈 수 있음.

• 문제점

  • 학습 조기 중단 현상⇒ 곡면의 변화량을 전체 경로의 기울기 벡터 크기로 계산하기 때문에 학습이 진행될수록 곡면의 변화량은 점점커지고, 학습률은 점점 작아짐그래서 나온 것이 RMSProp.
  • 즉, 경사가 가파른 곳에서 학습 시작했으면 초반부터 적응적 학습률이 감소하기 시작해서 조기 학습 중단될 수도.

1-7) RMSProp

• Adagrad의 학습조기중단 문제를 해결하기 위해 나온 것.

  

• 곡면 변화량을 측정할 때 전체 경로가 아닌 최근 경로의 변화량을 측정하면 곡면 변화량이 누적되어 계속해서 증가하는 현상을 없앨 수 있음.

• PMSProp은 최근 경로의 곡면 변화량을 측정하기 위해 지수가중이동평균 사용.

• 지수가중이동평균 ⇒ 오래된 데이터가 미치는 영향을 지수적으로 감쇠하도록 하는 방법.

 

• B가 추가된 것을 볼 수 있음.

• 누적된 grad_squaered 항에는 B를 곱하고, 현재의 dx항에는 1-B를 구해서 누적되는 속도를 줄여줌.

---

• RMSProp 의 장점은 미분값이 큰 곳에서는 업데이트 할 때 큰 값으로 나눠주기 때문에 기존 학습률 보다 작은 값으로 업데이트됨 → 진동 줄이는데 도움 됨.

• 반면 미분값이 작은 곳에서는 업데이트시 작은 값으로 나눠주기 때문에 기존 학습률 보다 큰 값으로 업데이트됨.

• 문제점

  

  

  • r(t+1) + e ⇒ 적응적 학습률을 의미하는데, B가 0.99라고 가정하면 r1은 0.01로 값이 작아짐. 이 값을 저 x+1식에 넣게되면 분모가 작아지므로 빼지는 값이 커지게 됨.

  • 즉, 출발 지점에서 멀리 떨어진 지점으로 이동하게 됨.

  ⇒ 기존 학습률 보다 큰 값으로 업데이트됨.

  ⇒ 이걸 바로 학습 초기 경로 편향 문제라고 함.

  ⇒ 해결하기 위해 나온게 바로 adam임.

1-8) Adam

• PMSProp + Momentum 합침.

• 처음에 관성을 구하고 관성을 이용해서 지수가중이동평균 구함. ⇒ pmsprop과 다른 점을 속도(관성)을 곱한다는거.
  < 초기 경로 편향 제거 >

• pmsprop에서의 처음 단계는

• 처음에 이렇게 나오고, 이동하는게 커짐. 그래서 초반부터 너무 급격하게 이동하는 문제 발생⇒ 하지만 Adam의 식 같은 경우에는
  • r0는 0이고, 결국에 (1-b2) 세모 기울기 제곱 / (1-b2) 이므로 1-b2 사라져서

  

  이 값이 나옴. 결국은 제곱값이므로 처음부터 아주 작아질 일이 없음.그리고 훈련 진행될수록 B1, B2는 작아지기 때문에 분모는 둘다 거의 1로 바뀌게 됨 ⇒ 결국 원래 알고리즘으로 변하게 됨. (기존 PMSProp 식)
• 따라서 학습 초반에 학습률이 급격히 커지는 편향이 제거됨.
• 

+ 1차 근사와 2차 근사

• 현재까지 배운 loss는 1차 근사임.

First-Order Optimization

Second-Order Optimizaion

• 2차 근사를 활용하면 더 minima에 더 잘 접근 가능.

• 그렇기 때문에 learning rate 필요 없음.

2. Ensemble Models

• 모델을 하나만 학습 시키는 것이 아닌 10개의 모델을 독립적으로 학습 시키는 것. 이를 모델 앙상블이라 부름.

1. 10개 모델 각 구해서 평균내기

2. 하나의 모델에서 학습 중간중간의 값들을 저장해놓고 평균값 구하는 방법

3. learning rate를 낮췄다가 높였다가를 반복해서 학습 과정에서 loss 함수의 다양한 지역에서 수렴하도록 만듬. 그리고 수렴할 때마다의 값을 저장해놓고 평균내기.

4. 등이 있다~

3. Regularization

• 규제화를 하는 이유는 결국 오버피팅을 방지 하기 위해서임

• 그래서 저렇게 4가지 방법을 규제화 방법의 카테고리로 넣은 듯.

1. dropout

2. Batch normalize

• 생략.

3. Data Augmentation

1. horizontal flips

2. random crops and scales

3. color jitter

4. stochastic depth

• skip connection과 같은 ㄱ것.

4. Transfer learning(재학습)

• 이미지 분류' 문제를 해결하는데 사용했던 네트워크(DNN;Deep Neural Network)를 다른 데이터셋 혹은 다른 문제(task)에 적용시켜 푸는 것을 의미

• 이 방법으로도 데이터 부족으로 인한 오버피팅 문제를 해결 할 수 있음

• 이 친구는 학습하기 위해 겁나 많은 데이터가 필요하다는 걸 꺠줌

• 재학습

• 앞서 학습된 피처들을 우리가 학습시킬 작은 데이터셋에 적용하는 것을 의미.

• 데이터가 적은 경우
  • 우리가 원하는 출력 클래스 수 C를 출력하도록 제일 마지막 layer만 초기화 한 후, 이 layer를 제외한 나머지 layer는 freeze시킨 후, 학습을 진행한다.
  • 즉, 마지막 출력 layer만 학습시키는 것이다.

• 데이터가 조금 더 있는 경우
  • 데이터가 적은 경우에서와 같이 마지막 layer를 초기화 하는 것은 동일하지만, 여기서는 데이터가 더 많으므로, 몇개의 layer를 더 학습에 추가할 수 있다.