[밑바닥부터 시작하는 딥러닝 1] chap4(신경망 학습)

 

4-1) 손실함수

• 실제값과 예측값의 차이를 이용해 가중치가 얼마나 적합하게 뽑혔는지를 평가하기 위해 만들어짐

• 최소로 하는 것이 신경망의 성능을 높이는 것

• 지표를 좋게 해주는 가중치 매개변수 탐색.

오차제곱합(Sum of Squares for Error, SSE) - 연속형 데이터

• yk: 신경망의 출력(신경망이 추정한 값)

• tk: 정답 레이블

• k: 데이터의 차원

교차 엔트로피 오차- 범주형 데이터 분류

• 엔트로피: 사건 A가 발생할 확률이 낮을수록 커지는 존재

• tk(정답 레이블): 정답만1이고 나머지는 0 ⇒ 원핫 벡터 사용

• 따라서, 실질적으로 정답일 때의 자연로그 계산하는 것과 같음

• 커질수록 0과 멀어짐(정답과 멀어지는 것을 의미 ⇒ 작게 만드는 것이 목표)

 

 

4-2) 미니 배치 학습

1. 평균 손실 함수

⇒ 배치학습시, 배치 데이터에 대한 손실함수 값들의 합을 지표로 삼음.

⇒ 각 데이터에 대한 손실 함수를 구한 후, 값들의 평균값을 구해 손실 함수를 구함

2. 데이터가 많아지면 학습 시간이 오래걸리게 됨 ⇒ 미니 배치 활용

3. 미니 배치

• 훈련 데이터에서 지정한 수의 데이터를 무작위로 골라냄.

• 일부 표본 데이터로 전체를 비슷하게 예측

4-3) 미분

• 미분: 한 점에서의 기울기를 의미

• 기울기: 두 점 사이에서 발생하는 경사

• 수치 미분(전방차분 ↔ 중심차분(중앙차분):

  • 차분을 통해 미분하는 것 (차분: 임의의 두 점에서의 함수 값들의 차이를 말한다)

  

  식의 의미: x의 변화가 함수 f(x)를 얼마나 변화시키는가를 구하는 것. h를 0으로 근접시켜 한 순간의 변화량을 나타냄.

  • 수치 미분의 문제점 (반올림 오차, 차분 문제)

    1. 반올림오차
       • 작은값이 생략되어 최종 계산 결과에 오차 발생
       • ex) np.float32(1e-50) ⇒ 0.0 반환
       • 너무 작은 값을 이용하면 컴퓨터로 계산하는데 문제가 발생.
       • 따라서 h-10^-4의 값을 활용

    2. 차분 문제

    • 진정한 접선: x에서의 함수 기울기(접선)

    • but 현재 식의 경우, x+h와 x 사이의 기울기

    

    • ⇒ h를 무한히 0으로 근접시키는 것이 불가능해서 발생한 한계

    • 따라서 중심차분(중앙차분)을 활용

    (x+h) 와 (x-h) 사이의 함수 차분을 계산 ( x를 중심으로 전후를 계산)

     

• 편미분

  .

4-4) 경사 하강법(경사법)

• 최적의 매개변수(가중치와 편향) 찾기 (최적화된 파라미터 찾기)

• 최적: 손실함수가 최소가 될 때의 매개변수 (w,b)

• 학습률: 한 번 학습 시마다 얼마나 갈 것인지(적정 선으로 설정, 보통 0.01 or 0.001)

x축: w,b

y축: cost(w,b) 값으로 표현

⇒ cost(w,b)가 최소가 되는 지점을 찾고자 함 ⇒ 경사하강법

확률적 경사 하강법

• 1단계: 미니배치(무작위로 선정)

• 2단계: 기울기 산출

• 3단계: 매개변수 갱신

• 4단계: 1~3단계 반복

⇒ 확률적 경사하강법 (미니배치+ 하강법 사용)

→ 배치 크기= 학습 데이터

↔ 미니 배치 경사 하강법: 배치 크기<학습 데이터 셋 크기