[밑바닥부터 시작하는 딥러닝 1] chap3(신경망)

 

 

3-1) 신경망

• 입력층-은닉층-출력층으로 구성

• 퍼셉트론 vs 신경망 : 활성화 함수 사용 유무 차

---

 

3-2) 활성화 함수

• 입력 신호의 총합을 출력 신호로 변환하는 함수 h(x)

• 입력 신호의 총합이 활성화를 일으키는지를 정하는 역할을 진행

• 임계값을 경계로 출력이 바뀜 (ex) 0을 기준으로) ⇒ 계단함수

3-2-0) 계단함수

3-2-1) 시그모이드 함수(2클래스 분류)

계단함수 vs 시그모이드 ⇒ 신경망의 경우, 비선형 함수 사용

• 공통점

  • 입력 중요도에 따라 큰 값 or 작은 값 출력

  • 출력범위 : 0~1

  • 비선형 함수

• 차이점

  • 매끄러움의 차이 (연속적인 실수값)

   

 

3-2-2) ReLU 함수

• 0이 넘으면 입력 그대로 출력, 0 이하면 0 출

 

 

3-3) 출력층 함수

3-3-1) 항등함수(회귀)

• 입력값 그대로 출력

3-3-2) 소프트맥스 함수(다중 클래스 분류)

• exp(x) : e^x(지수함수)

• n: 출력층의 뉴런 수

• yk: k번째 출력

• 분자: 입력신호 ak의 지수 함수

• 분모: 모든 입력 신호의 지수 함수의 합

** 기존 소프트 맥스함수의 경우, 오버플로의 문제 발생

• 표현하고자 하는 수의 범위 한정 문제로, 큰 값을 표현 x

• c: 입력 신호 중 최대값

• 출력의 총합: 1 ⇒ 확률로도 해석 가능 ⇒ 정규

• 학습 시: 출력층에서 소프트맥스 사용

• 추론 시: 함수 생략( 대소 관계 변화x(단조증가함수) ) ⇒ 시간낭비/자원낭비

 

3-4) +a (용어들+MNIST)

• 출력층의 뉴런 수 : 분류하고 싶은 클래스 수로 설정

• 정규화: 데이터를 특정 범위로 변환하는 처리

• 전처리: 신경망의 입력 데이터에 특정 변환을 가하는 것

• 백색화: 전체 데이터를 균일하게 분포시키는 경우

• 배치(batch): 입력 데이터를 묶은 것 ⇒ 시간 단축