[Standford_cs231n] Lecture 4 ) Introduction to Neural Networks

 

4-1) Computational graphs

4-2) Backpropagation

4-3) Gradient for vectorized code

• 앞에서 한 내용들은 어떤 한 변수 값으로 Gradient을 계산

• 하지만 우리가 실제로 사용하는 입력값은 scaler 값 이 아닌 vector값

• 이러한 vector를 사용하기 위해서는 다변수 벡터 함수(vector-valued function of multiple variables) 에 대한 일차미분값이 필요

• 이를 Jacobian (야코비안) matrix 라고 함.

4-4) Neural Networks

• Neural Networks(인공 신경망)은 앞에서 배운 Linear Classifier을 2개 이상 쌓아올리는 형태.

• 이 사이에 Non-linear function을 사용.⇒ 기존에는 선형 레이어 하나만 쌓아서 빨간색 자동차만 찾음⇒ 이러한 방법으로 레이어를 쌓아가면서 여러 특징을 추출할 수 있다는 것을 확인.
• ⇒ NN을 사용하면 빨간색, 노란색 자동차와 같이 여러 색을 찾을 수 있는 모델을 구축함.

• 이처럼 여러겹층의 선형 분류기로 구성된 Nerual Network 활성함수(자료에서는 sigmoid 예제)를 사용해 0과 1의 사이 값으로 분류해 score를 표현.

• 이외에도 아래과 같이 다양한 활성함수를 이용해 분류를 함