본문 바로가기

728x90

Standfore_cs231n 강의8

[Standford_cs231n] Lecture 2 ) Image Classification 0. Image Classification Semantic gap: 이미지가 고양이라는 사실과, 실제 컴퓨터가 보는 저 숫자값에는 큰 격차가 존재 ⇒ 이를 시멘틱 갭이라고 칭함. 찍는 구도나 조명, 자세 변화, 사물에 가려지는 등 이러한 변화에 따라 픽셀값들은 변하게 되는데, 그럼에도 컴퓨터는 ‘고양이’라고 인식 할 수 있어야함. 그래서 이미지에서 edges을 추출하고, 귀모양이나 코모양 같은 고양이에게 필요한 집합들을 하나씩 찾아서 이러한 집합들이 다 있으면 고양이다 라고 인식하게 함.⇒ 하지만 비효율적, 잘 작동하지 않음 ⇒ 다른 객체(강아지나 집)들을 인식하기 위해서는 그 클래스에 맞는 집합을 또 하나씩 다 만들어줘야 하는 문제 발생. ↔ 이래서 나온 방법이 데이터 중심 접근 방법(Data-Driv.. 2023. 7. 8.

[Standford_cs231n] Lecture 3 ) Loss Functions and Optimization 1. Loss Function 사진에서 보이는 score가 낮을수록 W의 영향력도 안좋은 것이라고 말할 수 있음( 분류를 잘 하지 못했으므로 ) W가 좋다 안좋다 정도로 정량화 할 수 있는 것이 필요함 ⇒ loss function W(가중치)가 얼만큼 좋고 안좋다로 나타낼 수 있는 함수가 바로 손실함수임. SVM loss( hinge loss ) softmax loss( cross entropy ) 1-1) Multiclass SVM loss 정답클래스≥정답아닌클래스+1 ⇒ loss=0 ( 매우 좋음 ) ex) cat과 car의 경우 : 정답클래스(3.2)≥정답아닌클래스(5.1)+1 이 아니므로 해당 값을 loss 값으로 cat과 frog의 경우 : 정답클래스(3.2)≥ 정답아닌클래스(-1.7)+1 이므.. 2023. 7. 8.

[Standford_cs231n] Lecture 4 ) Introduction to Neural Networks 4-1) Computational graphs 4-2) Backpropagation 4-3) Gradient for vectorized code 앞에서 한 내용들은 어떤 한 변수 값으로 Gradient을 계산 하지만 우리가 실제로 사용하는 입력값은 scaler 값 이 아닌 vector값 이러한 vector를 사용하기 위해서는 다변수 벡터 함수(vector-valued function of multiple variables) 에 대한 일차미분값이 필요 이를 Jacobian (야코비안) matrix 라고 함. 4-4) Neural Networks Neural Networks(인공 신경망)은 앞에서 배운 Linear Classifier을 2개 이상 쌓아올리는 형태. 이 사이에 Non-linear functio.. 2023. 7. 8.

[Standford_cs231n] Lecture 5 ) Convolutional Neural Networks 1. Convolutional Neural networks 1. Convolutional Layer Stride 스트라이드(stride) 이미지를 슬라이딩 할 때 움직이는 step의 크기. 얘는 스트라이드 2 2. Convolutional Layer Pad 필터 크기에 따라서 출력 가로 세로 길이가 줄어듬 padding을 쓰면 원본 크기 유지, 이미지 가장자리 계산 덜 되는 것을 막을 수 있음 3. Convolutional Layer Output Size W : input image width F : Filter width S : Stride P : Pad Output W : (W - F + 2*P)/S + 1 4. Convolution Layer의 Backpropagation 처음에 필터가 빨파노초 필.. 2023. 7. 7.

[Standford_cs231n] Lecture 6 ) Training Neural Networks I 1. Activation Functions 활성화 함수: 출력값을 활성화를 일으키게 할 것인가를 정하고 그 값을 부여하는 함수. 사용하는 이유: Data를 비선형으로 바꾸기 위함 왜 비선형으로 바꾸는가?: 복잡한 모델을 만들기 위해서⇒ 선형함수의 경우, 망이 깊어지지 않는다는 단점이 존재. 아무리 복잡하게 만든다고 해도 ex) h(x)= cx(일차함수) ⇒ 3-layer ⇒ y(x)=h(h(h(x))) ⇒ y(x)=c^3x로 밖에 안됨. 결국 같은 선형 함수임.따라서, 뉴럴네트워크에서 층을 쌓는 혜택을 얻고 싶다면, 활성화함수로는 반드시 비선형 함수를 사용. 활성화 함수를 사용하면 입력이 들어갈 때, 출력값이 선형으로 나오지 않기 때문에 망을 깊게 만들 수 있다는 장점 존재. ⇒ 결국 linear한 연산.. 2023. 7. 7.

[Standford_cs231n] Lecture 7 ) Training Neural Networks II 1. Optimization SGD: 가장 기본적인 방법 (경사하강법) Mini batch GD: 배치 단위로 나눠서 배치마다 파라미터 업데이트 SGD + Momentum: 기존에 관성 합친 것(속도) ⇒ 계속 가려던 성질 활용 NAG: 이전 속도로 한걸음 미리 가보고 기울기 구해서 업데이트하는 방법 Adagrad: 전체의 손실함수 곡면의 변화를 학습시켜서 다음 학습률 정해주는 것 PMSprop: Adagrad 단점 보완 ⇒ 최근 곡면 변화량만 가져와서 학습률 정해줌 Adam: pmsprop + momentum 1-1) optimization 설명 딥러닝의 학습에서는 최대한 틀리지 않는 방향으로 학습해 나가야 함. 여기서 얼마나 틀리는지 알게 하는 함수가 바로 loss function (손실함수) 임. .. 2023. 7. 7.

이전 1 2 다음

728x90

티스토리툴바