본문 바로가기

728x90

Deep Learning/2023 DL 기초 이론 공부28

[파이썬 딥러닝 파이토치] Part3 기존 신경망의 단점: 과적합 Gradient Vanishing ++ Internal Covariance Shift 현상 발생 ( Input 분포가 달라짐에 따라 학습 속도가 느려지는 현상 ⇒ 이를 완화시키고자 딥러닝이 나오게 됨 과적합과 기울기 감퇴 문제를 해결한 딥러닝 방법 drop - out 학습 시에는 dropout 실행 평가 시에는 drop out 사용x (모든 노드를 활용해 output 계산) activation 함수 relu 함수 입력 값이 0 이상 부분이면 기울기 1, 0 이하 부분은 0 ⇒ 따라서 아예 없어지거나 완전히 살리는 것으로 해석 가능 ⇒ 레이어가 깊어져도 Gradient Vanishing이 일어나는 것을 완화시킴 Batch Normalization Internal Covarian.. 2023. 7. 8.

[파이썬 딥러닝 파이토치] Part5 part5-1 Data & Task: 어떤 데이터가 있을까 자연어 처리(NLP) : text 데이터를 분석하고 모델링 하는 분야 (NLU+NLG) 자연어 이해(NLU): 자연어 이해하는 영역 자연어 생성(NLG): 자연어 생성 감정분석 (sentiment analysis) 요약(summarization) 기계 번역(machine translation) 질문 응답(question answering) +a (품사 예측 분야, 챗봇 연구, 문장 간의 논리적 관계에 대한 분류 모델, 중의적 표현 구별, 이미지 속 상황 설명 글 만들기 등등 part5-2 문자를 숫자로 표현하는 방법 Tokenization: 문장을 의미 있는 부분으로 나누는 과정 연속된 문자의 나열(문장)을 적절하게 의미를 지닌 부분의 나열로 바.. 2023. 7. 8.

[Standford_cs231n] Lecture 2 ) Image Classification 0. Image Classification Semantic gap: 이미지가 고양이라는 사실과, 실제 컴퓨터가 보는 저 숫자값에는 큰 격차가 존재 ⇒ 이를 시멘틱 갭이라고 칭함. 찍는 구도나 조명, 자세 변화, 사물에 가려지는 등 이러한 변화에 따라 픽셀값들은 변하게 되는데, 그럼에도 컴퓨터는 ‘고양이’라고 인식 할 수 있어야함. 그래서 이미지에서 edges을 추출하고, 귀모양이나 코모양 같은 고양이에게 필요한 집합들을 하나씩 찾아서 이러한 집합들이 다 있으면 고양이다 라고 인식하게 함.⇒ 하지만 비효율적, 잘 작동하지 않음 ⇒ 다른 객체(강아지나 집)들을 인식하기 위해서는 그 클래스에 맞는 집합을 또 하나씩 다 만들어줘야 하는 문제 발생. ↔ 이래서 나온 방법이 데이터 중심 접근 방법(Data-Driv.. 2023. 7. 8.

[Standford_cs231n] Lecture 3 ) Loss Functions and Optimization 1. Loss Function 사진에서 보이는 score가 낮을수록 W의 영향력도 안좋은 것이라고 말할 수 있음( 분류를 잘 하지 못했으므로 ) W가 좋다 안좋다 정도로 정량화 할 수 있는 것이 필요함 ⇒ loss function W(가중치)가 얼만큼 좋고 안좋다로 나타낼 수 있는 함수가 바로 손실함수임. SVM loss( hinge loss ) softmax loss( cross entropy ) 1-1) Multiclass SVM loss 정답클래스≥정답아닌클래스+1 ⇒ loss=0 ( 매우 좋음 ) ex) cat과 car의 경우 : 정답클래스(3.2)≥정답아닌클래스(5.1)+1 이 아니므로 해당 값을 loss 값으로 cat과 frog의 경우 : 정답클래스(3.2)≥ 정답아닌클래스(-1.7)+1 이므.. 2023. 7. 8.

[Standford_cs231n] Lecture 4 ) Introduction to Neural Networks 4-1) Computational graphs 4-2) Backpropagation 4-3) Gradient for vectorized code 앞에서 한 내용들은 어떤 한 변수 값으로 Gradient을 계산 하지만 우리가 실제로 사용하는 입력값은 scaler 값 이 아닌 vector값 이러한 vector를 사용하기 위해서는 다변수 벡터 함수(vector-valued function of multiple variables) 에 대한 일차미분값이 필요 이를 Jacobian (야코비안) matrix 라고 함. 4-4) Neural Networks Neural Networks(인공 신경망)은 앞에서 배운 Linear Classifier을 2개 이상 쌓아올리는 형태. 이 사이에 Non-linear functio.. 2023. 7. 8.

[Standford_cs231n] Lecture 5 ) Convolutional Neural Networks 1. Convolutional Neural networks 1. Convolutional Layer Stride 스트라이드(stride) 이미지를 슬라이딩 할 때 움직이는 step의 크기. 얘는 스트라이드 2 2. Convolutional Layer Pad 필터 크기에 따라서 출력 가로 세로 길이가 줄어듬 padding을 쓰면 원본 크기 유지, 이미지 가장자리 계산 덜 되는 것을 막을 수 있음 3. Convolutional Layer Output Size W : input image width F : Filter width S : Stride P : Pad Output W : (W - F + 2*P)/S + 1 4. Convolution Layer의 Backpropagation 처음에 필터가 빨파노초 필.. 2023. 7. 7.

이전 1 2 3 4 5 다음

728x90

티스토리툴바