본문 바로가기

728x90

Deep Learning/2023 DL 기초 이론 공부28

[Standford_cs231n] Lecture 6 ) Training Neural Networks I 1. Activation Functions 활성화 함수: 출력값을 활성화를 일으키게 할 것인가를 정하고 그 값을 부여하는 함수. 사용하는 이유: Data를 비선형으로 바꾸기 위함 왜 비선형으로 바꾸는가?: 복잡한 모델을 만들기 위해서⇒ 선형함수의 경우, 망이 깊어지지 않는다는 단점이 존재. 아무리 복잡하게 만든다고 해도 ex) h(x)= cx(일차함수) ⇒ 3-layer ⇒ y(x)=h(h(h(x))) ⇒ y(x)=c^3x로 밖에 안됨. 결국 같은 선형 함수임.따라서, 뉴럴네트워크에서 층을 쌓는 혜택을 얻고 싶다면, 활성화함수로는 반드시 비선형 함수를 사용. 활성화 함수를 사용하면 입력이 들어갈 때, 출력값이 선형으로 나오지 않기 때문에 망을 깊게 만들 수 있다는 장점 존재. ⇒ 결국 linear한 연산.. 2023. 7. 7.

[Standford_cs231n] Lecture 7 ) Training Neural Networks II 1. Optimization SGD: 가장 기본적인 방법 (경사하강법) Mini batch GD: 배치 단위로 나눠서 배치마다 파라미터 업데이트 SGD + Momentum: 기존에 관성 합친 것(속도) ⇒ 계속 가려던 성질 활용 NAG: 이전 속도로 한걸음 미리 가보고 기울기 구해서 업데이트하는 방법 Adagrad: 전체의 손실함수 곡면의 변화를 학습시켜서 다음 학습률 정해주는 것 PMSprop: Adagrad 단점 보완 ⇒ 최근 곡면 변화량만 가져와서 학습률 정해줌 Adam: pmsprop + momentum 1-1) optimization 설명 딥러닝의 학습에서는 최대한 틀리지 않는 방향으로 학습해 나가야 함. 여기서 얼마나 틀리는지 알게 하는 함수가 바로 loss function (손실함수) 임. .. 2023. 7. 7.

[Standford_cs231n] Lecture 8 ) Deep Learning Software 1. CPU vs GPU CPU는 컴퓨터의 뇌에 해당하는 부분 컴퓨터에서 구성 단위 중 기억, 해석, 연산, 제어부분을 수행하는 중요한 녀석이다. 좀 더 적은 core의 수로 연속적인 일을 처리하는데 CPU가 자주 쓰인다 GPU는 computer graphics를 Rendering하기 위해 쓰이는 녀석이다. 더 많은 core로 일을 병렬적으로 수행하고 싶을 때 GPU가 자주 쓰인다. GPU는 내부적으로 자체적인 RAM을 가지고 있다. ⇒ GPU의 종류는 크게 세가지 CUDA OpenCL Udacity 2. Deep Learning Framework 딥러닝 프레임 워크를 사용하는 이유는? Computational Graph를 쉽게 build하기 위해 Gradient 계산을 쉽게 하기 위해 GPU에서 효과적.. 2023. 7. 7.

[Standford_cs231n] Lecture 1 ) Introduction to Convolutional Neural Networks for Visual Recognition 컴퓨터 비전의 역사 1. 컴퓨터 비전이란 ⇒ 최근 인터넷 트래픽 중 80%가 비디오 데이터일 만큼 엄청난 양의 시각적 데이터들이 쏟아져 나오는 것을 유튜브만 봐도 느낄 수 있음. ⇒ 이 데이터들을 효과적으로 이해하고 분석해서, 컴퓨터로 하여금 인간의 시각적인 인식 능력을 가질 수 있도록 알고리즘을 개발하기 시작했고, 이것을 컴퓨터 비전이라 함. 2. 컴퓨터 비전의 역사 1950s Hubel과 Wiesel 생물의 시각적 매커니즘을 찾고자 고양이 뇌에 전극을 꽂아 실험 진행 고양이에게 어떠한 시각적 자극을 주어야 고양이의 뇌의 1차 시각 피질의 뉴런들이 격렬하게 반응할지에 대해 실험 진행 시각적 input의 edges가 움직일 때 반응하는 단순한 세포에 초점을 둠 ⇒ "시각 처리는 edges와 같은 단순한 .. 2023. 7. 7.

이전 1 2 3 4 5 다음

728x90

티스토리툴바