본문 바로가기

728x90

Deep Learning/2023 DL 기초 이론 공부28

[밑바닥부터 시작하는 딥러닝 1] chap4(신경망 학습) 4-1) 손실함수 실제값과 예측값의 차이를 이용해 가중치가 얼마나 적합하게 뽑혔는지를 평가하기 위해 만들어짐 최소로 하는 것이 신경망의 성능을 높이는 것 지표를 좋게 해주는 가중치 매개변수 탐색. 오차제곱합(Sum of Squares for Error, SSE) - 연속형 데이터 yk: 신경망의 출력(신경망이 추정한 값) tk: 정답 레이블 k: 데이터의 차원 교차 엔트로피 오차- 범주형 데이터 분류 엔트로피: 사건 A가 발생할 확률이 낮을수록 커지는 존재 tk(정답 레이블): 정답만1이고 나머지는 0 ⇒ 원핫 벡터 사용 따라서, 실질적으로 정답일 때의 자연로그 계산하는 것과 같음 커질수록 0과 멀어짐(정답과 멀어지는 것을 의미 ⇒ 작게 만드는 것이 목표) 4-2) 미니 배치 학습 평균 손실 함수 ⇒ 배.. 2023. 7. 8.

[밑바닥부터 시작하는 딥러닝 1] chap3(신경망) 3-1) 신경망 입력층-은닉층-출력층으로 구성 퍼셉트론 vs 신경망 : 활성화 함수 사용 유무 차 3-2) 활성화 함수 입력 신호의 총합을 출력 신호로 변환하는 함수 h(x) 입력 신호의 총합이 활성화를 일으키는지를 정하는 역할을 진행 임계값을 경계로 출력이 바뀜 (ex) 0을 기준으로) ⇒ 계단함수 3-2-0) 계단함수 3-2-1) 시그모이드 함수(2클래스 분류) 계단함수 vs 시그모이드 ⇒ 신경망의 경우, 비선형 함수 사용 공통점 입력 중요도에 따라 큰 값 or 작은 값 출력 출력범위 : 0~1 비선형 함수 차이점 매끄러움의 차이 (연속적인 실수값) 3-2-2) ReLU 함수 0이 넘으면 입력 그대로 출력, 0 이하면 0 출 3-3) 출력층 함수 3-3-1) 항등함수(회귀) 입력값 그대로 출력 3-3.. 2023. 7. 8.

[밑바닥부터 시작하는 딥러닝 1] chap6(학습 관련 기술들) 6-1) 매개변수 갱신 신경망 학습의 목적: 손실 함수 값을 낮추는 최적 매개변수를 찾기! 1. 확률적 경사 하강법(SGD) 한번에 미분하지 않고 한 지점에서 기울기를 구한 후, 기울기가 감소하는 방향으로 차근차근 내려가는 방법 W- 학습률과 W에 대한 손실 함수의 기울기 값의 곱 ⇒ SGD의 단점: 비등방성 함수에서는 비효율적 비등방성 함수 : 각 위치에서의 기울기가 가리키는 지점이 하나가 아닌 여러개. 등방성: 어느 방향에서 보아도 똑같은 성질을 가지고 있음 ex) 홀로그램(보는 방향에 따라 다르게 보이는) ⇒ 비등방성 등방성의 예시: 모든 좌표에 대해서 기울기는 항상 중앙을 가르킴 비등방성의 예시: 기울기를 가르키는 지점이 여러가지 y축 방향의 경우, 큼 x축 방향의 경우 작음 ⇒ 왔다리 갔다리 하.. 2023. 7. 8.

[파이썬 딥러닝 파이토치] Part2 01 인공지능(딥러닝)의 정의와 사례 1.1 인공지능이란 1.2 인공지능의 사례 이미지 분류 객체 탐지( 이미지에 포함되어 있는 물체가 뭔지 알아내는거 ex) 쟤는 자동차야) 텍스트 기계 번역 문장 분류 질의 응답 시스템 개체명 인식 알파고 GAN(Generative Adversarial Networks) 고민성씨 컨퍼 프로젝트 같은 지들이 output을 만들어내는 Style Transfer 여름 풍경을 겨울 풍경으로 이미지 변경? deepfake 02 파이토치 03 머신러닝의 정의와 종류 3.1 머신러닝이란 3.2 머신러닝의 종류 모델 학습 손실함수 3.3 머신러닝의 구분 및 지도학습 모델의 종류 지도 학습 VS 비지도 학습 VS 강화학습 1. 지도학습 선형 회귀 모델 회귀 계수 축소 모델 (Lasso.. 2023. 7. 8.

[밑바닥부터 시작하는 딥러닝 1] chap7(합성곱 신경망) CNN(합성곱 신경망- convolutional neural network) 이미지 인식 + 음성 인식 등 다양한 곳에서 사용됨. 7-1) 전체 구조 기존 : 완전연결계층(=Affine 계층) CNN : Conv계층, Pooling 계층이 더해져서 'Afiine - Relu' -> 'Conv -> Relu -> (pooling)'으로 바뀜. 7-2) 합성곱 계층 입체적인 데이터가 흐른다는 차이점이 있음 7-2-1) 완전연결 계층의 문제점 데이터의 형상이 무시됨 ex) 기존: 3차원 데이터를 1차원 데이터로 바꿔서 계산햇었음 이미지의 경우, 3차원이기에 1차원으로 바꿔버리면 그에 담긴 정보들이 사라져버림 CNN의 입출력 데이터: Feature Map(특징맵)이라고 함 - 입력 특징 맵/ 출력 특징 맵 7-.. 2023. 7. 8.

[밑바닥부터 시작하는 딥러닝 1] chap8 딥러닝 1) 손글씨 숫자 인식 심층 CNN 특징 층이 깊어지면서 채널 수는 더 늘어나는 것이 특징임 중간에 풀링 계층을 추가→ 중간 데이터의 공간 크기를 점차 줄임 마지막 완전연결 계층 → 드롭아웃 사용 Adam 활용해 최적화 가중치 초깃값: he 초깃값(relu에서는 he 초깃값 사용) 3x3 필터 사용한 합성곱 계층 활용 2) 데이터 확장 입력 이미지 알고리즘을 통해 인위적으로 확장함 데이터가 많이 없을 때 효과적임 회전 세로로 이동 crop(이미지 일부 자르기) flip (이미지 좌우 뒤집기) - 대칭성 고려 x시 크기 수정 밝기 변화 3) 층 깊게 하는 이유 더 적은 매개변수로 표현력 달성이 가능 파라미터가 많으면 오버피팅 발생 높아 55의 합성곱 연산 1회는 33의 합성곱 연산을 2회 수행하여 대체할 .. 2023. 7. 8.

이전 1 2 3 4 5 다음

728x90

티스토리툴바