본문 바로가기

728x90

Deep Learning/2023 DL 기초 이론 공부28

[모두를 위한 딥러닝 시즌 2] lab-10-1~2 lab-10-1~2 2023. 7. 9.

[모두를 위한 딥러닝 시즌 2] lab-09-1~4 lab-09-1~4 09-1 ReLU sigmoid의 경우, 미분값이 거의 0이기에 역전파를 할 경우, 앞 단에서는 거의 0에 수렴하게 됨. 따라서 ReLU가 나오게 됨. 09-2 Weight initialization RBM은 두 개의 층(입력층 1개, 은닉층 1개)으로 구성되어있기 때문에 심층 신경망은 아님 다만 RBM은 심층 신뢰 신경망(DBN:Deep Belief Network)을 구성하는 요소로 사용 X→Y 출력, 반대로 Y-X’로도 복원 가능 레이어 안에 있는 노드끼리는 서로 연결 x 다른 layer 사이에는 서로 연결 o 두 분포가 얼마나 유사한지 측정하는 방법 (forward ↔ backprop을 반복하면서 bias와 weight 조정) RBM을 여러번 학습 하는 것: DBM pre-tra.. 2023. 7. 9.

[모두를 위한 딥러닝 시즌 2] lab-01-1~08-2 lab-01-1~08-2 01-1~2 Tensor Manipulation 1~2 1차원: 벡터 2차원: 행렬 3차원: 텐서(배열을 의미) 4차원: 텐서를 위로 쌓은 것 5차원: 텐서를 옆으로 쌓은 것 6차원: 5차원을 뒤로 쌓은 것 batch size=64 dim=256 *가장 전형적인 2차원 텐서 가로: 너비(width) 세로: 높이(height) length: 문장길이 dim: 단어 벡터의 차원 ex)['나는 사과를 좋아해'] 문장길이(length=3) '나는'=[0.1,0.2,0.9] '사과를'=[0.3,0.5,0.1] '좋아해'=[0.5,0.6,0.7] => [[0.1,0.2,0.9], [0.3,0.5,0.1], [0.5,0.6,0.7]] 파이토치의 경우, 자동적으로 행렬 차원의 사이즈를 맞춰준다.. 2023. 7. 9.

[밑바닥부터 시작하는 딥러닝 2] chap1(신경망 복습) 1-3) 신경망의 학습 계산그래프 1. 덧셈 노드 2. 곱셈 노드 3. 분기 노드 복제 노드라고도 함. 4. Repeat 노드 분기 노드가 N개로 일반화(확장된 경우) 5. Sum 노드 Repeat 노드와 반대인 경우 6. MatMul 노드 affine 계층과 같다고 보면 됨 ( 행렬의 곱셈을 MatMul 노드라고 함) 2023. 7. 9.

[밑바닥부터 시작하는 딥러닝 2] chap2(자연어) 2.1) 자연어 처리란 평소에 쓰는 말을 자연어라고 칭함(NLP- natural language processing) 인간의 말을 컴퓨터에게 이해시키기 위한 기술이라고 함 추구하고자 하는 목표: 컴퓨터에게 우리의 말을 이해시켜 우리에게 도움이 되는 일을 수행하도록 하고자 함. 2.1-1) 컴퓨터에게 단어의 의미 이해시키기 시소러스를 활용한 기법 통계 기반 기법 추론 기반 기법(word2vec) 2.2) 시소러스 시소러스란: 유의어 사전( 동의어, 유의어 ) 가 한 그룹으로 분류되어 있는 것 또는 하위, 상위 개념을 묶어둔 것 (WordNet) 시소러스의 문제점: 사람이 직접 만들기에 시대의 변화에 어려움 인건비 많이 듬 단어의 미묘한 차이를 표현하기 어려움 (ex) 빈티지나 레트로나 의미는 같음) →구별.. 2023. 7. 9.

[밑바닥부터 시작하는 딥러닝 2] chap3(word2vec) 추론 기반의 기법 ⇒ 단어를 벡터로 변환시켜서 학습하는 것 이 또한 분포가설을 기반으로(단어의 의미는 주변 단어에 의해 형성된다) 통계 기반 기법의 문제점 통계 기반의 경우, 모든 데이터를 한번에 학습시키게 됨. 따라서 시간이 굉장히 오래 걸림 이에 따라 word2vec(추론기반기법)의 경우, 미니배치를 활용해 학습함 추론 기반 기법 추론 문제를 반복해 단어의 출현 패턴을 학습하는. 신경망을 활용해 단어를 처리 맥락 → 모델 → 확률분포 신경망의 경우, 단어를 그대로 처리하지 못함 따라서 ‘고정 길이의 벡터’로 변환해야 함 → 원핫 벡터로 변환. 결국에는 c에서 1인 애들의 가중치의 행 벡터만 출력됨 (나머지는 0이므로) 굳이 행렬곱을 수행하는 것은 시간 낭비. 그래서 embedded 계층을 사용하게 됨.. 2023. 7. 9.

이전 1 2 3 4 5 다음

728x90

티스토리툴바