본문 바로가기

728x90

모두를 위한 딥러닝 시즌 23

[모두를 위한 딥러닝 시즌 2] lab-10-1~2 lab-10-1~2 2023. 7. 9.

[모두를 위한 딥러닝 시즌 2] lab-09-1~4 lab-09-1~4 09-1 ReLU sigmoid의 경우, 미분값이 거의 0이기에 역전파를 할 경우, 앞 단에서는 거의 0에 수렴하게 됨. 따라서 ReLU가 나오게 됨. 09-2 Weight initialization RBM은 두 개의 층(입력층 1개, 은닉층 1개)으로 구성되어있기 때문에 심층 신경망은 아님 다만 RBM은 심층 신뢰 신경망(DBN:Deep Belief Network)을 구성하는 요소로 사용 X→Y 출력, 반대로 Y-X’로도 복원 가능 레이어 안에 있는 노드끼리는 서로 연결 x 다른 layer 사이에는 서로 연결 o 두 분포가 얼마나 유사한지 측정하는 방법 (forward ↔ backprop을 반복하면서 bias와 weight 조정) RBM을 여러번 학습 하는 것: DBM pre-tra.. 2023. 7. 9.

[모두를 위한 딥러닝 시즌 2] lab-01-1~08-2 lab-01-1~08-2 01-1~2 Tensor Manipulation 1~2 1차원: 벡터 2차원: 행렬 3차원: 텐서(배열을 의미) 4차원: 텐서를 위로 쌓은 것 5차원: 텐서를 옆으로 쌓은 것 6차원: 5차원을 뒤로 쌓은 것 batch size=64 dim=256 *가장 전형적인 2차원 텐서 가로: 너비(width) 세로: 높이(height) length: 문장길이 dim: 단어 벡터의 차원 ex)['나는 사과를 좋아해'] 문장길이(length=3) '나는'=[0.1,0.2,0.9] '사과를'=[0.3,0.5,0.1] '좋아해'=[0.5,0.6,0.7] => [[0.1,0.2,0.9], [0.3,0.5,0.1], [0.5,0.6,0.7]] 파이토치의 경우, 자동적으로 행렬 차원의 사이즈를 맞춰준다.. 2023. 7. 9.

이전 1 다음

728x90

티스토리툴바