본문 바로가기

728x90

Deep Learning/2023 DL 기초 이론 공부28

[밑바닥부터 시작하는 딥러닝 2] chap4(word2vec 속도 개선) Embedding 계층 negative sampling 손실함수 도입 기존 word2vec의 문제점 어휘가 100만개로 늘어나게 될 경우, [1] 입력층의 원핫 표현과 가중치 행렬 W_in 의 곱 계산 : 4.1 임베딩 계층 구현으로 해결 [2] 은닉층과 가중치 행렬 W_out의 곱 및 Softmax 계층의 계산 : 4.2 네거티브 샘플링으로 해결 1. Embedding 계층 matmul 계층을 보면, 해당 원핫벡터에 맞는 벡터를 뽑아내는 것과 같음 → 따라서 특정 행만 추출하자의 의미로 embedding 계층을 활용. forward의 경우, index만 넘겨 은닉층(h)를 얻는다 backward 때는 dW 업데이트 해야할 index가 겹치는 경우가 있을 수 있으므로 ‘할당’이 아닌 ‘더하기’를 해야 한.. 2023. 7. 9.

[밑바닥부터 시작하는 딥러닝 2] chap5(순환 신경망 RNN) 5.1 확률과 언어 모델 1. 언어모델 단어 나열에 확률을 부여 특정한 단어의 시퀀스에 대해 그 시퀀스가 일어날 가능성이 어느 정도인가(얼마나 자연스러운 단어 순서인지)를 확률로 평가하는 것.ex) you say goodbye ⇒ 0.092 but, you say good die ⇒ 0.0000000032 사용 예시: 기계 번역 및 음성 인식에 주로 사용, 새로운 문장 생성 용도 CBOW와 달리 왼쪽 윈도우만 맥락으로 고려함. 즉, 언어모델은 변경된 수식처럼 t-2번째 단어, t-1번째 단어가 발생했을 때, 다음 순서로 나올 단어인 t번째 단어가 무엇으로 나올지 예측하는 모델을 의미. 다음 순서에 나올 단어의 자연스러움을 하나의 확률 지표값으로 예측. 동시 확률이란: m개의 단어가 있다고 가정할 때, 단.. 2023. 7. 9.

[밑바닥부터 시작하는 딥러닝 2] chap6(게이트가 추가된 RNN) 6.1 RNN의 문제점 시계열 데이터의 장기 의존 관계 학습하는데 어려움 존재 기울기 소실 및 기울기 폭발 문제 발생 1. 기울기 소실 역전파의 경우, tanh을 미분하게 되면 점점 0에 수렴하게 됨. 이전의 기울기 값을 계속 곱하면서 갱신하기 때문에 소실상태 발생 2. 기울기 폭발 역전파의 경우, matmul 노드에서 dhWh라는 행렬 곱으로 기울기 계산함 이 때, 매번 같은 가중치인 Wh가 사용됨(행렬곱셈 으로 인해) 결국 입력층으로 갈수록 점차 커지다가 가중치들이 비정상적으로 큰 값이 되어버림 기울기 폭발에 대한 해결방안 기울기 클리핑(gradients clipping) 사용 신경망에서 사용되는 모든 매개변수에 대한 기울기를 하나로 처리 g−bar는 L2 노름을 의미, L2 노름이 문턱값을 초과하면.. 2023. 7. 9.

[밑바닥부터 시작하는 딥러닝 2] chap8(어텐션) seq2seq ⇒ 2개의 RNN을 연결해 하나의 시계열 데이터를 다른 시계열 데이터로 변환. 어텐션의 역할 ⇒ seq2seq를 더 강력하게 해줌. 8.1 어텐션의 구조 8.1.1 seq2seq의 문제점 고정길이벡터 ex) 아무리 문장 길이가 길어져도 고정길이벡터 → 같은 길이의 벡터로 표현해버림 ⇒ 많은 정보를 압축하다보니 한계점이 분명이 올 것임. ex) 옷을 우거지로 넣으면 결국 옷장에서 삐져나오는 것과 같은 것. 8.1.2 Encoder 개선 encoder 출력 길이를 입력 문장의 길이에 따라 바꿔주는 것. 그러기 위해선 시각별(단어별) LSTM 계층의 은닉 상태 벡터를 모두 이용. ex) 5개의 단어가 입력된 경우, encoder은 5개 벡터를 출력함. 8.1.3 Decoder 개선 1(선택 작업.. 2023. 7. 8.

[밑바닥부터 시작하는 딥러닝 1] chap5(오차역전파법) 5-1) 계산 그래프 계산 과정을 그래프로 나타낸 것 노드(node)/ 에지(edge): 노드 사이의 직선을 에지라고 부름 ⇒ 순전파라고 함(왼쪽에서 오른쪽으로 진행) 국소적 계산 전체적으로 보면 복잡한 계산식이지만 파고들면 간단한 수식으로 이루어져 있는 ⇒ 국소적 계산이라고 함.( 전체 식은 개복잡 but, 안으로 들어가면 덧셈 뺄셈으로 이루어짐) 계산 그래프의 이점 국소적 계산 전체가 복잡해도 안에서는 간단하게 문제 단순화해서 풀 수 있음 중간 중간의 계산 결과 저장 가능 역전파를 통해 ‘미분’을 효율적으로 계산 가능 5-2) 연쇄 법칙 합성 함수의 미분에 대한 성질 합성 함수의 미분: 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다 5-3) 역전파 5-3-1) 덧셈 노드의 역전파 그냥.. 2023. 7. 8.

[밑바닥부터 시작하는 딥러닝 1] chap2(퍼셉트론) 2-1) 퍼셉트론 신경망의 기원이 되는 알고리즘 입출력을 갖춘 알고리즘 입력을 주면 정해진 규칙에 따른 값을 출력 다수의 신호를 입력받아 하나의 신호를 출력함 (1 or 0) 매개변수: 가중치, 편향 x1: 입력신호(입력값) w1: 가중치(각 신호가 결과에 주는 영향력을 조절함) 세타: 임계값 (정해진 한계를 넘으면 1로 출력) 세타 → -b로 치환 (편향) ex) b= -0.1인 경우, 값들의 합이 0.1을 초과할 때만 뉴런 활성화 b=-20인 경우, 합이 20이 넘지 않으면 뉴런 활성화x 2-2) 단층 / 다층 퍼셉트론 단층 퍼셉트론(선형) AND 게이트(둘 다 1일 때만 1 출력) NAND 게이트(둘 다 1일 때만 0출력) OR 게이트(입력값 하나 이상이 1이면 1출력) 다층 퍼셉트론(비선형) XO.. 2023. 7. 8.

이전 1 2 3 4 5 다음

728x90

티스토리툴바