본문 바로가기

728x90

밑바닥부터 시작하는 딥러닝 27

[밑바닥부터 시작하는 딥러닝 2] chap8(어텐션) seq2seq ⇒ 2개의 RNN을 연결해 하나의 시계열 데이터를 다른 시계열 데이터로 변환. 어텐션의 역할 ⇒ seq2seq를 더 강력하게 해줌. 8.1 어텐션의 구조 8.1.1 seq2seq의 문제점 고정길이벡터 ex) 아무리 문장 길이가 길어져도 고정길이벡터 → 같은 길이의 벡터로 표현해버림 ⇒ 많은 정보를 압축하다보니 한계점이 분명이 올 것임. ex) 옷을 우거지로 넣으면 결국 옷장에서 삐져나오는 것과 같은 것. 8.1.2 Encoder 개선 encoder 출력 길이를 입력 문장의 길이에 따라 바꿔주는 것. 그러기 위해선 시각별(단어별) LSTM 계층의 은닉 상태 벡터를 모두 이용. ex) 5개의 단어가 입력된 경우, encoder은 5개 벡터를 출력함. 8.1.3 Decoder 개선 1(선택 작업.. 2023. 7. 8.

이전 1 2 다음

728x90

티스토리툴바