본문 바로가기

728x90

nlp12

ELMO 1. Intro 같은 read라고 해도 현재형과 과거형이 있음 -> 앞에서만 예측을 해서 출력하면 정확히 모르기 때문에, 뒤에서부터 오는 애들을 가지고 예측을 해서 read가 과거형으로 쓰인다! 라고 알려주는게 엘모의 역할 2. Overall architecture read에 해당하는 친구를 뽑는다 forward 부분과 backward 부분을 함께 학습시킴 이때, word embedding 부분, LSTM1층, LSTM2층 등 각각의embedding과 LSTM끼리 concat을 시킴 이후, 알맞게 가중치를 곱해줌 ( 이때 아래에 있을수록 문법적인 측면에서의 벡터이고, 위로 갈수록 문맥에 맞는 벡터라고 함) 이후, 가중합을 하면 하나의 벡터가 만들어짐 → read에 대한 embedding 층에 elmo 값.. 2023. 7. 6.

XLNet: Generalized Autoregressive Pretraining for Language Understanding 💡 [논문리뷰] XLNet: Generalized Autoregressive Pretraining for Language Understanding XLNet: Generalized Autoregressive Pretraining for Language Understanding Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le https://arxiv.org/abs/1906.08237 1. Introduction Unsupervised Representation Learning은 Large-scale의 corpora를 통해 Pre… https://jeonsworld.github.io/NLP/xlnet.. 2023. 7. 5.

Seq2Seq 1. Intro 1) DNNs(Deep Neural Networks) 음성 인식, 사물 인식과 같은 문제에 아주 좋음 하지만 이 친구는 input, output이 고정된 차원의 벡터로 인코딩 된 문제에만 적용할 수 있다는 단점 발생 2) sequential problems 음성인식이나 기계 번역 같은 문제들은 길이를 알 수 없는 시퀀스로 표현됨 대표 예로) question-answering 문제는 질문에 대한 정답 시퀀스로 매칭해줘야 함 따라서 DNN은 입출력 차원을 알아야 하고, 고정되어야 하기 때문에, 기존의 방법은 해결하기에 어려움이 발생 ex) ‘나는 너를 정말 사랑해’ ⇒ ‘ I love you so much’ ex) 문장 단어 개수에 맞춰서 I love you very 라는 어색한 문장 출력 .. 2023. 7. 5.

Bert 1. Intro 기존에 GPT나 앞의 모델에서는 다 한방향으로만 움직이는(왼→우)로 예측하는 모델을 만들었었음 하지만 얘네들은 결국 예측할 때는 단방향으로만 읽어서 예측해야 하기에 이전 토큰만 참조할 수 있다는 단점이 존재 ⇒ 다음 문장에 대한 예측이나 문장 빈칸에 대한 예측의 경우 치명적임. 그래서 bERT를 통해 양방향 모델을 사용하려고 하는 것임. 2. Overall architecture 특정 과제를 하기 전 사전 훈련 임베딩(embedding)을 통해 성능을 좋게 할 수 있는 언어모델 사전 훈련 언어 모델임(pre-training) unlabeled data로부터 pre-train 진행 한 후에, labeled data를 가지고 fine-tuning 진행하는 모델 encoder 모델만 가져다 씀.. 2023. 7. 5.

VIT [AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE] 💡 0. Abstract While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to replace certain components of convolutional networks while keeping their overall structure in place. We show that this reliance on .. 2023. 7. 5.

GPT-1 1. Intro Text의 unlabeled된 데이터는 풍부함 반면에 labeled된 데이터는 풍부하지 않고 빈약함 따라서 model이 적절한 작업을 수행하기 쉽지 않는다는 문제점 발생 그래서 나온 아이디어가 unsupervised한 데이터를 먼저 학습시키고, label값이 있는 데이터로 재학습시키는 방식이 나오게 됨. 2. Overall architectudre unsupervised pre-training + supervised fine-tuning 구조로 이루어짐 3. Unsupervised pre-training label값이 없는 unsupervised data를 input으로 넣음 word embedding 진행하고 positional encoding 해줌 decoder의 masked self.. 2023. 7. 5.

이전 1 2 다음

728x90

티스토리툴바