728x90 반응형 Seq2Seq 1. Intro 1) DNNs(Deep Neural Networks) 음성 인식, 사물 인식과 같은 문제에 아주 좋음 하지만 이 친구는 input, output이 고정된 차원의 벡터로 인코딩 된 문제에만 적용할 수 있다는 단점 발생 2) sequential problems 음성인식이나 기계 번역 같은 문제들은 길이를 알 수 없는 시퀀스로 표현됨 대표 예로) question-answering 문제는 질문에 대한 정답 시퀀스로 매칭해줘야 함 따라서 DNN은 입출력 차원을 알아야 하고, 고정되어야 하기 때문에, 기존의 방법은 해결하기에 어려움이 발생 ex) ‘나는 너를 정말 사랑해’ ⇒ ‘ I love you so much’ ex) 문장 단어 개수에 맞춰서 I love you very 라는 어색한 문장 출력 .. 2023. 7. 5. U-Net 1. Intro 본 논문에서는 CNN의 성공이 Training Set의 양이 커지면서 생긴 제한적인 이유라고 말함. 이전까지는 CNN은 Classification을 위해 많이 사용되었으나 생물학 분야의 영상 처리에서는 Localization이 중요했고, Semantic Segmentation의 중요도가 높았음. 하지만 생물학에 대한 Sample의 개수가 1000개밖에 되지 않는 것이 다수. 기존에 사용하던 sliding-window 2가지 단점 redundancy of over lapping patch(겹치는 패치의 불필요한 중복성)위의 사진에서 보이는 것과 같이 patch를 옮기면서 중복이 발생하게 됨=> 이 중복된 부분은 이미 학습된(검증된) 부분을 다시 학습하는 것이므로 똑같은 일을 반복하는 것과 .. 2023. 7. 5. Bert 1. Intro 기존에 GPT나 앞의 모델에서는 다 한방향으로만 움직이는(왼→우)로 예측하는 모델을 만들었었음 하지만 얘네들은 결국 예측할 때는 단방향으로만 읽어서 예측해야 하기에 이전 토큰만 참조할 수 있다는 단점이 존재 ⇒ 다음 문장에 대한 예측이나 문장 빈칸에 대한 예측의 경우 치명적임. 그래서 bERT를 통해 양방향 모델을 사용하려고 하는 것임. 2. Overall architecture 특정 과제를 하기 전 사전 훈련 임베딩(embedding)을 통해 성능을 좋게 할 수 있는 언어모델 사전 훈련 언어 모델임(pre-training) unlabeled data로부터 pre-train 진행 한 후에, labeled data를 가지고 fine-tuning 진행하는 모델 encoder 모델만 가져다 씀.. 2023. 7. 5. VIT [AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE] 💡 0. Abstract While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to replace certain components of convolutional networks while keeping their overall structure in place. We show that this reliance on .. 2023. 7. 5. RetinaNet 1. Intro Class Imbalance란→ 분류 문제에서 각 클래스의 샘플 수가 불균형한 상황을 의미함.→ 이진 분류 문제에서 한 클래스에 대한 샘플 수가 다른 클래스에 비해 매우 적은 경우(class imbalance), 이러한 문제가 발생. → 예를 들어, 질병 유무를 판단하는 분류 문제에서, 건강한 사람이 대부분이고, 질병을 가진 사람의 수가 매우 적다면(class imbalance), 이러한 문제가 발생함. → 즉, 한 클래스에 속한 샘플 수가 다른 클래스에 속한 샘플 수보다 월등히 많거나 적은 상황을 말함. 논문에서는 배경영역(easy negative)이 대부분이라 학습에 끼치는 영향력이 커져서 모델 성능이 하락한다고 말함 ※ 추가 내용 : 객체 검출 모델에서는 이미지 내에서 객체가 있는 .. 2023. 7. 5. GPT-1 1. Intro Text의 unlabeled된 데이터는 풍부함 반면에 labeled된 데이터는 풍부하지 않고 빈약함 따라서 model이 적절한 작업을 수행하기 쉽지 않는다는 문제점 발생 그래서 나온 아이디어가 unsupervised한 데이터를 먼저 학습시키고, label값이 있는 데이터로 재학습시키는 방식이 나오게 됨. 2. Overall architectudre unsupervised pre-training + supervised fine-tuning 구조로 이루어짐 3. Unsupervised pre-training label값이 없는 unsupervised data를 input으로 넣음 word embedding 진행하고 positional encoding 해줌 decoder의 masked self.. 2023. 7. 5. 이전 1 ··· 13 14 15 16 17 18 다음 728x90 반응형
