본문 바로가기

728x90

Deep Learning78

ELMO 1. Intro 같은 read라고 해도 현재형과 과거형이 있음 -> 앞에서만 예측을 해서 출력하면 정확히 모르기 때문에, 뒤에서부터 오는 애들을 가지고 예측을 해서 read가 과거형으로 쓰인다! 라고 알려주는게 엘모의 역할 2. Overall architecture read에 해당하는 친구를 뽑는다 forward 부분과 backward 부분을 함께 학습시킴 이때, word embedding 부분, LSTM1층, LSTM2층 등 각각의embedding과 LSTM끼리 concat을 시킴 이후, 알맞게 가중치를 곱해줌 ( 이때 아래에 있을수록 문법적인 측면에서의 벡터이고, 위로 갈수록 문맥에 맞는 벡터라고 함) 이후, 가중합을 하면 하나의 벡터가 만들어짐 → read에 대한 embedding 층에 elmo 값.. 2023. 7. 6.

SegNet Intro 자율주행 - road scene segmentation task를 풀고자 하였음 도로와 보도를 구분하거나, 자동차와 보행자 등 max pooling, subsampling 연산을 수행하다보면 추상적인 피처맵들이 만들어짐 ( 즉, 이미지 크기가 점점 줄어들수록 원본 정보가 손실됨 → 추상적인 결과값으로 변함) 그렇게 되면 피처맵으로 픽센 단위로 정교하게 segmentation을 못함 또한, 자율주행을 위해서는 실시간으로 빠르게 segmentation을 해야하지만, 파라미터 수가 많으면 빠르게 하지 못함. 그래서 이에 대한 문제점을 해결하기 위해 나온 것이 segnet임 Network Architecture SegNet의 encoder-decoder는 각각 13개의 convolution layer.. 2023. 7. 6.

CycleGAN 0. Abstract Figure 1: Given any two unordered image collections X and Y , our algorithm learns to automatically “translate” an image from one into the other and vice versa: (left) Monet paintings and landscape photos from Flickr; (center) zebras and horses from ImageNet; (right) summer and winter Yosemite photos from Flickr. Example application (bottom): using a collection of paintings of famous.. 2023. 7. 5.

XLNet: Generalized Autoregressive Pretraining for Language Understanding 💡 [논문리뷰] XLNet: Generalized Autoregressive Pretraining for Language Understanding XLNet: Generalized Autoregressive Pretraining for Language Understanding Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le https://arxiv.org/abs/1906.08237 1. Introduction Unsupervised Representation Learning은 Large-scale의 corpora를 통해 Pre… https://jeonsworld.github.io/NLP/xlnet.. 2023. 7. 5.

Inception-v4, Inception-ResNetand the Impact of Residual Connections on Learning 💡 Inception-v1 Inception-v2 inception-v3 Inception-v2 구조에서 위에서 설명한 기법들을 하나하나 추가해 성능을 측정하고, 모든 기법들을 적용하여 최고 성능을 나타내는 모델이 Inception-v3 Inception-v3은 Inception-v2에서 BN-auxiliary + RMSProp + Label Smoothing + Factorized 7x7 을 다 적용한 모델 [논문 읽기] Inception-v3(2015) 리뷰, Rethinking the Inception Architecture for Computer Vision 이번에 읽어볼 논문은 Rethinking the Inception Architecture for Computer Vision 입니다. 본 논.. 2023. 7. 5.

Seq2Seq 1. Intro 1) DNNs(Deep Neural Networks) 음성 인식, 사물 인식과 같은 문제에 아주 좋음 하지만 이 친구는 input, output이 고정된 차원의 벡터로 인코딩 된 문제에만 적용할 수 있다는 단점 발생 2) sequential problems 음성인식이나 기계 번역 같은 문제들은 길이를 알 수 없는 시퀀스로 표현됨 대표 예로) question-answering 문제는 질문에 대한 정답 시퀀스로 매칭해줘야 함 따라서 DNN은 입출력 차원을 알아야 하고, 고정되어야 하기 때문에, 기존의 방법은 해결하기에 어려움이 발생 ex) ‘나는 너를 정말 사랑해’ ⇒ ‘ I love you so much’ ex) 문장 단어 개수에 맞춰서 I love you very 라는 어색한 문장 출력 .. 2023. 7. 5.

이전 1 ··· 9 10 11 12 13 다음

728x90

티스토리툴바