본문 바로가기

728x90

All Post105

Inception V2/3 1. Intro CNN이 발전하면서 모델 크기나 계산 효율성 때문에 한계 발생. 이를 해결하기 위해 아래와 같은 방식을 소개함 아래 방법으로 ILSVRC 2012 daset으로 top1 error가 17.2%, top5 error가 3.58%를 달성 VGGNet은 성능은 좋지만 파라미터 개수가 많아서 비용 많이 발생 Inception은 파라미터 개수 줄이고 성능 좋다는 결론이 나옴 inception이 구조가 복잡해서 오히려 최적화 방해가 된다는 결과 발생. 오히려 효율성이 떨어짐⇒ 이 친구는 구조가 복잡해서 수정하기 어렵 + 단순 확장의 경우 오히려 계산 오래 걸리게 됨 ⇒ 어떤 이유로 인해 효율성이 좋은지 정확하게 알 수 없어서 새로운 곳에 적용하기 어렵 해서 단점들을 개선하기 위해 나온 것이 논문임... 2023. 7. 6.

ELMO 1. Intro 같은 read라고 해도 현재형과 과거형이 있음 -> 앞에서만 예측을 해서 출력하면 정확히 모르기 때문에, 뒤에서부터 오는 애들을 가지고 예측을 해서 read가 과거형으로 쓰인다! 라고 알려주는게 엘모의 역할 2. Overall architecture read에 해당하는 친구를 뽑는다 forward 부분과 backward 부분을 함께 학습시킴 이때, word embedding 부분, LSTM1층, LSTM2층 등 각각의embedding과 LSTM끼리 concat을 시킴 이후, 알맞게 가중치를 곱해줌 ( 이때 아래에 있을수록 문법적인 측면에서의 벡터이고, 위로 갈수록 문맥에 맞는 벡터라고 함) 이후, 가중합을 하면 하나의 벡터가 만들어짐 → read에 대한 embedding 층에 elmo 값.. 2023. 7. 6.

SegNet Intro 자율주행 - road scene segmentation task를 풀고자 하였음 도로와 보도를 구분하거나, 자동차와 보행자 등 max pooling, subsampling 연산을 수행하다보면 추상적인 피처맵들이 만들어짐 ( 즉, 이미지 크기가 점점 줄어들수록 원본 정보가 손실됨 → 추상적인 결과값으로 변함) 그렇게 되면 피처맵으로 픽센 단위로 정교하게 segmentation을 못함 또한, 자율주행을 위해서는 실시간으로 빠르게 segmentation을 해야하지만, 파라미터 수가 많으면 빠르게 하지 못함. 그래서 이에 대한 문제점을 해결하기 위해 나온 것이 segnet임 Network Architecture SegNet의 encoder-decoder는 각각 13개의 convolution layer.. 2023. 7. 6.

CycleGAN 0. Abstract Figure 1: Given any two unordered image collections X and Y , our algorithm learns to automatically “translate” an image from one into the other and vice versa: (left) Monet paintings and landscape photos from Flickr; (center) zebras and horses from ImageNet; (right) summer and winter Yosemite photos from Flickr. Example application (bottom): using a collection of paintings of famous.. 2023. 7. 5.

XLNet: Generalized Autoregressive Pretraining for Language Understanding 💡 [논문리뷰] XLNet: Generalized Autoregressive Pretraining for Language Understanding XLNet: Generalized Autoregressive Pretraining for Language Understanding Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le https://arxiv.org/abs/1906.08237 1. Introduction Unsupervised Representation Learning은 Large-scale의 corpora를 통해 Pre… https://jeonsworld.github.io/NLP/xlnet.. 2023. 7. 5.

Inception-v4, Inception-ResNetand the Impact of Residual Connections on Learning 💡 Inception-v1 Inception-v2 inception-v3 Inception-v2 구조에서 위에서 설명한 기법들을 하나하나 추가해 성능을 측정하고, 모든 기법들을 적용하여 최고 성능을 나타내는 모델이 Inception-v3 Inception-v3은 Inception-v2에서 BN-auxiliary + RMSProp + Label Smoothing + Factorized 7x7 을 다 적용한 모델 [논문 읽기] Inception-v3(2015) 리뷰, Rethinking the Inception Architecture for Computer Vision 이번에 읽어볼 논문은 Rethinking the Inception Architecture for Computer Vision 입니다. 본 논.. 2023. 7. 5.

이전 1 ··· 12 13 14 15 16 17 18 다음

728x90

티스토리툴바