728x90 ๋ฐ์ํ Deep Learning78 [ํ์ด์ฌ ๋ฅ๋ฌ๋ ํ์ดํ ์น] Part2 01 ์ธ๊ณต์ง๋ฅ(๋ฅ๋ฌ๋)์ ์ ์์ ์ฌ๋ก 1.1 ์ธ๊ณต์ง๋ฅ์ด๋ 1.2 ์ธ๊ณต์ง๋ฅ์ ์ฌ๋ก ์ด๋ฏธ์ง ๋ถ๋ฅ ๊ฐ์ฒด ํ์ง( ์ด๋ฏธ์ง์ ํฌํจ๋์ด ์๋ ๋ฌผ์ฒด๊ฐ ๋ญ์ง ์์๋ด๋๊ฑฐ ex) ์ค๋ ์๋์ฐจ์ผ) ํ ์คํธ ๊ธฐ๊ณ ๋ฒ์ญ ๋ฌธ์ฅ ๋ถ๋ฅ ์ง์ ์๋ต ์์คํ ๊ฐ์ฒด๋ช ์ธ์ ์ํ๊ณ GAN(Generative Adversarial Networks) ๊ณ ๋ฏผ์ฑ์จ ์ปจํผ ํ๋ก์ ํธ ๊ฐ์ ์ง๋ค์ด output์ ๋ง๋ค์ด๋ด๋ Style Transfer ์ฌ๋ฆ ํ๊ฒฝ์ ๊ฒจ์ธ ํ๊ฒฝ์ผ๋ก ์ด๋ฏธ์ง ๋ณ๊ฒฝ? deepfake 02 ํ์ดํ ์น 03 ๋จธ์ ๋ฌ๋์ ์ ์์ ์ข ๋ฅ 3.1 ๋จธ์ ๋ฌ๋์ด๋ 3.2 ๋จธ์ ๋ฌ๋์ ์ข ๋ฅ ๋ชจ๋ธ ํ์ต ์์คํจ์ 3.3 ๋จธ์ ๋ฌ๋์ ๊ตฌ๋ถ ๋ฐ ์ง๋ํ์ต ๋ชจ๋ธ์ ์ข ๋ฅ ์ง๋ ํ์ต VS ๋น์ง๋ ํ์ต VS ๊ฐํํ์ต 1. ์ง๋ํ์ต ์ ํ ํ๊ท ๋ชจ๋ธ ํ๊ท ๊ณ์ ์ถ์ ๋ชจ๋ธ (Lasso.. 2023. 7. 8. [๋ฐ๋ฐ๋ฅ๋ถํฐ ์์ํ๋ ๋ฅ๋ฌ๋ 1] chap7(ํฉ์ฑ๊ณฑ ์ ๊ฒฝ๋ง) CNN(ํฉ์ฑ๊ณฑ ์ ๊ฒฝ๋ง- convolutional neural network) ์ด๋ฏธ์ง ์ธ์ + ์์ฑ ์ธ์ ๋ฑ ๋ค์ํ ๊ณณ์์ ์ฌ์ฉ๋จ. 7-1) ์ ์ฒด ๊ตฌ์กฐ ๊ธฐ์กด : ์์ ์ฐ๊ฒฐ๊ณ์ธต(=Affine ๊ณ์ธต) CNN : Conv๊ณ์ธต, Pooling ๊ณ์ธต์ด ๋ํด์ ธ์ 'Afiine - Relu' -> 'Conv -> Relu -> (pooling)'์ผ๋ก ๋ฐ๋. 7-2) ํฉ์ฑ๊ณฑ ๊ณ์ธต ์ ์ฒด์ ์ธ ๋ฐ์ดํฐ๊ฐ ํ๋ฅธ๋ค๋ ์ฐจ์ด์ ์ด ์์ 7-2-1) ์์ ์ฐ๊ฒฐ ๊ณ์ธต์ ๋ฌธ์ ์ ๋ฐ์ดํฐ์ ํ์์ด ๋ฌด์๋จ ex) ๊ธฐ์กด: 3์ฐจ์ ๋ฐ์ดํฐ๋ฅผ 1์ฐจ์ ๋ฐ์ดํฐ๋ก ๋ฐ๊ฟ์ ๊ณ์ฐํ์์ ์ด๋ฏธ์ง์ ๊ฒฝ์ฐ, 3์ฐจ์์ด๊ธฐ์ 1์ฐจ์์ผ๋ก ๋ฐ๊ฟ๋ฒ๋ฆฌ๋ฉด ๊ทธ์ ๋ด๊ธด ์ ๋ณด๋ค์ด ์ฌ๋ผ์ ธ๋ฒ๋ฆผ CNN์ ์ ์ถ๋ ฅ ๋ฐ์ดํฐ: Feature Map(ํน์ง๋งต)์ด๋ผ๊ณ ํจ - ์ ๋ ฅ ํน์ง ๋งต/ ์ถ๋ ฅ ํน์ง ๋งต 7-.. 2023. 7. 8. [๋ฐ๋ฐ๋ฅ๋ถํฐ ์์ํ๋ ๋ฅ๋ฌ๋ 1] chap8 ๋ฅ๋ฌ๋ 1) ์๊ธ์จ ์ซ์ ์ธ์ ์ฌ์ธต CNN ํน์ง ์ธต์ด ๊น์ด์ง๋ฉด์ ์ฑ๋ ์๋ ๋ ๋์ด๋๋ ๊ฒ์ด ํน์ง์ ์ค๊ฐ์ ํ๋ง ๊ณ์ธต์ ์ถ๊ฐ→ ์ค๊ฐ ๋ฐ์ดํฐ์ ๊ณต๊ฐ ํฌ๊ธฐ๋ฅผ ์ ์ฐจ ์ค์ ๋ง์ง๋ง ์์ ์ฐ๊ฒฐ ๊ณ์ธต → ๋๋กญ์์ ์ฌ์ฉ Adam ํ์ฉํด ์ต์ ํ ๊ฐ์ค์น ์ด๊น๊ฐ: he ์ด๊น๊ฐ(relu์์๋ he ์ด๊น๊ฐ ์ฌ์ฉ) 3x3 ํํฐ ์ฌ์ฉํ ํฉ์ฑ๊ณฑ ๊ณ์ธต ํ์ฉ 2) ๋ฐ์ดํฐ ํ์ฅ ์ ๋ ฅ ์ด๋ฏธ์ง ์๊ณ ๋ฆฌ์ฆ์ ํตํด ์ธ์์ ์ผ๋ก ํ์ฅํจ ๋ฐ์ดํฐ๊ฐ ๋ง์ด ์์ ๋ ํจ๊ณผ์ ์ ํ์ ์ธ๋ก๋ก ์ด๋ crop(์ด๋ฏธ์ง ์ผ๋ถ ์๋ฅด๊ธฐ) flip (์ด๋ฏธ์ง ์ข์ฐ ๋ค์ง๊ธฐ) - ๋์นญ์ฑ ๊ณ ๋ ค x์ ํฌ๊ธฐ ์์ ๋ฐ๊ธฐ ๋ณํ 3) ์ธต ๊น๊ฒ ํ๋ ์ด์ ๋ ์ ์ ๋งค๊ฐ๋ณ์๋ก ํํ๋ ฅ ๋ฌ์ฑ์ด ๊ฐ๋ฅ ํ๋ผ๋ฏธํฐ๊ฐ ๋ง์ผ๋ฉด ์ค๋ฒํผํ ๋ฐ์ ๋์ 55์ ํฉ์ฑ๊ณฑ ์ฐ์ฐ 1ํ๋ 33์ ํฉ์ฑ๊ณฑ ์ฐ์ฐ์ 2ํ ์ํํ์ฌ ๋์ฒดํ .. 2023. 7. 8. [ํ์ด์ฌ ๋ฅ๋ฌ๋ ํ์ดํ ์น] Part3 ๊ธฐ์กด ์ ๊ฒฝ๋ง์ ๋จ์ : ๊ณผ์ ํฉ Gradient Vanishing ++ Internal Covariance Shift ํ์ ๋ฐ์ ( Input ๋ถํฌ๊ฐ ๋ฌ๋ผ์ง์ ๋ฐ๋ผ ํ์ต ์๋๊ฐ ๋๋ ค์ง๋ ํ์ ⇒ ์ด๋ฅผ ์ํ์ํค๊ณ ์ ๋ฅ๋ฌ๋์ด ๋์ค๊ฒ ๋จ ๊ณผ์ ํฉ๊ณผ ๊ธฐ์ธ๊ธฐ ๊ฐํด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ ๋ฅ๋ฌ๋ ๋ฐฉ๋ฒ drop - out ํ์ต ์์๋ dropout ์คํ ํ๊ฐ ์์๋ drop out ์ฌ์ฉx (๋ชจ๋ ๋ ธ๋๋ฅผ ํ์ฉํด output ๊ณ์ฐ) activation ํจ์ relu ํจ์ ์ ๋ ฅ ๊ฐ์ด 0 ์ด์ ๋ถ๋ถ์ด๋ฉด ๊ธฐ์ธ๊ธฐ 1, 0 ์ดํ ๋ถ๋ถ์ 0 ⇒ ๋ฐ๋ผ์ ์์ ์์ด์ง๊ฑฐ๋ ์์ ํ ์ด๋ฆฌ๋ ๊ฒ์ผ๋ก ํด์ ๊ฐ๋ฅ ⇒ ๋ ์ด์ด๊ฐ ๊น์ด์ ธ๋ Gradient Vanishing์ด ์ผ์ด๋๋ ๊ฒ์ ์ํ์ํด Batch Normalization Internal Covarian.. 2023. 7. 8. [ํ์ด์ฌ ๋ฅ๋ฌ๋ ํ์ดํ ์น] Part5 part5-1 Data & Task: ์ด๋ค ๋ฐ์ดํฐ๊ฐ ์์๊น ์์ฐ์ด ์ฒ๋ฆฌ(NLP) : text ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํ๊ณ ๋ชจ๋ธ๋ง ํ๋ ๋ถ์ผ (NLU+NLG) ์์ฐ์ด ์ดํด(NLU): ์์ฐ์ด ์ดํดํ๋ ์์ญ ์์ฐ์ด ์์ฑ(NLG): ์์ฐ์ด ์์ฑ ๊ฐ์ ๋ถ์ (sentiment analysis) ์์ฝ(summarization) ๊ธฐ๊ณ ๋ฒ์ญ(machine translation) ์ง๋ฌธ ์๋ต(question answering) +a (ํ์ฌ ์์ธก ๋ถ์ผ, ์ฑ๋ด ์ฐ๊ตฌ, ๋ฌธ์ฅ ๊ฐ์ ๋ ผ๋ฆฌ์ ๊ด๊ณ์ ๋ํ ๋ถ๋ฅ ๋ชจ๋ธ, ์ค์์ ํํ ๊ตฌ๋ณ, ์ด๋ฏธ์ง ์ ์ํฉ ์ค๋ช ๊ธ ๋ง๋ค๊ธฐ ๋ฑ๋ฑ part5-2 ๋ฌธ์๋ฅผ ์ซ์๋ก ํํํ๋ ๋ฐฉ๋ฒ Tokenization: ๋ฌธ์ฅ์ ์๋ฏธ ์๋ ๋ถ๋ถ์ผ๋ก ๋๋๋ ๊ณผ์ ์ฐ์๋ ๋ฌธ์์ ๋์ด(๋ฌธ์ฅ)์ ์ ์ ํ๊ฒ ์๋ฏธ๋ฅผ ์ง๋ ๋ถ๋ถ์ ๋์ด๋ก ๋ฐ.. 2023. 7. 8. [Standford_cs231n] Lecture 2 ) Image Classification 0. Image Classification Semantic gap: ์ด๋ฏธ์ง๊ฐ ๊ณ ์์ด๋ผ๋ ์ฌ์ค๊ณผ, ์ค์ ์ปดํจํฐ๊ฐ ๋ณด๋ ์ ์ซ์๊ฐ์๋ ํฐ ๊ฒฉ์ฐจ๊ฐ ์กด์ฌ ⇒ ์ด๋ฅผ ์๋ฉํฑ ๊ฐญ์ด๋ผ๊ณ ์นญํจ. ์ฐ๋ ๊ตฌ๋๋ ์กฐ๋ช , ์์ธ ๋ณํ, ์ฌ๋ฌผ์ ๊ฐ๋ ค์ง๋ ๋ฑ ์ด๋ฌํ ๋ณํ์ ๋ฐ๋ผ ํฝ์ ๊ฐ๋ค์ ๋ณํ๊ฒ ๋๋๋ฐ, ๊ทธ๋ผ์๋ ์ปดํจํฐ๋ ‘๊ณ ์์ด’๋ผ๊ณ ์ธ์ ํ ์ ์์ด์ผํจ. ๊ทธ๋์ ์ด๋ฏธ์ง์์ edges์ ์ถ์ถํ๊ณ , ๊ท๋ชจ์์ด๋ ์ฝ๋ชจ์ ๊ฐ์ ๊ณ ์์ด์๊ฒ ํ์ํ ์งํฉ๋ค์ ํ๋์ฉ ์ฐพ์์ ์ด๋ฌํ ์งํฉ๋ค์ด ๋ค ์์ผ๋ฉด ๊ณ ์์ด๋ค ๋ผ๊ณ ์ธ์ํ๊ฒ ํจ.⇒ ํ์ง๋ง ๋นํจ์จ์ , ์ ์๋ํ์ง ์์ ⇒ ๋ค๋ฅธ ๊ฐ์ฒด(๊ฐ์์ง๋ ์ง)๋ค์ ์ธ์ํ๊ธฐ ์ํด์๋ ๊ทธ ํด๋์ค์ ๋ง๋ ์งํฉ์ ๋ ํ๋์ฉ ๋ค ๋ง๋ค์ด์ค์ผ ํ๋ ๋ฌธ์ ๋ฐ์. ↔ ์ด๋์ ๋์จ ๋ฐฉ๋ฒ์ด ๋ฐ์ดํฐ ์ค์ฌ ์ ๊ทผ ๋ฐฉ๋ฒ(Data-Driv.. 2023. 7. 8. ์ด์ 1 ยทยทยท 5 6 7 8 9 10 11 ยทยทยท 13 ๋ค์ 728x90 ๋ฐ์ํ