๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ
728x90
๋ฐ˜์‘ํ˜•

Deep Learning78

[ํŒŒ์ด์ฌ ๋”ฅ๋Ÿฌ๋‹ ํŒŒ์ดํ† ์น˜] Part2 01 ์ธ๊ณต์ง€๋Šฅ(๋”ฅ๋Ÿฌ๋‹)์˜ ์ •์˜์™€ ์‚ฌ๋ก€ 1.1 ์ธ๊ณต์ง€๋Šฅ์ด๋ž€ 1.2 ์ธ๊ณต์ง€๋Šฅ์˜ ์‚ฌ๋ก€ ์ด๋ฏธ์ง€ ๋ถ„๋ฅ˜ ๊ฐ์ฒด ํƒ์ง€( ์ด๋ฏธ์ง€์— ํฌํ•จ๋˜์–ด ์žˆ๋Š” ๋ฌผ์ฒด๊ฐ€ ๋ญ”์ง€ ์•Œ์•„๋‚ด๋Š”๊ฑฐ ex) ์Ÿค๋Š” ์ž๋™์ฐจ์•ผ) ํ…์ŠคํŠธ ๊ธฐ๊ณ„ ๋ฒˆ์—ญ ๋ฌธ์žฅ ๋ถ„๋ฅ˜ ์งˆ์˜ ์‘๋‹ต ์‹œ์Šคํ…œ ๊ฐœ์ฒด๋ช… ์ธ์‹ ์•ŒํŒŒ๊ณ  GAN(Generative Adversarial Networks) ๊ณ ๋ฏผ์„ฑ์”จ ์ปจํผ ํ”„๋กœ์ ํŠธ ๊ฐ™์€ ์ง€๋“ค์ด output์„ ๋งŒ๋“ค์–ด๋‚ด๋Š” Style Transfer ์—ฌ๋ฆ„ ํ’๊ฒฝ์„ ๊ฒจ์šธ ํ’๊ฒฝ์œผ๋กœ ์ด๋ฏธ์ง€ ๋ณ€๊ฒฝ? deepfake 02 ํŒŒ์ดํ† ์น˜ 03 ๋จธ์‹ ๋Ÿฌ๋‹์˜ ์ •์˜์™€ ์ข…๋ฅ˜ 3.1 ๋จธ์‹ ๋Ÿฌ๋‹์ด๋ž€ 3.2 ๋จธ์‹ ๋Ÿฌ๋‹์˜ ์ข…๋ฅ˜ ๋ชจ๋ธ ํ•™์Šต ์†์‹คํ•จ์ˆ˜ 3.3 ๋จธ์‹ ๋Ÿฌ๋‹์˜ ๊ตฌ๋ถ„ ๋ฐ ์ง€๋„ํ•™์Šต ๋ชจ๋ธ์˜ ์ข…๋ฅ˜ ์ง€๋„ ํ•™์Šต VS ๋น„์ง€๋„ ํ•™์Šต VS ๊ฐ•ํ™”ํ•™์Šต 1. ์ง€๋„ํ•™์Šต ์„ ํ˜• ํšŒ๊ท€ ๋ชจ๋ธ ํšŒ๊ท€ ๊ณ„์ˆ˜ ์ถ•์†Œ ๋ชจ๋ธ (Lasso.. 2023. 7. 8.
[๋ฐ‘๋ฐ”๋‹ฅ๋ถ€ํ„ฐ ์‹œ์ž‘ํ•˜๋Š” ๋”ฅ๋Ÿฌ๋‹ 1] chap7(ํ•ฉ์„ฑ๊ณฑ ์‹ ๊ฒฝ๋ง) CNN(ํ•ฉ์„ฑ๊ณฑ ์‹ ๊ฒฝ๋ง- convolutional neural network) ์ด๋ฏธ์ง€ ์ธ์‹ + ์Œ์„ฑ ์ธ์‹ ๋“ฑ ๋‹ค์–‘ํ•œ ๊ณณ์—์„œ ์‚ฌ์šฉ๋จ. 7-1) ์ „์ฒด ๊ตฌ์กฐ ๊ธฐ์กด : ์™„์ „์—ฐ๊ฒฐ๊ณ„์ธต(=Affine ๊ณ„์ธต) CNN : Conv๊ณ„์ธต, Pooling ๊ณ„์ธต์ด ๋”ํ•ด์ ธ์„œ 'Afiine - Relu' -> 'Conv -> Relu -> (pooling)'์œผ๋กœ ๋ฐ”๋€œ. 7-2) ํ•ฉ์„ฑ๊ณฑ ๊ณ„์ธต ์ž…์ฒด์ ์ธ ๋ฐ์ดํ„ฐ๊ฐ€ ํ๋ฅธ๋‹ค๋Š” ์ฐจ์ด์ ์ด ์žˆ์Œ 7-2-1) ์™„์ „์—ฐ๊ฒฐ ๊ณ„์ธต์˜ ๋ฌธ์ œ์  ๋ฐ์ดํ„ฐ์˜ ํ˜•์ƒ์ด ๋ฌด์‹œ๋จ ex) ๊ธฐ์กด: 3์ฐจ์› ๋ฐ์ดํ„ฐ๋ฅผ 1์ฐจ์› ๋ฐ์ดํ„ฐ๋กœ ๋ฐ”๊ฟ”์„œ ๊ณ„์‚ฐํ–‡์—ˆ์Œ ์ด๋ฏธ์ง€์˜ ๊ฒฝ์šฐ, 3์ฐจ์›์ด๊ธฐ์— 1์ฐจ์›์œผ๋กœ ๋ฐ”๊ฟ”๋ฒ„๋ฆฌ๋ฉด ๊ทธ์— ๋‹ด๊ธด ์ •๋ณด๋“ค์ด ์‚ฌ๋ผ์ ธ๋ฒ„๋ฆผ CNN์˜ ์ž…์ถœ๋ ฅ ๋ฐ์ดํ„ฐ: Feature Map(ํŠน์ง•๋งต)์ด๋ผ๊ณ  ํ•จ - ์ž…๋ ฅ ํŠน์ง• ๋งต/ ์ถœ๋ ฅ ํŠน์ง• ๋งต 7-.. 2023. 7. 8.
[๋ฐ‘๋ฐ”๋‹ฅ๋ถ€ํ„ฐ ์‹œ์ž‘ํ•˜๋Š” ๋”ฅ๋Ÿฌ๋‹ 1] chap8 ๋”ฅ๋Ÿฌ๋‹ 1) ์†๊ธ€์”จ ์ˆซ์ž ์ธ์‹ ์‹ฌ์ธต CNN ํŠน์ง• ์ธต์ด ๊นŠ์–ด์ง€๋ฉด์„œ ์ฑ„๋„ ์ˆ˜๋Š” ๋” ๋Š˜์–ด๋‚˜๋Š” ๊ฒƒ์ด ํŠน์ง•์ž„ ์ค‘๊ฐ„์— ํ’€๋ง ๊ณ„์ธต์„ ์ถ”๊ฐ€→ ์ค‘๊ฐ„ ๋ฐ์ดํ„ฐ์˜ ๊ณต๊ฐ„ ํฌ๊ธฐ๋ฅผ ์ ์ฐจ ์ค„์ž„ ๋งˆ์ง€๋ง‰ ์™„์ „์—ฐ๊ฒฐ ๊ณ„์ธต → ๋“œ๋กญ์•„์›ƒ ์‚ฌ์šฉ Adam ํ™œ์šฉํ•ด ์ตœ์ ํ™” ๊ฐ€์ค‘์น˜ ์ดˆ๊นƒ๊ฐ’: he ์ดˆ๊นƒ๊ฐ’(relu์—์„œ๋Š” he ์ดˆ๊นƒ๊ฐ’ ์‚ฌ์šฉ) 3x3 ํ•„ํ„ฐ ์‚ฌ์šฉํ•œ ํ•ฉ์„ฑ๊ณฑ ๊ณ„์ธต ํ™œ์šฉ 2) ๋ฐ์ดํ„ฐ ํ™•์žฅ ์ž…๋ ฅ ์ด๋ฏธ์ง€ ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ํ†ตํ•ด ์ธ์œ„์ ์œผ๋กœ ํ™•์žฅํ•จ ๋ฐ์ดํ„ฐ๊ฐ€ ๋งŽ์ด ์—†์„ ๋•Œ ํšจ๊ณผ์ ์ž„ ํšŒ์ „ ์„ธ๋กœ๋กœ ์ด๋™ crop(์ด๋ฏธ์ง€ ์ผ๋ถ€ ์ž๋ฅด๊ธฐ) flip (์ด๋ฏธ์ง€ ์ขŒ์šฐ ๋’ค์ง‘๊ธฐ) - ๋Œ€์นญ์„ฑ ๊ณ ๋ ค x์‹œ ํฌ๊ธฐ ์ˆ˜์ • ๋ฐ๊ธฐ ๋ณ€ํ™” 3) ์ธต ๊นŠ๊ฒŒ ํ•˜๋Š” ์ด์œ  ๋” ์ ์€ ๋งค๊ฐœ๋ณ€์ˆ˜๋กœ ํ‘œํ˜„๋ ฅ ๋‹ฌ์„ฑ์ด ๊ฐ€๋Šฅ ํŒŒ๋ผ๋ฏธํ„ฐ๊ฐ€ ๋งŽ์œผ๋ฉด ์˜ค๋ฒ„ํ”ผํŒ… ๋ฐœ์ƒ ๋†’์•„ 55์˜ ํ•ฉ์„ฑ๊ณฑ ์—ฐ์‚ฐ 1ํšŒ๋Š” 33์˜ ํ•ฉ์„ฑ๊ณฑ ์—ฐ์‚ฐ์„ 2ํšŒ ์ˆ˜ํ–‰ํ•˜์—ฌ ๋Œ€์ฒดํ•  .. 2023. 7. 8.
[ํŒŒ์ด์ฌ ๋”ฅ๋Ÿฌ๋‹ ํŒŒ์ดํ† ์น˜] Part3 ๊ธฐ์กด ์‹ ๊ฒฝ๋ง์˜ ๋‹จ์ : ๊ณผ์ ํ•ฉ Gradient Vanishing ++ Internal Covariance Shift ํ˜„์ƒ ๋ฐœ์ƒ ( Input ๋ถ„ํฌ๊ฐ€ ๋‹ฌ๋ผ์ง์— ๋”ฐ๋ผ ํ•™์Šต ์†๋„๊ฐ€ ๋Š๋ ค์ง€๋Š” ํ˜„์ƒ ⇒ ์ด๋ฅผ ์™„ํ™”์‹œํ‚ค๊ณ ์ž ๋”ฅ๋Ÿฌ๋‹์ด ๋‚˜์˜ค๊ฒŒ ๋จ ๊ณผ์ ํ•ฉ๊ณผ ๊ธฐ์šธ๊ธฐ ๊ฐํ‡ด ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•œ ๋”ฅ๋Ÿฌ๋‹ ๋ฐฉ๋ฒ• drop - out ํ•™์Šต ์‹œ์—๋Š” dropout ์‹คํ–‰ ํ‰๊ฐ€ ์‹œ์—๋Š” drop out ์‚ฌ์šฉx (๋ชจ๋“  ๋…ธ๋“œ๋ฅผ ํ™œ์šฉํ•ด output ๊ณ„์‚ฐ) activation ํ•จ์ˆ˜ relu ํ•จ์ˆ˜ ์ž…๋ ฅ ๊ฐ’์ด 0 ์ด์ƒ ๋ถ€๋ถ„์ด๋ฉด ๊ธฐ์šธ๊ธฐ 1, 0 ์ดํ•˜ ๋ถ€๋ถ„์€ 0 ⇒ ๋”ฐ๋ผ์„œ ์•„์˜ˆ ์—†์–ด์ง€๊ฑฐ๋‚˜ ์™„์ „ํžˆ ์‚ด๋ฆฌ๋Š” ๊ฒƒ์œผ๋กœ ํ•ด์„ ๊ฐ€๋Šฅ ⇒ ๋ ˆ์ด์–ด๊ฐ€ ๊นŠ์–ด์ ธ๋„ Gradient Vanishing์ด ์ผ์–ด๋‚˜๋Š” ๊ฒƒ์„ ์™„ํ™”์‹œํ‚ด Batch Normalization Internal Covarian.. 2023. 7. 8.
[ํŒŒ์ด์ฌ ๋”ฅ๋Ÿฌ๋‹ ํŒŒ์ดํ† ์น˜] Part5 part5-1 Data & Task: ์–ด๋–ค ๋ฐ์ดํ„ฐ๊ฐ€ ์žˆ์„๊นŒ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ(NLP) : text ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•˜๊ณ  ๋ชจ๋ธ๋ง ํ•˜๋Š” ๋ถ„์•ผ (NLU+NLG) ์ž์—ฐ์–ด ์ดํ•ด(NLU): ์ž์—ฐ์–ด ์ดํ•ดํ•˜๋Š” ์˜์—ญ ์ž์—ฐ์–ด ์ƒ์„ฑ(NLG): ์ž์—ฐ์–ด ์ƒ์„ฑ ๊ฐ์ •๋ถ„์„ (sentiment analysis) ์š”์•ฝ(summarization) ๊ธฐ๊ณ„ ๋ฒˆ์—ญ(machine translation) ์งˆ๋ฌธ ์‘๋‹ต(question answering) +a (ํ’ˆ์‚ฌ ์˜ˆ์ธก ๋ถ„์•ผ, ์ฑ—๋ด‡ ์—ฐ๊ตฌ, ๋ฌธ์žฅ ๊ฐ„์˜ ๋…ผ๋ฆฌ์  ๊ด€๊ณ„์— ๋Œ€ํ•œ ๋ถ„๋ฅ˜ ๋ชจ๋ธ, ์ค‘์˜์  ํ‘œํ˜„ ๊ตฌ๋ณ„, ์ด๋ฏธ์ง€ ์† ์ƒํ™ฉ ์„ค๋ช… ๊ธ€ ๋งŒ๋“ค๊ธฐ ๋“ฑ๋“ฑ part5-2 ๋ฌธ์ž๋ฅผ ์ˆซ์ž๋กœ ํ‘œํ˜„ํ•˜๋Š” ๋ฐฉ๋ฒ• Tokenization: ๋ฌธ์žฅ์„ ์˜๋ฏธ ์žˆ๋Š” ๋ถ€๋ถ„์œผ๋กœ ๋‚˜๋ˆ„๋Š” ๊ณผ์ • ์—ฐ์†๋œ ๋ฌธ์ž์˜ ๋‚˜์—ด(๋ฌธ์žฅ)์„ ์ ์ ˆํ•˜๊ฒŒ ์˜๋ฏธ๋ฅผ ์ง€๋‹Œ ๋ถ€๋ถ„์˜ ๋‚˜์—ด๋กœ ๋ฐ”.. 2023. 7. 8.
[Standford_cs231n] Lecture 2 ) Image Classification 0. Image Classification Semantic gap: ์ด๋ฏธ์ง€๊ฐ€ ๊ณ ์–‘์ด๋ผ๋Š” ์‚ฌ์‹ค๊ณผ, ์‹ค์ œ ์ปดํ“จํ„ฐ๊ฐ€ ๋ณด๋Š” ์ € ์ˆซ์ž๊ฐ’์—๋Š” ํฐ ๊ฒฉ์ฐจ๊ฐ€ ์กด์žฌ ⇒ ์ด๋ฅผ ์‹œ๋ฉ˜ํ‹ฑ ๊ฐญ์ด๋ผ๊ณ  ์นญํ•จ. ์ฐ๋Š” ๊ตฌ๋„๋‚˜ ์กฐ๋ช…, ์ž์„ธ ๋ณ€ํ™”, ์‚ฌ๋ฌผ์— ๊ฐ€๋ ค์ง€๋Š” ๋“ฑ ์ด๋Ÿฌํ•œ ๋ณ€ํ™”์— ๋”ฐ๋ผ ํ”ฝ์…€๊ฐ’๋“ค์€ ๋ณ€ํ•˜๊ฒŒ ๋˜๋Š”๋ฐ, ๊ทธ๋Ÿผ์—๋„ ์ปดํ“จํ„ฐ๋Š” ‘๊ณ ์–‘์ด’๋ผ๊ณ  ์ธ์‹ ํ•  ์ˆ˜ ์žˆ์–ด์•ผํ•จ. ๊ทธ๋ž˜์„œ ์ด๋ฏธ์ง€์—์„œ edges์„ ์ถ”์ถœํ•˜๊ณ , ๊ท€๋ชจ์–‘์ด๋‚˜ ์ฝ”๋ชจ์–‘ ๊ฐ™์€ ๊ณ ์–‘์ด์—๊ฒŒ ํ•„์š”ํ•œ ์ง‘ํ•ฉ๋“ค์„ ํ•˜๋‚˜์”ฉ ์ฐพ์•„์„œ ์ด๋Ÿฌํ•œ ์ง‘ํ•ฉ๋“ค์ด ๋‹ค ์žˆ์œผ๋ฉด ๊ณ ์–‘์ด๋‹ค ๋ผ๊ณ  ์ธ์‹ํ•˜๊ฒŒ ํ•จ.⇒ ํ•˜์ง€๋งŒ ๋น„ํšจ์œจ์ , ์ž˜ ์ž‘๋™ํ•˜์ง€ ์•Š์Œ ⇒ ๋‹ค๋ฅธ ๊ฐ์ฒด(๊ฐ•์•„์ง€๋‚˜ ์ง‘)๋“ค์„ ์ธ์‹ํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” ๊ทธ ํด๋ž˜์Šค์— ๋งž๋Š” ์ง‘ํ•ฉ์„ ๋˜ ํ•˜๋‚˜์”ฉ ๋‹ค ๋งŒ๋“ค์–ด์ค˜์•ผ ํ•˜๋Š” ๋ฌธ์ œ ๋ฐœ์ƒ. ↔ ์ด๋ž˜์„œ ๋‚˜์˜จ ๋ฐฉ๋ฒ•์ด ๋ฐ์ดํ„ฐ ์ค‘์‹ฌ ์ ‘๊ทผ ๋ฐฉ๋ฒ•(Data-Driv.. 2023. 7. 8.
728x90
๋ฐ˜์‘ํ˜•