728x90 ๋ฐ์ํ All Post105 BodyNet: Volumetric Inference of 3D Human Body Shapes BodyNet์ด๋? : ๋จ์ผ ์ด๋ฏธ์ง๋ก๋ถํฐ 2D pose, segmentation ์ถ์ถ, ๋ ๊ฐ์ ์ ๋ณด๋ฅผ ํ์ฉํด 3D pose๋ฅผ ํ์ต, ์ดํ, 3๊ฐ์ง ์ ๋ณด์ RGB ์ ๋ณด๊น์ง ํ์ฉํด 3D์ ๋ถํผ ๊ธฐ๋ฐ ์ฒดํ์ ๊ตฌ์ฑํ๋ Network๋ฅผ ๋งํจ : end to end ํ์ 1. ์ ๋ ฅ RGB ์ด๋ฏธ์ง๋ ๋จผ์ 2D ํฌ์ฆ ์ถ์ ๊ณผ 2D ์ ์ฒด ๋ถ์ ์ธ๊ทธ๋ฉํ ์ด์ ์ ์ํ ํ์ ๋คํธ์ํฌ๋ฅผ ํต๊ณผ 2. 2D pose์ segmentation์ ํ๋ จ 3. ํ์ต๋ 2D pose์ Segmentation ๊ฐ์ค์น๋ฅผ ๊ณ ์ ํด์ 3D pose๋ฅผ ํ๋ จ์ํด 4. ์ดํ, ์ด์ ์ ๋ชจ๋ ๋คํธ์ํฌ ๊ฐ์ค์น๋ฅผ ๊ณ ์ ํ๊ณ 3D ํํ network๋ฅผ ํ๋ จ 5. ์ถ๊ฐ ์ฌํ๋ก์ ์ ์์ค๋ก ํํ ๋คํธ์ํฌ ํ๋ จํด์ ๋ถํผ ๊ธฐ๋ฐ ํํ ์ถ์ ์์ ์ ๋ํด ์ธ๋ฐ ์กฐ์ 6. ๊ฒฐํฉ๋ ์.. 2023. 8. 3. mixup: Beyond Emprical Risk Minimization Mixup์ด ๋ญ์ผ? : Beyond Emprical Risk Minimization - ๊ฒฝํ์ ์ํ ์ต์ํ๋ฅผ ๋์ด? ์ด๊ฒ ๋๋์ฒด ๋ญ๋ง์ธ๊ฐ : mixup ⇒ data augmentaion ๊ธฐ๋ฒ :๋ ๋ฐ์ดํฐ๋ฅผ ์ ํ์ ์ผ๋ก ๊ฒฐํฉํด์ ์๋ก์ด ์ํ์ ์์ฑ : ์ ๋ง ์ฝ๊ฒ ๋งํ์๋ฉด, ์ฐ๋ฆฌ๊ฐ ์ผ๋ฐ์ ์ผ๋ก ํ๋ จ, ์์ธก๊ณผ ๊ฐ์ ๋ฐฉ๋ฒ์ ์ฐ๋ฉด ๊ณผ์ ํฉ์ด ๋ฐ์ํ๊ธฐ ๋ง๋ จ์. : ์๋? ํ๋ จ๋ฐ์ดํฐ๋ง ๋ณด๊ณ ํ์ต์ ์ํค๊ธฐ ๋๋ฌธ์, ๋น์ฐํ ํ์ตํ ๋ชจ๋ธ์ ํ์ต ๋ฐ์ดํฐ์ ์ ํธํฅ๋จ. : ์ฆ, ๊ณผ์ ํฉ์ด ๋๋ค๋ ๋ง. ๊ฒฐ๊ตญ, ๋ค๋ฅธ ์กฐ๊ธ๋ง ๋ค๋ฅธ ๋ถํฌ๋ฅผ ๊ฐ์ง๋ ๋ฐ์ดํฐ์ ์ ์ ์ฉ๋ง ํด(Out of Distribution) ๋ชจ๋ธ์ด ์ทจ์ฝํ ์ ๋ฐ์ ์์ : ๋ฐ๋ผ์, ํ๋ จ ๋ฐ์ดํฐ์ ๋ง ํ์ต ์ํค๋๊ฒ ์๋๋ผ, ํ๋ จ ๋ฐ์ดํฐ์ ์ ๊ทผ๋ฐฉ ๋ถํฌ๋ ํจ๊ป ํ์ต์ ์์ผ์ ๋ณด๋ค ๋ .. 2023. 8. 3. SMPLify(Keep it SMPL): Automatic Estimation of 3D Human Pose and Shape from a Single Image SMPLify[Keep it SMPL] ์ด๋? : 2D CNN(Deepcut)์ ํ์ฉํด ๊ด์ ์์น๋ฅผ ๋ฝ์ ํ, 3D SMPL์ ์ ์ฉํด 3D Mesh๋ฅผ ๊ตฌ์ฑํ๋ ๋ฐฉ์ ์์ฝ(Abstract) : ์ด๋ฏธ์ง์์ ์ธ๊ฐ์ 3D ํฌ์ฆ์ ํํ๋ฅผ ์๋์ผ๋ก ์ถ์ ํ๊ณ ์ ํจ : CNN ๊ธฐ๋ฒ Deepcut์ ํ์ฉ, 3D SMPL์ ๊ฒฐํฉ : Datasets์ ๊ฒฝ์ฐ, Leeds Spors, HumanEva, Human3.6M ์ฌ์ฉ ์ด์ ๋ฐ ํน์ง(Introduction) : ์ด์ ๋ฐฉ์์ ๊ฒฝ์ฐ, ํฌ์ฆ ์ด์ ์๋ง ๋ง์ท๊ณ , 3D ํํ๋ฅผ ๋ฌด์ํ์ โก๏ธ 2D ์ด๋ฏธ์ง๋ก๋ถํฐ ํฌ์ฆ์ ํํ๋ฅผ ๋ชจ๋ ํฌํจํ๋ 3D ๋ฉ์ฌ๋ฅผ ์๋์ผ๋ก ์ถ์ ํ๋ ํด๊ฒฐ์ฑ ์ ์ ์ํจ Deepcut ํ์ฉํด 2D ๊ด์ ์ถ์ โป DeepCut์ด๋ ๐ [์ฐธ๊ณ ] https://arxiv.or.. 2023. 7. 31. SMPL: A Skinned Multi-Person Linear Model ๐ก SMPL: A Skinned Multi-Person Linear Model ๋ชฉ์ฐจ SMPL์ ์ ์ SMPL ์ฐ๊ตฌ ๋ชฉ์ ๊ธฐ์กด์ ๋ฐฉ๋ฒ ๋ฐ ํ๊ณ SMPL์ ์๋ฆฌ์ ์๋ ์ต์ข DMPL SMPL(Skinned Multi-Person Linear) ์ด๋? [์ฐธ๊ณ ] โก๏ธ SMPL์ ๋ํ ๊ฐ๋จํ ์ค๋ช : skinned vertex ๊ธฐ๋ฐ์ ๋ชจ๋ธ๋ก์, ๋ค์ํ ์ธ๊ฐ์ ์ฒดํ์ ํ์ค์ ์ผ๋ก ๋ํ๋ด๊ณ ์์ฐ์ค๋ฌ์ด ์์ธ์ ๋ฐ๋ฅธ ๋ณํ์ ์ทจํ ์ ์์ผ๋ฉฐ ์ฐ์กฐ์ง ์์ง์์ ๋ํ๋ธ๋ค. โป skinned vertex: ์คํจ(ํผ๋ถ)์ ์์์ง ๋ผ๊ตฌ์กฐ์ ์ํ ๋ฉ์์ ์ ์ (๋ผ์ ์์ง์์ ๋ฐ๋ผ ๋ณํ๋๋ ์ ์ ) SMPL ์ฐ๊ตฌ์ ๋ชฉ์ : ๋ค์ํ ์ฒดํ์ ๋ํํ ์ ์๋ ์ค์ ์ ์ธ ์ ๋๋ฉ์ด์ ์ธ๊ฐ ์ ์ฒด๋ฅผ ๋ง๋ค๊ณ , ์์ฐ์ค๋ฌ์ด ์์ธ์ ๋ฐ๋ผ ์์ฐ์ค๋ฝ๊ฒ ๋ณํ๋๋ฉฐ, .. 2023. 7. 28. [3์ฃผ์ฐจ] ๊ฑด๋ฌผ 3Dํ ๋ชจ๋ธ ์ฐพ๊ธฐ GitHub - chrise96/3D_building_reconstruction: MSc Computer Science project. Automatically enhance CityGML LOD2 buildings with facade details, by using a panoramic image sequence and building footprint data. NOTE: Amsterdam Panorama API is currently offline. MSc Computer Science project. Automatically enhance CityGML LOD2 buildings with facade details, by using a panoramic image sequence and buil.. 2023. 7. 28. DETR: End-to-End Object Detection with Transformers ๐ ๋ณธ ๋ ผ๋ฌธ์์๋ object detection์ direct set prediction(์ผ๋์ผ๋์)์ผ๋ก ์ ์, transformer์ bipartite matching loss๋ฅผ ์ฌ์ฉํ DETR(DEtection TRansformer)์ ์ ์ํจ. DETR์ COCO dataset์ ๋ํ์ฌ Faster R-CNN๊ณผ ๋น์ทํ ์์ค์ ์ฑ๋ฅ์ ๋ณด์ ์ถ๊ฐ์ ์ผ๋ก, self-attention์ ํตํ global information(์ ์ญ ์ ๋ณด)๋ฅผ ํ์ฉํจ์ผ๋ก์จ ํฌ๊ธฐ๊ฐ ํฐ ๊ฐ์ฒด๋ฅผ Faster R-CNN๋ณด๋ค ํจ์ฌ ์ ํฌ์ฐฉ. ๐ 1. Backbone(ResNet)์ ์ ๋ ฅํด์ ํผ์ฒ๋งต์ ์ถ์ถ 2. ํผ์ฒ๋งต์ 1x1 conv์ ์ ๋ ฅํด์ flattenํ ํผ์ฒ๋งต์ ๋ํด positional encoding ๊ตฌํด์ ๋ํจ โป spatial.. 2023. 7. 23. ์ด์ 1 2 3 4 5 6 7 ยทยทยท 18 ๋ค์ 728x90 ๋ฐ์ํ