๋ชฉ์ฐจ
SMPL(Skinned Multi-Person Linear) ์ด๋?
[์ฐธ๊ณ ] โก๏ธ SMPL์ ๋ํ ๊ฐ๋จํ ์ค๋ช
: skinned vertex ๊ธฐ๋ฐ์ ๋ชจ๋ธ๋ก์, ๋ค์ํ ์ธ๊ฐ์ ์ฒดํ์ ํ์ค์ ์ผ๋ก ๋ํ๋ด๊ณ ์์ฐ์ค๋ฌ์ด ์์ธ์ ๋ฐ๋ฅธ ๋ณํ์ ์ทจํ ์ ์์ผ๋ฉฐ ์ฐ์กฐ์ง ์์ง์์ ๋ํ๋ธ๋ค.
โป skinned vertex: ์คํจ(ํผ๋ถ)์ ์์์ง ๋ผ๊ตฌ์กฐ์ ์ํ ๋ฉ์์ ์ ์ (๋ผ์ ์์ง์์ ๋ฐ๋ผ ๋ณํ๋๋ ์ ์ )

SMPL ์ฐ๊ตฌ์ ๋ชฉ์
: ๋ค์ํ ์ฒดํ์ ๋ํํ ์ ์๋ ์ค์ ์ ์ธ ์ ๋๋ฉ์ด์ ์ธ๊ฐ ์ ์ฒด๋ฅผ ๋ง๋ค๊ณ , ์์ฐ์ค๋ฌ์ด ์์ธ์ ๋ฐ๋ผ ์์ฐ์ค๋ฝ๊ฒ ๋ณํ๋๋ฉฐ, ์ค์ ์ธ๊ฐ๊ณผ ๊ฐ์ ์ฐ์กฐ์ง ์์ง์์ ๋ํ๋ผ ์ ์๋ ๋ชจ๋ธ์ ๋ง๋ค๊ณ ์ ํ๋ค.
: ์ถ๊ฐ์ ์ผ๋ก, ๋ ๋๋ง์ด ๋นจ๋ผ์ผ ํ๋ฉฐ, ๋ฐฐํฌ๊ฐ ์ฉ์ดํ๊ณ , ๊ธฐ์กด์ ๋ ๋๋ง ์์ง๊ณผ ํธํ๋ ์ ์๋๋ก ํด์ผ ํ๋ค.
๊ธฐ์กด์ ๋ฐฉ๋ฒ ๋ฐ ํ๊ณ
[์ฐธ๊ณ ] โก๏ธ LBS์ ๋ํ ๊ฐ๋จํ ์ค๋ช
- LBS(Linear Blend Skinning) : 3์ฐจ์ ๋ฌผ์ฒด๋ฅผ ์ปดํจํฐ ๊ทธ๋ํฝ์ผ๋ก ํ์ํ์ํฌ ๋์ ์ฌ๋์ ๋ผ ๊ตฌ์กฐ(skeleton structure)๋ก๋ถํฐ Mesh๋ฅผ ๋ง๋๋ ๊ธฐ๋ณธ์ ์ด๊ณ ๋๋ฆฌ ์ฐ์ด๊ณ ์๋ ๋ฐฉ๋ฒ
- ๐ข collapsing elbow ์ candy-wrapper effect์ ๋ฌธ์
-
3์ฐจ์ ๋ฌผ์ฒด๋ฅผ LSB๋ก ํํํ ๊ฒฝ์ฐ. ๊ผฌ์ธ ๊ฒฝ์ฐ์๋ ๋ฌผ์ฒด์ ํ๋ฉด ๋ฉด์ ์์ฒด๊ฐ ์์์ง๋ฉด์ ๋ง์ Volume์ด ์ฌ๋ผ์ง๊ฒ ๋จ - collapsing elbow: ๊ด์ ๋ถ๋ถ์์ ๋นํ์ค์ ์ผ๋ก ๋ถ๋ฌ์ง๊ฑฐ๋ ๋ฌด๋์ง๋ ํ์
- Candy-wrapper effect: ์ข ์ด ํฌ์ฅ์ง๋ฅผ ํ์ด ํด๋ ๋ฏํ ๋นํ์ค์ ์ธ ๋ณํ
- taffy(์ฟ): ์ธ์ ํ ๋ผ๋ค์ ์ํฅ์ด ์ง๋์น๊ฒ ํด ๊ฒฝ์ฐ, ํด๋น ๊ด์ ์ด ๋์ด๋๊ฒ ๋๋ ํ์
- Bowtie(๋ฅํ์ด): ์ ์ ์ด ๋ ๊ฐ์ ๋ผ์ ๊ฒน์ณ์ ๋พฐ์กฑํ ํํ๋ก ๋ณํ๋์ด ‘๋ฅํ์ด’ ๋ชจ์์ด ๋๋ ํ์
- โป mesh: ๋ฌผ์ฒด์ Vertex(์ )๋ค์ ์ฐ๊ฒฐํด์ ์ฌ๋ฌ Polygon(๋ฉด)๋ค์ ๋ง๋ค๊ฒ ๋๋๋ฐ, ์ด๋ฐ Polygon๋ค์ด ํ๋๋ก ๋ชจ์ฌ์ ๋ง๋ค์ด์ง ๋ฌผ์ฒด๋ฅผ ์๋ฏธ
- Auto-rigging(์๋) (↔LBS(์๋)): ๋ฉ์์ ์ปฌ๋ ์ ์ ๊ฐ์ ธ์์ ๋ผ์ ๊ด์ ๋ฐ ๋ธ๋ ๋ ๊ฐ์ค์น๋ฅผ ์ถ๋ก ํ์ฌ ๋ฉ์๋ฅผ ์๋์ผ๋ก ๋ฆฌ๊น ํ๋ ๋ฐฉ๋ฒ์ด์ง๋ง, ์ผ๋ฐ์ ์ผ๋ก ๊ธฐ๋ณธ LBS ๋ชจ๋ธ์ ๋ฌธ์ ๋ฅผ ์์ ํ์ง๋ ์์.
- Blend Shapes: ๊ธฐ๋ณธ Blend skinning์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด, ๊ธฐ๋ณธ ๋ชจ์์ ์๋์ ์ธ ๋ณํ์ผ๋ก ์ ์๋ ๋ณํ์ ์ฌ์ฉํ์ฌ ์์ธ์ ๋ฐ๋ฅธ ๋ณด์ ๋ ๋ธ๋ ๋ ํ์์ ์ ์ํจ. ํฌ์ฆ์ ๋ํด ๋ณด์ ๋ ๋ชจ์์ ์ ์ํ์ฌ ๊ธฐ๋ณธ ๋ชจ์์ ์ถ๊ฐํ๊ณ ๋ธ๋ ๋ ์คํจ๋์ ์ํด ๋ณํ์ํด
- → ๋จ์ผ ์์ธ/๋จ์ผ ํ์ ๋ชจ๋ธ์๋ง ์ํ ๊ฐ๋ฅ
- Learning pose and shape models: ์ธ๊ฐ ์ฒดํ ๋ณํ ๊ณต๊ฐ์ ์ปค๋ฒํ๋ ์์ธ ๊ฐ๋ฅํ ๋ชจ๋ธ์ ๊ตฌ์ถํ๊ธฐ ์ํด ํต๊ณ์ ํ์ ๋ณํ ๋ชจ๋ธ์ ํ์ตํ๋ ๋ฐฉ๋ฒ๋ค๋ก SCAPE๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ๊ฑฐ๋, ์ผ๊ฐํ ๋ณํ์ ์ฌ์ฉํ์ฌ ๋ค์ํ ์ฒดํ๊ณผ ์์ธ๋ฅผ ํํ
SMPL ์ด์ ์ ๋ฌธ์ ๋ค:
⇒ mesh์ Blend ๊ฐ์ค์น๋ฅผ ํ์ต(๊ธฐ์กด์ ์ ์๋ ํ์๋ง์ ์ฌ์ฉํ๋ค๊ณ ์ดํดํจ) ํ์ง๋ง Blend Shape์ ํ์ตํ์ง ์์.
⇒ ๋ฐ๋ผ์ ๋ค์ํ ์์ธ์ ๋ํด ํ์ค์ ์ธ ๋ณํ์ ์ ๊ณตํ์ง ์์
SMPL์ ์๋ฆฌ์ ์๋

- Shape Blend shapes(์ฒดํ)
- Pose Blend shapes(์์ธ)
- Pn (n์ 1๋ถํฐ 9K๊น์ง์ ์ธ๋ฑ์ค)๋ ๋ค์ ์ ์ ๋ณ์์ ๋ฒกํฐ๋ฅผ ์๋ฏธ
- P = [P1,..., P9K]๋ ๋ชจ๋ 207๊ฐ์ ์์ธ ๋ธ๋ ๋ ์์ดํ๋ฅผ ํฌํจํ๋ ํ๋ ฌ

- Joint locations
- J: ๊ธฐ๋ณธ์ ์ผ๋ก ๊ด์ ์ ๊ธฐ๋ณธ ์์ธ์์์ ์์น๋ก ๋ณํํ๋ ํ๋ ฌ
- ๋ค์ํ ์ฌ๋๋ค์ ๋ค์ํ ์์ธ ์์ ๋ฅผ ํตํด ํ๊ท ํ๋ ฌ J๋ฅผ ํ์ตํจ
- ๋ค๋ฅธ ์ฒดํ์ ์๋ก ๋ค๋ฅธ ๊ด์ ์์น๋ฅผ ๊ฐ์ง๊ณ ์์
- ๊ฐ ๊ด์ ์ ๊ธฐ๋ณธ ์์ธ์์์ 3D ์์น๋ก ํํ๋จ


์ต์ข

- ๋งจ ์ฐ์ธก (์ฐํ ํ์) ๋ฉ์๋ 3D ์ค์บ ๋ฐ์ดํฐ
- (์งํ ํ์) ๋ ผ๋ฌธ์์์ ๋ชจ๋ธ (DMPL - Dynamic Blend Shapes)
- (์ฐํ ๋ น์) LBS
- (์งํ ๋
น์) DQBS
- LBS์ ๋จ์ ์ ๋ณด์(์์ง์๊ณผ ํ์ ์ ๋ ์ ์ ์ํ๋๋ก)
- (ํ๋) BlendSCAPE
- ์ผ๊ฐํ ๋ณํ ์ฌ์ฉ(์ฒดํ๋ณํ, ๊ฒฝ์ง๋ ๋ถ๋ถ ํ์ ๋ฐ ์์ธ ์์กด ๋ณํ๊ณผ ๊ฐ์ ๋ค์ํ ๋ณํ ๊ตฌ์ฑ)
- (๋นจ๊ฐ) SMPL-LBS
- (์ฃผํฉ) SMPL-DQBS
DMPL(Dynamic Blend Shapes)

- SMPL์ ๊ฒฝ์ฐ, : ํน์ ํ ์์ธ๋ฅผ ์ทจํ ์ํ์ ๋ณํ๋ง ํํํ ์ ์์์ (์์ง์ด๋ ๋์x) โก๏ธ ์ค์ ์์ง์์ ํํํ๊ธฐ์๋ ํ๊ณ๊ฐ ์กด์ฌ + ํ์ค์ฑ์ด ๋ถ์กฑ ์ฆ, ๋์ ์ธ ์์ง์์ด๋ ์ง๋ฉด๊ณผ์ ์ถฉ๋(๋ฐ๋ ๋์ or ๋ ์ ๋ฐ์ ๋ด๋๋ ์์ง์)์ด ๋ฐ์ํ ๊ฒฝ์ฐ, ์์ง์์ ๋ชจ๋ธ๋งํ์ง ๋ชปํจ
- DMPL์ ๊ฒฝ์ฐ, : SMPL์ ํ๊ณ๋ฅผ ๋ณด์ํ๊ธฐ ์ํด ๋์ ์ธ ์์ง์์ ๋ชจ๋ธ์ ํฌํจํจ โก๏ธ ๋ชธ๊ณผ ํ๋ค๋ฆฌ์ ์๋์ ๊ฐ์๋์ ๊ด๋ จํ์ฌ ํฌ์ฆ์ ์๊ด๊ด๊ณ๋ฅผ ๊ฐ์ง๋๋ก ์ค๊ณ โก๏ธ ๋ค์ํ ์ฒดํ์ ๋ํด ์ผ๋ฐํํ๋ ๋ฅ๋ ฅ์ด ๋ ์ฐ์ + ๋์ ์ธ ๋ณํ์ ํจ๊ณผ. Dynamic Blend shape์ ๋์ ํ๋ค ๋ผ๊ณ ํํ
'Deep Learning > [๋ ผ๋ฌธ] Paper Review' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
mixup: Beyond Emprical Risk Minimization (0) | 2023.08.03 |
---|---|
SMPLify(Keep it SMPL): Automatic Estimation of 3D Human Pose and Shape from a Single Image (0) | 2023.07.31 |
DETR: End-to-End Object Detection with Transformers (0) | 2023.07.23 |
SRNet: Editing Text in the Wild Review (0) | 2023.07.17 |
Taskonomy: Disentangling Task Transfer Learning (0) | 2023.07.16 |