SMPLify(Keep it SMPL): Automatic Estimation of 3D Human Pose and Shape from a Single Image

 

SMPLify[Keep it SMPL] 이란?

: 2D CNN(Deepcut)을 활용해 관절 위치를 뽑은 후, 3D SMPL에 적용해 3D Mesh를 구성하는 방식

 

요약(Abstract)

: 이미지에서 인간의 3D 포즈와 형태를 자동으로 추정하고자 함

: CNN 기법 Deepcut을 활용, 3D SMPL의 결합

: Datasets의 경우, Leeds Spors, HumanEva, Human3.6M 사용

 

이점 및 특징(Introduction)

: 이전 방식의 경우, 포즈 초점에만 맞췄고, 3D 형태를 무시했음

➡️ 2D 이미지로부터 포즈와 형태를 모두 포함하는 3D 메쉬를 자동으로 추정하는 해결책을 제시함

1. Deepcut 활용해 2D 관절 추정
   • ※ DeepCut이란

     📚 [참고] https://arxiv.org/pdf/1511.06645v2.pdf

     

     : detection과 pose estimation 작업을 동시에 수행하는 방식 제안

     : 이미지 내 사람 수를 추정하고, 가려진 신체 부위 식별, 서로 밀접하게 위치한 사람들 사이에서 신체 부위를 구별함

2. 2D 관절로부터 3D 포즈/형태 추정하기 위해 3D 생성 모델 SMPL 사용

⇒ SMPLify라는 이름으로 정의함

: 하향식 추정이라고 말함 (하향식 CNN 거친 후, 상향식 생성 모델을 사용한다)

---

1. 3D SMPL을 활용함으로써 인구 전체의 형태 변동 통계와 포즈에 따른 인간 몸체의 변형을 포착할 수 있음
   • 목적함수를 정의, 포즈와 형태를 직접 최적화 ⇒ 3D 모델의 투사된 관절이 CNN으로 추정된 2D 관절과 가까워지도록 함

2. interpenetration(상호침투) 를 이해할 수 있음※ interpenetration: 객체가 서로 통과하거나 겹치는 현상을 의미
   • 이전 연구의 경우, 2D 관절로부터 3D 스틱 인체모델을 추정했었음.
   • 비선형적인 관절 구조
   • 3D 스틱 인체모델의 경우, 선분으로 나타낸 간단한 3D 모델이기에 표현하는데 불가능한 자세가 많았음. (너무 단순해서)

   

   3D stick figures의 예

   • 그렇기에 2D 이미지로부터 3D 정보를 추론할 때, 깊이 정보의 손실로 인해 모호해진다는 문제가 존재했음 (자세 예측과 같은)
   • 비용도 많이 듬
   ➡️ 이 논문에서는 3D stick이 아니라, ‘캡슐’을 정의해서 복잡한 몸 형태를 비교적 간단하고 빠르게 나타낼 수 있도록 함➡️ 이렇게 되면, 모델 파라미터들로부터 캡슐의 크기를 효율적으로 추정

   

   캡슐화

3. ➡️ 잘못된 포즈를 방지하는데 더 도움이 되도록 함
4. ➡️ ‘캡슐’의 크기가 모델 파라미터들로 선형 회귀되었다고 함 (비선형을 선형으로)

---

<기여>

1) 2D 관절로부터 3D 몸체 형태와 포즈를 자동으로 추정하는 최초의 완전 자동 방법

2) 형태와 포즈에 대해 미분 가능한 상호침투 항

3) 3D 몸체 모델을 2D 관절에 맞추기 위한 새로운 목적 함수

 

 

DATA/Model

<data>

: 여성 및 남성의 형태 공간을 구별

: 성별 중립적인 모델도 도입(성별을 모르는 경우)

: 정적 이미지 방법에 초점을 둠

: 배경 이미지 요구하지 않고, 2D 관절로부터 3D 자세 추론하는 방법에 초점을 둠

<model>

: 세 가지 형태의 모델 사용

: 남성/여성/성별 중립 모델

: 성별화된 SMPL 모델들을 학습한 남성, 여성으로부터 새로운 성별 중립 모델을 훈련

 

: 남성 및 여성은 핑크, 성별 중립은 연한 파랑

 

SMPLify 방법

: 피부 베이스 모델인 SMPL [30]을 사용하며, 이를 통해 2D 이미지를 입력받아 3D 메쉬를 생성하고자 함

: 23개의 관절로 구성

: SMPL 모델과 DeepCut 스켈레톤은 약간 다른 관절을 가지고 있다고 함(그래서 Deepcut 관절을 가장 유사한 SMPL 관절과 연결했다고)

: SMPL 관절을 이미지로 투영시키기 위해 원근 카메라 모델 사용

 

 

Approximating Bodies with Capsules

• interpenetration 으로 인해 불가능한 3D 자세들을 생성했다는 문제점이 존재했음(3D화 하는 과정에서 객체가 서로 통과하거나 부딪히는 표현이 생긴다는..)

• 따라서 ‘캡슐’의 집합으로 인체 표면을 근사화 함 (각 캡슐은 반지름과 축 길이를 가짐)

• 이 때 손가락 및 발가락은 제외

• 20개의 캡슐을 인체 형상 표면에 맞춤

• 수동으로 부착한 캡슐들을 시작으로, 캡슐과 인체 표면 사이 양방향 거리를 최소화하기 위해 반지름과 축 길이를 경사 기반 최적화를 한다고. (캡슐 간에 거리 조정하는 느낌?)

• 이후, 릿지 회귀를 사용해서 선형 회귀기를 학습

 

 

Objective Function

: 목적함수 정의

: 5가지 오차항을 합하는 목적함수를 최소

: 관절이 가려진 경우, 기존 자세 사전에 의해 결정하거나, 패널티를 적용함

: 척추와 무릎이 자연스럽게 굽혀지지 않은 경우, 패널티 적용

➡️ 자세가 부자연스러울수록 패널티를 부과해서 조정하겠다!

: 그래서 대부분의 3D의 경우, 가능성이 낮은 자세보다 가능성이 높은 자세를 선호하는 데이터를 사용한다고.

 

 

Optimization

: 카메라의 위치, 즉 몸체의 방향이 알려지지 않았다고 가정

: 카메라 초점거리 or 대략적인 추정치는 알려져 있다고 가정함

: 사람이 이미지 평면과 평행하게 서있는 것으로 추정함

※ (MPL 평균 형태의 상체 길이와 예측된 2D 관절들에 의해 정의된 유사한 삼각형의 비율을 통해 깊이를 추정)

: 가정이 항상 참이라고 할 수는 없기에 상체 관절들에 대해서만 최소화하여 추정치를 개선시킴

: 대상이 측면에서 촬영된 경우, 몸체가 어느 방향을 향하고 있는지 판단하는 것이 모호할 수 있음

ex) CNN이 추정한 2D 어깨 관절 간의 2D 거리가 임계값 아래(진짜 비정상 개어좁인 경우)인 경우 ⇒ 초기화를 두 가지 방법으로 시도한다고 함

1. 몸체 방향을 위의 방법과 같이 추정하고, 그 다음으로 그 방향을 180도로 회전시켜 추정

2. EJ(목적함수)가 가장 낮은 피팅을 사용

 

 

<참고>

[Deepcut] https://arxiv.org/pdf/1511.06645v2.pdf

[SMPLify 요약] https://donologue.tistory.com/393

[MoSh] https://files.is.tue.mpg.de/black/papers/MoSh.pdf