Expressive Body Capture: 3D Hands, Face, and Body from a Single Image

 

 

SMPL-X란?

: 단일 이미지로부터, 신체뿐만 아니라, 손과 얼굴을 통합적으로 3D 형태의 신체로 표현하는 모델

좌: SMPL, 중간: SMPL+H, 우: SMPL-X

 

 

0. ABSTRACT

: 3D 스캔을 사용하여 인간의 몸체에 대한 새로운 통합된 3D 모델인 SMPL-X를 훈련

: SMPL을 확장해서 손과 표정까지 구현하고자 함

: SMPL-X는 얼굴, 손, 목, 신체 등 다양한 인체 형태와 자세를 포함하는 많은 매개변수를 가지고 있는데, 이를 정확하게 추정하기 위해서는 각 매개변수에 대한 이미지 정보와 관절 정보를 결합해서 최적화를 수행해야 한다는 문제점 존재

: 따라서 기존 SMPLify 알고리즘(2D에서 관절정보 추출해서 학습시키는)을 활용해서 SMPL-X 모델을 최적화해서 적합시키는 방법을 제공함

 

➡️ SMPL-X는 신체+손+얼굴을 통합적으로 구성해주는 3D 인체 모델인데, 매개변수가 너무 많고 복잡해서, 단일 이미지로 이미지 정보 및 관절 정보를 통해 3D 모델을 구성해주는 SMPLify를 활용해서 SMPL-X 모델을 최적화 했다는 것이 논문의 전부

 

<SMPLify 개선>

(1) 얼굴, 손, 발에 해당하는 2D 특징을 감지하고 전체 SMPL-X 모델을 이러한 특징에 맞게 적합시킵니다.

(2) 대규모 MoCap 데이터셋을 사용하여 새로운 신경망 자세 사전을 훈련시킵니다.

(3) 빠르고 정확한 새로운 상호 침투 벌칙(자세가 이상한 경우 패널티 적용)을 정의합니다.

(4) 자동으로 성별을 감지하고 적절한 몸체 모델 (남성, 여성 또는 중성)을 사용합니다.

(5) 우리의 PyTorch 구현은 Chumpy에 비해 8배 이상의 속도 향상을 이루었습니다

➡️ SMPLify-X 알고리즘임

 

1. INTRODUCTION

: 단일 이미지에서 인체의 몸체, 손 모습 및 얼굴 표현의 3D 모델을 추정하는 방법을 제안

: 기존의 2D 인간 "자세" 추정 방법은 주로 인체의 주요 관절만을 추정하는 데 초점을 맞췄었음

: 하지만 인간의 행동을 이해하기 위해서는 인체의 주요 관절 뿐만 아니라 전체 몸체, 손, 얼굴의 3D 표면 정보가 필요

: 이 논문에서는 대량의 3D 스캔 데이터를 사용하여 새로운 통합적인 인체 모델인 SMPL-X를 학습

: 이 모델은 SMPL 기반으로 하며, 더욱 표현력이 강화된 버전으로 얼굴과 손을 포함하여 인체를 표현할 수 있음.

: 이를 위해 SMPL과 FLAME 헤드 모델, MANO 손 모델을 결합하고, 이를 5586개의 고품질 3D 스캔으로 등록함

: 이미지로부터 SMPL-X의 매개변수를 직접 회귀하는 방법을 사용

: 기존의 훈련 데이터셋을 사용하는 것이 어려웠기 때문에 SMPLify 방법을 따름 (기존의 데이터셋은 손과 표정, 머리에 대한 것은 없었기 때문에, 애초에 단일이미지로부터 뽑아내는 SMPLify를 사용하자고 제안한 것으로 이해함)

 

➡️ OpenPose와 같은 기법으로 이미지의 2D 특징을 추정한 다음, SMPL-X 모델을 이러한 2D 특징에 맞게 최적화하는 SMPLify-X 방법을 사용

 

: SMPLify-X 방법을 사용하여 다양한 자세와 표현을 수행하는 데이터셋을 만들어, 인체, 손, 얼굴의 통합적인 모델의 정확성을 평가

 

 

2. RELATED WORK

2.1. Modeling the body

Bodies, Faces and Hands.

: 3D 인체 모델링 문제를 몸통과 얼굴, 손을 서로 분리하여 모델링하는 방법들이 사용되었음

: 예전에는 동일한 포즈의 사람들의 바디 형태에 초점을 맞췄음

: 또한, 손과 얼굴은 모델링하지 않았음

: 손은 주먹 또는 열린 모양으로 가정, 얼굴은 중립적인 표정으로 가정했었음

 

Unified Models.

좌: Frank, 우: SMPL+H

: 기존의 모델 중, 가장 유사한 모델은 Frank [36]와 SMPL+H

: Frank는 SMPL (포즈 블렌드 형태 없음)를 몸통, 아티스트가 디자인한 핸드 리그를 손, 그리고 FaceWarehouse 모델 [14]을 얼굴에 각각 사용하여 이들을 합친 모델을 생성함

: SMPL+H는 SMPL 바디와 3D 스캔에서 학습된 핸드 모델을 결합, 가변형 얼굴 포함 x

FRANK

 

가운데가 SMPL+H

: Frank와는 달리 이를 간단히 결합하는 것이 아니라 전체 모델을 5586개의 3D 스캔에 맞추고 형태와 포즈에 따라 블렌드 형태를 학습시킴

: SMPL+H [51]를 기반으로 하고 이에 FLAME 헤드 모델 [22]을 추가

 

➡️ SMPL을 기반으로 하므로 미분 가능함

 

2.2. Inferring the body

: 단일 이미지로부터 SMPL 모델을 추정하려고 하는 이유?

: 페어링 쌍의 데이터가 있으면 학습이 쉽게 가능하겠지만, (label 값은 없고, train값만 있다..) 데이터를 구성하기에 너무 어려움(비용 많이 들고, 복잡). 그래서 단일 이미지를 통해 3D로 구현하고자 하는 것임

• ※ 페어링 쌍의 데이터?

  : 각각의 인체에 대해 SMPL 모델의 파라미터(예: 모양, 자세)를 알고 있으며(train), 이에 해당하는 3D 인체 모델을 생성하는 3D 메쉬 또는 포인트 클라우드 형태의 이미지를 가질 수 있음(label). 이렇게 하면 인체 모델과 해당 이미지가 페어링되어 있다 라고 말함

➡️ 따라서, SMPLify [10]는 2D 이미지 특징을 "bottom up" 방식으로 감지한 다음, 이러한 특징에 SMPL 모델을 최적화 프레임워크 내에서 "top down" 방식으로 적합시킴

➡️ 페어링된 데이터를 반복적으로 정제하여 직접 회귀 방법을 훈련시킬 수 있게 됨

 

 

3. Technical approach

3.1. Unified model: SMPL-X

: SMPL-X는 얼굴, 손, 그리고 몸의 형태 매개변수를 함께 학습하는 모델

: SMPL-X는 학습된 오프소스기반 선형 블렌드 스키닝(linear blend skinning)(사람의 mesh를 모델링하는 방법) 을 사용하며, N = 10,475개의 버텍스와 K = 54개의 관절로 구성

: 관절은 목, 턱, 눈알, 손가락 관절 등을 포함

: SMPL-X은 파라미터를 이용해서 모델링 하고자 함

: 파라미터 θ를 θf (턱 관절), θh (손가락 관절), 그리고 θb (남은 몸 관절)로 분해

: 정확히는 안봄.. 논문 참고하세요

➡️ 결론: SMPL-X의 전체 모델 매개 변수 수는 119로, 이 중에 75개는 전역 몸 회전 및 {몸, 눈, 턱} 관절에 대한 매개 변수이고, 손의 낮은 차원 PCA 자세 공간에 대해 24개(손) , 개체 형태에 대해 10개(shape), 얼굴 표현(facial expression) 에 대해 10개에 관한 것임

 

최종 목적 함수 ⇒ 최소화 해야하는 식

 

3.2. SMPLify-X: SMPL-X from a single image

: re-projection loss ⇒ 3D 인체 모델로부터 얻은 3D 관절 위치를 카메라 내부 파라미터를 사용하여 이미지 평면으로 투영하여 얻은 2D 관절 위치와 실제 이미지 상에서 관찰된 2D 관절 위치 간의 거리에 대한 항을 의미함

• ※ re-projection loss 풀어서 이해하기

  : 3D 물체는 3D 점들의 집합으로 표현될 수 있음.

  : 그리고 우리는 해당 물체의 3D 관절 위치를 알고 있음

  : 이제 카메라로 찍은 3D 물체를 이미지로 투영하여 2D 이미지를 얻을 수 있음

  : 이 때, 투영된 2D 이미지 상의 2D 관절 위치와 원래 이미지 상에서 관찰된 2D 관절 위치를 비교하면서 얼마나 오차가 있는지를 측정하는 것이 re-projection loss

Π : 3D를 2D로 projection 하는 것

σ : noise 줄이기 위한 function

 

3.3. Variational Human Body Pose Prior

: 신체 구조상 불가능한 자세들이 존재

ex) 팔이 꺾인다거나 목이 꺽이는 경우..

⇒ 이런 경우에 penalty를 주고, 가능한 자세들이 나오게끔 최적화할 때 학습된 prior을 제공

• ※ prior

  : 학습된 자세의 분포를 활용하여 가능성이 높은 자세를 제한

  : 예를 들어, 특정 자세에 대한 사전 정보를 가지고 있으면 모델이 이러한 사전과 일치하는 자세를 선호하도록 유도할 수 있음

 

: SMPLify-X 알고리즘이 실제 인체의 물리적 제약을 고려하는 데 사용하는 식

: SMPLify-X에서는 VAE (Variational Autoencoder) 기반의 body pose prior를 사용함

➡️ 자연스러운 자세를 유지하도록 하거나 자세와 관련된 제약을 적용하여 현실적이고 정확한 결과를 얻을 수 있다

 

3.4. Collision penalizer

: 최적화를 하다보면 몸끼리 겹치는 문제점들이 생김.

: 실제로는 사람 신체들이 겹치는 것이 불가능함

: 따라서 이에 대한 penalty를 주기 위한 loss term을 구성함 (보다 자연스럽게 구성할 수 있도록 하는 것임 ⇒ 결국에 패널티를 준다는 것은 겹치지 않도록 규제한다는 말)

 

3.5. Deep Gender Classifier

: 남성과 여성은 서로 다른 비율과 형태를 가지고 있음

: 성별 라벨을 감지하는 성별 분류기를 학습시킴

: 사전 훈련된 ResNet18 [28] 모델을 이진 성별 분류를 위해 fine tuning 시킴

: 클래스 확률이 임계값 아래로 떨어지면 성별 중립적인 몸 모델을 맞추고, 그렇지 않으면 적절한 성별 모델을 맞

 

3.6. Optimization

: 유사하게 정확한 또는 근사적인 카메라 초점 거리 값을 알고 있다고 가정

: 알려지지 않은 카메라 이동과 전체 몸의 방향을 추정

: 이후, 카메라 매개변수를 고정하고 몸의 형태인 β와 자세인 θ를 최적화

 

➡️ 몸의 자세를 최적화 하기 위해 얼굴과, 손에 가중치를 적게 둬서, 전체 자세를 잡는 동안에는 영향력을 줄였음 (신체 전체에 대해서는 작지만, 관절 수가 많아서 가중치를 적게 줘야 함)

➡️ 이후, 몸의 구성이 어느정도 되면, 손과 얼굴 주요 지점의 가중치를 높게 둬서 학습시킴

 

 

4. Experiments

Datasets: 몸, 손, 얼굴의 지면 진실 형태가 함께 포함된 이미지 데이터셋이 존재하지 않아서, 데이터셋을 만들었음

: 우리는 1개의 이미지와 2D 관절만을 입력으로 사용

: 굳

: 손까지 세밀하게 잘 표현함

 

<참고>

https://mr-waguwagu.tistory.com/38