STAR: Sparse Trained Articulated Human Body Regressor(2020)

 

 

0. ABSTRACT

1. 훨씬 간결한 모델 (매개변수의 수 감소)

: SMPL보다 80% 더 작은 매개변수만을 사용

2. 체형에 따라 변하는 형태 및 포즈를 학습시킴 (체형 및 BMI 활용)

: SMPL의 경우, 체형에 따른 다양한 형태의 변형을 고려하지 않았음

(체형에 상관없이 다 동일한 근육 형태로 표현)

ex) 누군가 팔을 구부렸을 때, 각 체형마다 팔꿈치 주변의 피부나 근육의 형태가 더 다르게 변형함(골격이 더 큰 사람, 근육이 더 많거나 적은 사람..)

 

3. 학습 데이터를 늘림

:일반화 성능 개선

 

결론: 소형 모델이며, 새로운 체형에 대해 더 잘 일반화됨, SMPL 대체 모델로 사용 가능

 

 

1 INTRODUCTION

해당 관절(무릎이면 무릎까지만) 주위 부분까지만 학습시킴

: 기존 SMPL 같은 경우는 관절 부위별로 학습시키지 않고, 한 번에 모든 체형 관절 부분에 하나로 연결지어서 학습시켰음

: 모델 매개 변수의 수가 420만 개 이상으로 크게 늘어남

: 그렇게 되면, 과적합 가능성도 높아지고, 잘못된 상관관계를 학습, 및 잘못된 기울기 전파

 

: 자세 변화는 대부분 특정 부분에 영향을 미치는 경우가 많아서, 자세 보정 변형도 비슷한 부분에 영향을 주어야 함.

: ex) 팔을 움켜잡으면 손목과 팔꿈치 부분만 변화하고 나머지 몸통은 그대로일 때가 많음

: 이렇게 지역적으로 변하는 것을 고려하는 모델을 만들면 더 정확한 결과를 얻을 수 있음

 

 

 

왼쪽 구부렸는데, 오른쪽이 부푼 경우(흰색 부분)

서로 다른 BMI(체형)를 가지고 있기 때문에, 똑같이 구부려도 체형에 따라 몸에 영향을 받는 부분이 다 다름을 나타낸 이미지

(한 번에 모든 관절을 학습시켰기 때문에, 왼쪽 팔을 구부렸는데 오른쪽 팔이 부풀어 오른다던지 이런 식의 잘못된 상관관계를 학습 시켰다는 의미임)

: 관절 별 특성을 무시

: 또한, 체형에 따라 같은 자세를 취해도 몸이 영향을 받는 부위는 각기 다름 (오른쪽 사진 참고)

: SMPL은 이러한 사실을 간과함 (체형에 관계없이 동일하게 몸의 영향은 같다고 측정)

(더 뚱뚱한 사람은 숙였을 때, 배나, 가슴쪽에 영향을 받는다고 표현해야 하지만, 똑같이 마른 사람과 허벅지 부분만 영향을 받는다 라고 체형을 표현한다는 것)

 

: 기존 mesh 표면의 loss는 거리가 먼 관절에 대해 잘못된 기울기를 전파

: 모델의 간결성과 시각적 현실감을 제한함

⇒ 간결한 인체 모델을 만듬 (STAR)

: 관절이 주변에 가까운 희소한 vertex에만 영향을 미치도록 했고 (특정 관절 주위에 있는 정점들만을 변형), 지역적인 blend shape를 가지는 모델로 구성함

• ※ Blend Shape

  : 다양한 정점들의 위치를 조정(모델의 형태를 변화)

  ex) 인체 모델에서 팔을 구부리거나 다리를 펴거나 다양한 자세를 만들기 위해 블렌드 쉐이프를 조정하는 것

➡️ 요약: 관절이 움직일 때 해당 관절 주변의 몇 개의 정점들만 변형

 

<간결한 모델의 방법>

: 관절당 단 4개의 숫자를 가진 쿼터니언 표현(회전에 관련된 식) 으로 전환하여 성능 손실 없이 파라미터를 줄였다고 함

(단 4개만을 사용해서 관절의 움직임을 표현하고자 한 것 같다)

⇒ SMPL의 파라미터 20% 만을 사용

 

<잘못된 상관관계 해결>

: SMPL의 경우, 자세 보정을 할 때에는 관절의 회전에 대한 보정(=부드러운 조직 변형) 만을 고려하여 blend shape를 계산함.

: 하지만 STAR는 체형 뿐만 아니라 자세까지 함께 고려하여 보정을 진행하는 방식으로 개선

: 체형 파라미터인 'β'와 관절의 자세 파라미터인 'θ'를 모두 사용하여 보정을 계산.

: 'β'는 체형에 따라 다양한 형태의 변형을 의미함,

: 'θ'는 관절의 회전을 나타내는 파라미터를 의미

: 이 때, BMI(Body Mass Index)와 강한 상관관계가 있는 성분을 사용했다고

➡️ 보다 현실적인 자세 기반 변형이 가능해짐

 

<기존 데이터셋의 한계>

: 기존 CAESAR dataset의 경우, 1990년 미국 인구에 따라 분포되어 있어서 현재의 세계적 체형 통계를 반영하지 않음

: CAESAR은 모든 여성을 동일한 스포츠 브라 유형의 상의로 찍었기 때문에, 다양한 모양의 여성 가슴 형태를 반영하지 않음

➡️ CAESAR + SizeUSA 스캔의 조합에서 STAR을 훈련함

 

 

2 RELATED WORK

Learned Models.

: 기존 SMPL에서는 자세 보정을 위해 부위 회전 행렬 원소를 가지고 선형 함수를 사용해서 모델링 진행.

: 이로 인해 각 부위마다 전체적인 영향을 미치는 207개의 pose blend shape가 만들어진다고 함

: STAR의 경우, 자세에 대해서는 선형 모델 + 공간 내에서의 변형은 비선형 모델을 사용

** 자세 ex) 팔을 구부리거나 펴는 동작은 단순히 관절을 일정 각도로 회전시키는 것으로 표현

** 공간 ex) 손목을 회전시키면서 동시에 손가락들이 복잡한 곡선 형태로 움직이는 것을 표현하는 경우 (보다 복잡한 형태의 변형이나 뒤틀림을 표현)

 

Sparse Pose Corrective Blend Shapes.

: 자세 변화는 대부분 특정 부분에 영향을 미치는 경우가 많아서, 자세 보정 변형도 비슷한 부분에 영향을 주어야 함.

: ex) 팔을 움켜잡으면 손목과 팔꿈치 부분만 변화하고 나머지 몸통은 그대로일 때가 많음

➡️ 이렇게 지역적으로 변하는 것을 고려하는 모델을 만들면 더 정확한 결과를 얻을 수 있음

 

: STAR는 EigenSkin이라는 모델과 비슷한 접근을 사용하지만, 관절 지원 영역을 수동으로 조절할 필요 없이 이미 포즈된 스캔 데이터에서 지역적인 관절 지원을 추론

: Neumann 등의 연구에서는 자세와 체형 변형을 함께 고려한 모델을 제안했는데, 이 모델은 자세에 따라 변하는 체형을 희소한 PCA를 통해 학습하는 방식

: 하지만 이 모델은 실제로는 어떤 자세에 따라 어떻게 체형이 변화하는지를 직접 학습하지 않았음

: STAR는 스캔된 실제 체형 데이터를 사용하여 자세 변형을 학습했기 때문에, 더 정확한 결과를 냄

 

 

3 MODEL

: 식은 생략

: SMPL과 유사한 방식으로 학습

: 차이점: 포즈 보정 함수를 훈련함

: STAR 포즈 보정 블렌드 형상은 모델 예측과 실제 등록 간의 정점 간 오차를 최소화하도록 훈련됨

: (a)의 상단 ⇒ 모델이 아직 학습되기 전의 초기 상태

: (a)의 하단 ⇒ 훈련된 후의 출력을 보여줌 (회색은 0값)

⇒ 알 수 있는 점: 특정 관절 부분만 학습시킨다는 것 (불필요한 부분은 0으로) (지역적 학습)

: (b) 왼쪽 ⇒ 기존 SMPL의 문제점 (전역적 학습)

: (b) 오른쪽 ⇒ STAR 모델 (왼쪽 구부렸고, 다른 곳에는 아무런 영향을 미치지 않았다는 것을 보여줌)