본문 바로가기

728x90

SMPL6

STAR: Sparse Trained Articulated Human Body Regressor(2020) 0. ABSTRACT 1. 훨씬 간결한 모델 (매개변수의 수 감소) : SMPL보다 80% 더 작은 매개변수만을 사용 2. 체형에 따라 변하는 형태 및 포즈를 학습시킴 (체형 및 BMI 활용) : SMPL의 경우, 체형에 따른 다양한 형태의 변형을 고려하지 않았음 (체형에 상관없이 다 동일한 근육 형태로 표현) ex) 누군가 팔을 구부렸을 때, 각 체형마다 팔꿈치 주변의 피부나 근육의 형태가 더 다르게 변형함(골격이 더 큰 사람, 근육이 더 많거나 적은 사람..) 3. 학습 데이터를 늘림 :일반화 성능 개선 결론: 소형 모델이며, 새로운 체형에 대해 더 잘 일반화됨, SMPL 대체 모델로 사용 가능 1 INTRODUCTION 해당 관절(무릎이면 무릎까지만) 주위 부분까지만 학습시킴 : 기존 SMPL 같은.. 2023. 8. 10.

[4주차] <주제 변경> 체형별 옷입히기 사전 조사 https://github.com/lijiaman/awesome-3d-human - 대신 코드가 없는게 많음 ㅠㅠ https://github.com/lzhbrian/Clothes-3D 기존대로 체형에 따라 옷입히기를 할 것인지 (SMPL + 3D clothes화 + 합성 + 디테일 ) 옷 입은 사람의 형태를 따서 옷 디자인을 바꾸는 것으로 갈지 (이 친구는 조금 다른 방안)⇒ + upgrade 버전: 우리가 직접 옷을 그린 다음, 옷의 디자인까지 따서 새로 입히는 것(희망 사항) 1번으로 선택할 경우) input으로 사진 받고, 모델 돌려서 원하는 옷 입히는걸로 보여주는거? 2번으로 선택할 경우) 옷 그리게 해서 디자인을 입혀서 보여주는 정도?가 될 듯 (아이디어 제시일 뿐 - 찾진 않음) 1. 체형별 .. 2023. 8. 10.

Expressive Body Capture: 3D Hands, Face, and Body from a Single Image SMPL-X란? : 단일 이미지로부터, 신체뿐만 아니라, 손과 얼굴을 통합적으로 3D 형태의 신체로 표현하는 모델 좌: SMPL, 중간: SMPL+H, 우: SMPL-X 0. ABSTRACT : 3D 스캔을 사용하여 인간의 몸체에 대한 새로운 통합된 3D 모델인 SMPL-X를 훈련 : SMPL을 확장해서 손과 표정까지 구현하고자 함 : SMPL-X는 얼굴, 손, 목, 신체 등 다양한 인체 형태와 자세를 포함하는 많은 매개변수를 가지고 있는데, 이를 정확하게 추정하기 위해서는 각 매개변수에 대한 이미지 정보와 관절 정보를 결합해서 최적화를 수행해야 한다는 문제점 존재 : 따라서 기존 SMPLify 알고리즘(2D에서 관절정보 추출해서 학습시키는)을 활용해서 SMPL-X 모델을 최적화해서 적합시키는 방법을 제.. 2023. 8. 4.

BodyNet: Volumetric Inference of 3D Human Body Shapes BodyNet이란? : 단일 이미지로부터 2D pose, segmentation 추출, 두 개의 정보를 활용해 3D pose를 학습, 이후, 3가지 정보에 RGB 정보까지 활용해 3D의 부피 기반 체형을 구성하는 Network를 말함 : end to end 형식 1. 입력 RGB 이미지는 먼저 2D 포즈 추정과 2D 신체 부위 세그멘테이션을 위한 하위 네트워크를 통과 2. 2D pose와 segmentation을 훈련 3. 학습된 2D pose와 Segmentation 가중치를 고정해서 3D pose를 훈련시킴 4. 이후, 이전의 모든 네트워크 가중치를 고정하고 3D 형태 network를 훈련 5. 추가 재프로젝션 손실로 형태 네트워크 훈련해서 부피 기반 형태 추정 작업에 대해 세밀 조정 6. 결합된 손.. 2023. 8. 3.

SMPLify(Keep it SMPL): Automatic Estimation of 3D Human Pose and Shape from a Single Image SMPLify[Keep it SMPL] 이란? : 2D CNN(Deepcut)을 활용해 관절 위치를 뽑은 후, 3D SMPL에 적용해 3D Mesh를 구성하는 방식 요약(Abstract) : 이미지에서 인간의 3D 포즈와 형태를 자동으로 추정하고자 함 : CNN 기법 Deepcut을 활용, 3D SMPL의 결합 : Datasets의 경우, Leeds Spors, HumanEva, Human3.6M 사용 이점 및 특징(Introduction) : 이전 방식의 경우, 포즈 초점에만 맞췄고, 3D 형태를 무시했음 ➡️ 2D 이미지로부터 포즈와 형태를 모두 포함하는 3D 메쉬를 자동으로 추정하는 해결책을 제시함 Deepcut 활용해 2D 관절 추정 ※ DeepCut이란 📚 [참고] https://arxiv.or.. 2023. 7. 31.

SMPL: A Skinned Multi-Person Linear Model 💡 SMPL: A Skinned Multi-Person Linear Model 목차 SMPL의 정의 SMPL 연구 목적 기존의 방법 및 한계 SMPL의 원리와 작동 최종 DMPL SMPL(Skinned Multi-Person Linear) 이란? [참고] ➡️ SMPL에 대한 간단한 설명 : skinned vertex 기반의 모델로서, 다양한 인간의 체형을 현실적으로 나타내고 자연스러운 자세에 따른 변형을 취할 수 있으며 연조직 움직임을 나타낸다. ※ skinned vertex: 스킨(피부)을 씌워진 뼈구조에 속한 메시의 정점 (뼈의 움직임에 따라 변형되는 정점) SMPL 연구의 목적 : 다양한 체형을 대표할 수 있는 실제적인 애니메이션 인간 신체를 만들고, 자연스러운 자세에 따라 자연스럽게 변형되며, .. 2023. 7. 28.

이전 1 다음

728x90

티스토리툴바