본문 바로가기

728x90

Nerf4

Expressive Body Capture: 3D Hands, Face, and Body from a Single Image SMPL-X란? : 단일 이미지로부터, 신체뿐만 아니라, 손과 얼굴을 통합적으로 3D 형태의 신체로 표현하는 모델 좌: SMPL, 중간: SMPL+H, 우: SMPL-X 0. ABSTRACT : 3D 스캔을 사용하여 인간의 몸체에 대한 새로운 통합된 3D 모델인 SMPL-X를 훈련 : SMPL을 확장해서 손과 표정까지 구현하고자 함 : SMPL-X는 얼굴, 손, 목, 신체 등 다양한 인체 형태와 자세를 포함하는 많은 매개변수를 가지고 있는데, 이를 정확하게 추정하기 위해서는 각 매개변수에 대한 이미지 정보와 관절 정보를 결합해서 최적화를 수행해야 한다는 문제점 존재 : 따라서 기존 SMPLify 알고리즘(2D에서 관절정보 추출해서 학습시키는)을 활용해서 SMPL-X 모델을 최적화해서 적합시키는 방법을 제.. 2023. 8. 4.

[2주차] 3D Generation Model Github 탐색 💡 2주차 과제: 3D 생성하는 모델 깃헙 → 만약 학습이 필요한 모델이면 어떤 데이터고, 데이터 AI허브같은 데 있는지 1. CIPS-3D (21년도 10월) 이미지를 3D화 시키려고 하는, 저번에 의견 나왔던 영화 포스터 혹은, 해리포터 신문?, 그림 명화 등이 가능할 수도 있지 않을까 💻 https://github.com/PeterouZh/CIPS-3D 📚 https://arxiv.org/abs/2110.09788 🧪 https://huggingface.co/spaces/hysts/Shap-E 특징 : NeRF 기반 : 한계점은 NeRF 마냥 앞에서만 빙빙대는 것만 가능 → 우리가 어떤 주제로 할거냐에 따라서 choice 될 수도 안될 수도 : 데이터셋: 이미지…? 2. FastGANFit (21년.. 2023. 7. 17.

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 💡 0. Abstract 우리는 드문 입력 뷰 세트를 사용하여 연속적인 부피 장면 함수를 최적화하여 복잡한 장면의 새로운 시점을 합성하는 최첨단 결과를 달성하는 방법을 제시합니다. 우리의 알고리즘은 완전히 연결된 (비선형) 심층 네트워크를 사용하여 장면을 표현하며, 입력은 단일 연속적인 5D 좌표 (공간 위치 (x, y, z) 및 시청 방향 (θ, φ))이고 출력은 해당 공간 위치에서의 부피 밀도와 시점에 의존하는 방출 래디언스입니다. 우리는 카메라 광선을 따라 5D 좌표를 쿼리하여 뷰를 합성하고, 전통적인 부피 렌더링 기술을 사용하여 출력 색상과 밀도를 이미지로 투영합니다. 부피 렌더링은 자연스럽게 미분 가능하기 때문에, 우리의 표현을 최적화하기 위해 필요한 유일한 입력은 알려진 카메라 포즈를 가진 이.. 2023. 7. 13.

[1주차] NeRF: Representing Scenes asNeural Radiance Fields for View Synthesis 💡 0. Abstract 우리는 드문 입력 뷰 세트를 사용하여 연속적인 부피 장면 함수를 최적화하여 복잡한 장면의 새로운 시점을 합성하는 최첨단 결과를 달성하는 방법을 제시합니다. 우리의 알고리즘은 완전히 연결된 (비선형) 심층 네트워크를 사용하여 장면을 표현하며, 입력은 단일 연속적인 5D 좌표 (공간 위치 (x, y, z) 및 시청 방향 (θ, φ))이고 출력은 해당 공간 위치에서의 부피 밀도와 시점에 의존하는 방출 래디언스입니다. 우리는 카메라 광선을 따라 5D 좌표를 쿼리하여 뷰를 합성하고, 전통적인 부피 렌더링 기술을 사용하여 출력 색상과 밀도를 이미지로 투영합니다. 부피 렌더링은 자연스럽게 미분 가능하기 때문에, 우리의 표현을 최적화하기 위해 필요한 유일한 입력은 알려진 카메라 포즈를 가진 이.. 2023. 7. 13.

이전 1 다음

728x90

티스토리툴바