[2주차] 3D Generation Model Github 탐색

 

💡

2주차 과제: 3D 생성하는 모델 깃헙 → 만약 학습이 필요한 모델이면 어떤 데이터고, 데이터 AI허브같은 데 있는지

1. CIPS-3D (21년도 10월)

• 이미지를 3D화 시키려고 하는, 저번에 의견 나왔던 영화 포스터 혹은, 해리포터 신문?, 그림 명화 등이 가능할 수도 있지 않을까

💻 https://github.com/PeterouZh/CIPS-3D

📚 https://arxiv.org/abs/2110.09788
🧪 https://huggingface.co/spaces/hysts/Shap-E

 

 

특징

: NeRF 기반
: 한계점은 NeRF 마냥 앞에서만 빙빙대는 것만 가능
→ 우리가 어떤 주제로 할거냐에 따라서 choice 될 수도 안될 수도
: 데이터셋: 이미지…?

 

2. FastGANFit (21년도)

💻 https://github.com/barisgecer/GANFit

📚 https://arxiv.org/abs/2105.07474

 

 

특징
: 데이터셋: 이미지
: output으로는 얼굴 부분만 따는 것 같긴 한데, 머리카락 없어도 되는 컨셉이면,, 얼굴만 따서 해도… (누군가가 희생을 해야겠따만요)
: 섬세하게 피부표현 혹은 수염까지도 좀 괜찮은 것 같아서, 인물을 대상으로 할거면 생각해봐도 괜찮을듯
: 다른 사람에 얼굴에 갖다 붙이면, 그 얼굴형에 맞게 변형해줌.

 

3. Shap-E (23년도 3월)

💻 https://github.com/openai/shap-e

📚 https://arxiv.org/abs/2305.02463 
🧪 https://huggingface.co/spaces/hysts/Shap-E

특징
: OpenAI : 레이블이 지정된 대규모 3D 데이터 셋에서 모델을 훈련시켜야 함→ 샘플데이터에는 펭귄이나 코끼리 도넛, 개, 아이스크림….
: A chair that looks like an avocado → 아보카도 의자로 만들어줌
: 다양한 각도에서 촬영한 사진에서 3D 모델하는 NeRF 구조, 기존보다 유연한 표현은 가능하나, 연산량이 많이 요구됨 ↔ Point-E (점을 찍어서 3D 모델을 생성) → 뭔가 우리가 원하는건 아닌 것 같은..

 

 

4. Point-E (22년도 12월)

💻 https://github.com/openai/point-e

📚 https://arxiv.org/abs/2212.08751 

 

특징
: text to image + image to 3D 모델 (뒷부분만 써도 괜찮을텐데, output이 점 형태라서.. )
: 다양한 3D 형식과 최적화된 렌더링 엔진을 지원하는 Blender를 사용하여 20개의 임의의 카메라 각도에서 RGBAD 이미지로 모든 3D 모델을 렌더링
: chatgpt에서 만든 연구 단체에서 나온 친구
: 물체의 세세한 형상이나 질감을 파악할 수 없다는 단점 존재 → 블록 형상이나 왜곡되기도 한다는 → 인물쪽으로는 어떨지 모르겠다.

 

 

 

관련 DataSets

https://paperswithcode.com/dataset/ifakefacedb

https://paperswithcode.com/dataset/vggface2-hq

https://paperswithcode.com/task/face-generation