본문 바로가기

728x90

3D9

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 💡 0. Abstract 우리는 드문 입력 뷰 세트를 사용하여 연속적인 부피 장면 함수를 최적화하여 복잡한 장면의 새로운 시점을 합성하는 최첨단 결과를 달성하는 방법을 제시합니다. 우리의 알고리즘은 완전히 연결된 (비선형) 심층 네트워크를 사용하여 장면을 표현하며, 입력은 단일 연속적인 5D 좌표 (공간 위치 (x, y, z) 및 시청 방향 (θ, φ))이고 출력은 해당 공간 위치에서의 부피 밀도와 시점에 의존하는 방출 래디언스입니다. 우리는 카메라 광선을 따라 5D 좌표를 쿼리하여 뷰를 합성하고, 전통적인 부피 렌더링 기술을 사용하여 출력 색상과 밀도를 이미지로 투영합니다. 부피 렌더링은 자연스럽게 미분 가능하기 때문에, 우리의 표현을 최적화하기 위해 필요한 유일한 입력은 알려진 카메라 포즈를 가진 이.. 2023. 7. 13.

[1주차] NeRF: Representing Scenes asNeural Radiance Fields for View Synthesis 💡 0. Abstract 우리는 드문 입력 뷰 세트를 사용하여 연속적인 부피 장면 함수를 최적화하여 복잡한 장면의 새로운 시점을 합성하는 최첨단 결과를 달성하는 방법을 제시합니다. 우리의 알고리즘은 완전히 연결된 (비선형) 심층 네트워크를 사용하여 장면을 표현하며, 입력은 단일 연속적인 5D 좌표 (공간 위치 (x, y, z) 및 시청 방향 (θ, φ))이고 출력은 해당 공간 위치에서의 부피 밀도와 시점에 의존하는 방출 래디언스입니다. 우리는 카메라 광선을 따라 5D 좌표를 쿼리하여 뷰를 합성하고, 전통적인 부피 렌더링 기술을 사용하여 출력 색상과 밀도를 이미지로 투영합니다. 부피 렌더링은 자연스럽게 미분 가능하기 때문에, 우리의 표현을 최적화하기 위해 필요한 유일한 입력은 알려진 카메라 포즈를 가진 이.. 2023. 7. 13.

[1주차] [EECS 498-007 / 598-005] 3D Vision 강의 정리 1. 3D Vision Topics 2. 3D Shape Representations 2.1 3D Shape Representations: Depth Map 💡 픽셀에 대해 카메라와 픽셀의 거리를 구하는 방식 + 시야의 단점을 보완하기 위한 loss 구비 https://arxiv.org/abs/1411.4734 Depth map은 각 pixel에 대해 카메라와 픽셀 사이의 거리를 구함 기존 segmentation 처럼 FC를 통해 pixel 별로 계산할 수 있다 이를 통해 Predicted Depth Image와 Ground-Truth image와의 Per-pixel loss를 계산하여 학습할 수 있음 하지만 우리 눈에서는 작고 가까이 있는 물체와 크고 멀리 있는 물체의 크기를 구분하지 못함 위 문제를 .. 2023. 7. 10.

이전 1 2 다음

728x90

티스토리툴바