NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

 

💡

<번역>

0. Abstract

우리는 드문 입력 뷰 세트를 사용하여 연속적인 부피 장면 함수를 최적화하여 복잡한 장면의 새로운 시점을 합성하는 최첨단 결과를 달성하는 방법을 제시합니다. 우리의 알고리즘은 완전히 연결된 (비선형) 심층 네트워크를 사용하여 장면을 표현하며, 입력은 단일 연속적인 5D 좌표 (공간 위치 (x, y, z) 및 시청 방향 (θ, φ))이고 출력은 해당 공간 위치에서의 부피 밀도와 시점에 의존하는 방출 래디언스입니다. 우리는 카메라 광선을 따라 5D 좌표를 쿼리하여 뷰를 합성하고, 전통적인 부피 렌더링 기술을 사용하여 출력 색상과 밀도를 이미지로 투영합니다. 부피 렌더링은 자연스럽게 미분 가능하기 때문에, 우리의 표현을 최적화하기 위해 필요한 유일한 입력은 알려진 카메라 포즈를 가진 이미지 세트입니다. 우리는 어떻게 신경 방사형 필드를 효과적으로 최적화하여 복잡한 기하학적 형태와 외관을 가진 장면의 사실적인 새로운 시점을 렌더링하는지 설명하며, 신경 렌더링과 뷰 합성에 대한 이전 연구를 능가하는 결과를 보여줍니다. 뷰 합성 결과는 비디오로 확인하는 것이 가장 좋으므로, 독자들이 설득력있는 비교를 위해 부록 비디오를 확인하도록 권장합니다.

1. Introduction

Fig. 1: 우리는 입력 이미지 세트로부터 장면의 연속적인 5차원 신경 선반(NeRF) 표현(부피 밀도와 시야에 따른 색상)을 최적화하는 방법을 제시합니다. 우리는 볼륨 렌더링 기술을 사용하여 광선을 따라 이 장면 표현의 샘플을 축적하여 장면을 어떤 시점에서도 렌더링합니다. 여기에는 합성된 드럼(Drums) 장면의 100개의 입력 뷰를 무작위로 캡처한 것을 시각화하고, 최적화된 NeRF 표현에서 렌더링된 두 개의 새로운 뷰를 보여줍니다.

 

이 연구에서는 캡처된 이미지 세트를 렌더링하는 오차를 최소화하기 위해 연속적인 5차원(scene representation)의 매개변수를 직접 최적화하여 시야 합성(view synthesis)의 오래된 문제를 새로운 방식으로 해결합니다. 정적인 장면을 공간의 각 점 (x, y, z)에서 각 방향(θ, φ)으로 방출되는 광도(radiance)와, 각 점에서 밀도(density)로 나타냅니다. 밀도는 (x, y, z)를 통과하는 광선에 의해 축적되는 광도의 양을 조절하는 차분 투명도(differential opacity)로 작용합니다. 이 방법은 컨볼루션 레이어를 전혀 사용하지 않는 깊은 fully-connected 신경망 (일반적으로 multilayer perceptron 또는 MLP로 알려짐)을 사용하여 이 함수를 표현하기 위해 단일 5차원 좌표 (x, y, z, θ, φ)에서 단일 부피 밀도(volume density)와 시야에 따른 RGB 색상을 회귀합니다. 이러한 신경 선반(NeRF)을 특정 시점에서 렌더링하기 위해 우리는 다음과 같은 절차를 따릅니다:

1) 카메라 광선을 장면을 통과시켜 샘플링된 3D 점 집합을 생성합니다.

2) 이 점들과 해당하는 2D 시야 방향을 신경망의 입력으로 사용하여 출력 색상과 밀도 집합을 생성합니다.

3) 클래식한 볼륨 렌더링 기법을 사용하여 해당 색상과 밀도를 2D 이미지로 축적합니다. 이 과정은 자연스럽게 미분 가능하므로, 관찰된 각 이미지와 해당 표현으로부터 렌더링된 뷰 간의 오차를 최소화하기 위해 경사 하강법을 사용하여 이 모델을 최적화할 수 있습니다.

여러 뷰에서 이 오차를 최소화함으로써 네트워크는 진짜 장면 콘텐츠를 포함하는 위치에 높은 부피 밀도와 정확한 색상을 할당하여 일관된 장면 모델을 예측하도록 장려됩니다. Figure 2는 이러한 전체 파이프라인을 시각화합니다.

우리는 복잡한 장면에 대한 신경 방사도 신경 선반 표현의 기본 구현이 충분히 고해상도 표현으로 수렴하지 않고, 카메라 광선 당 필요한 샘플 수에 비효율적이라는 문제점을 발견했습니다. 이러한 문제를 해결하기 위해 입력 5차원 좌표를 위치 부호화로 변환하여 MLP가 더 높은 주파수 함수를 표현할 수 있도록 하였으며, 고주파수 장면 표현을 적절히 샘플링하기 위해 계층적 샘플링 절차를 제안했습니다.

우리의 접근 방식은 체적 표현의 장점을 상속합니다: 복잡한 실제 기하학과 외관을 효과적으로 표현할 수 있으며, 투영된 이미지를 사용하여 기울기 기반 최적화에 적합합니다. 중요한 것은, 우리의 방법은 고해상도에서 복잡한 장면을 모델링할 때 이산화된 복셀 그리드의 비용 문제를 극복합니다. 요약하면, 우리의 기술적 기여는 다음과 같습니다:

• 기본 MLP 네트워크로 매개변수화된 5차원 신경 방사도 신경 선반으로 복잡한 기하학과 재료를 가진 연속적인 장면을 표현하는 방법.

• 고전적인 체적 렌더링 기법에 기반한 미분 가능한 렌더링 절차로, 이를 통해 표준 RGB 이미지로부터 이러한 표현을 최적화합니다. 이에는 MLP의 용량을 시야에 있는 장면 컨텐츠에 할당하기 위한 계층적 샘플링 전략이 포함됩니다.

• 입력 5차원 좌표를 더 높은 차원의 공간으로 매핑하는 위치 부호화를 사용하여, 우리는 고주파수 장면 콘텐츠를 효과적으로 최적화할 수 있게 되었습니다.

우리는 우리의 결과적인 신경 방사도 신경 선반 방법이 실시간 뷰 합성 방법을 포함한 최첨단 방법들을 양적, 질적으로 능가한다는 것을 입증했습니다. 이 방법은 신경망 3D 표현을 장면에 적합화하는 작업과 샘플링된 체적 표현을 예측하기 위해 심층 합성곱 신경망을 훈련시키는 작업을 포함합니다. 우리가 알기로는 이 논문은 실제 객체와 장면으로부터 촬영된 RGB 이미지로 고해상도 포토리얼리스틱 신규 뷰를 렌더링하는 연속적인 신경 장면 표현으로서 최초로 나타나는 것입니다.

2. Related Work

최근 컴퓨터 비전 분야에서 유망한 연구 방향은 MLP의 가중치를 사용하여 3D 공간 위치에서 형태의 암묵적 표현 (예: 해당 위치의 부호화된 거리 [6])으로 직접 매핑하는 것입니다. 그러나 이러한 방법들은 현재까지 삼각형 매쉬나 복셀 그리드와 같은 이산적 표현을 사용하여 복잡한 기하학적인 현실적인 장면을 동일한 정밀도로 재현할 수 없었습니다. 이 절에서는 이 두 가지 연구 방향을 검토하고, 우리의 접근법과 대조합니다. 우리의 접근법은 신경 장면 표현의 능력을 향상시켜 복잡한 현실적인 장면을 렌더링하는 데 최첨단 결과를 도출합니다.

저차원 좌표에서 색상으로 매핑하기 위해 MLP를 사용한 유사한 접근법은 이미지 [44], 텍스처 재료 [12,31,36,37], 간접 조명 값 [38]과 같은 다른 그래픽 기능을 표현하는 데에도 사용되었습니다.

Neural 3D shape representations

최근의 연구는 신경 네트워크를 최적화하여 xyz 좌표를 부호화된 거리 함수 [15, 32] 또는 점유 필드 [11, 27]로 매핑하는 묵시적인 3D 형태의 표현을 조사했습니다. 그러나 이러한 모델은 일반적으로 ShapeNet [3]과 같은 합성 3D 형태 데이터셋에서 얻은 그라운드 트루스 3D 기하학에 대한 접근이 필요하여 제한되어 있습니다. 이후의 연구는 신경 묵시적 형태 표현을 2D 이미지만을 사용하여 최적화할 수 있는 미분 가능한 렌더링 함수를 정의함으로써 이러한 그라운드 트루스 3D 형태의 요구 사항을 완화했습니다. Niemeyer et al. [29]은 표면을 3D 점유 필드로 나타내고 각 광선에 대해 표면 교차점을 찾기 위해 수치적인 방법을 사용한 다음 암시적 미분을 사용하여 정확한 도함수를 계산합니다. 각 교차점 위치는 해당 지점에 대한 확산 색상을 예측하는 신경 3D 텍스처 필드의 입력으로 제공됩니다. Sitzmann et al. [42]은 덜 직접적인 신경 3D 표현을 사용하여 각 연속적인 3D 좌표에서 특징 벡터와 RGB 색상을 출력하고, 표면이 위치한 곳을 결정하기 위해 각 광선을 따라 행진하는 순환 신경망으로 구성된 미분 가능한 렌더링 함수를 제안합니다.

이러한 기술들은 복잡하고 고해상도의 기하학적 형태를 잠재적으로 표현할 수 있지만, 현재까지는 기하학적 복잡성이 낮은 간단한 형태에만 제한되어 부드럽게 너무 많이 렌더링되는 결과를 가져왔습니다. 우리는 네트워크를 최적화하여 5D 방사도 필드(2D 뷰 종속 외관을 가진 3D 볼륨)를 인코딩하는 대안적인 전략이 복잡한 장면의 고해상도 기하학과 외관을 표현하여 사실적인 새로운 장면을 렌더링할 수 있음을 보여줍니다.

View synthesis and image-based rendering

조밀한 뷰 샘플링이 주어진 경우, 사실적인 새로운 뷰는 간단한 광학 필드 샘플 보간 기술 [21,5,7]을 사용하여 재구성될 수 있습니다. 더 적은 뷰 샘플링을 사용한 새로운 뷰 합성을 위해 컴퓨터 비전 및 그래픽스 커뮤니티에서는 관측된 이미지로부터 전통적인 기하학적 및 외관 표현을 예측하여 상당한 진전을 이루었습니다. 널리 사용되는 접근 방식 중 하나는 확산성 [48] 또는 뷰 종속 [2,8,49] 외관을 가진 메시 기반 장면 표현을 사용하는 것입니다. 다시 현실적인 방식으로 많이 사용되는 경사하강법을 사용하여 입력 이미지 세트를 재현하기 위해 메시 표현을 직접 최적화하는 차별화 레스터화기 [4,10,23,25] 또는 경로 트레이서 [22,30]가 사용될 수 있습니다. 그러나 이미지 재투영에 기반한 기울기 기반 메시 최적화는 종종 어려움을 겪습니다. 이러한 전략은 최적화 전에 고정된 토폴로지를 가진 템플릿 메시를 제공해야 하므로 [22], 자유로운 실제 세계 장면에서 일반적으로 사용할 수 없습니다.

다른 방식의 메서드는 입력 RGB 이미지 세트로부터 고품질 사실적인 뷰 합성을 위해 부피 표현을 사용합니다. 부피 기반 접근 방식은 복잡한 형태와 재료를 사실적으로 표현할 수 있으며 경사 기반 최적화에 적합하며 메시 기반 방법보다 시각적으로 현저하게 덜 방해되는 아티팩트를 생성합니다. 초기의 부피 기반 접근 방식은 관측된 이미지를 직접적으로 색칠하기 위해 볼륨 그리드를 사용했습니다 [19,40,45]. 최근에는 여러 장면의 대규모 데이터셋을 사용하여 딥 네트워크를 훈련시켜 입력 이미지 세트로부터 샘플링 된 부피 표현을 예측하고 시험 시에 알파 합성 [34] 또는 레이에 따른 합성을 사용하여 새로운 뷰를 렌더링하는 몇 가지 방법이 제안되었습니다. 다른 작업에서는 특정 장면에 대해 합성된 볼륨 그리드와 합성 네트워크 (CNN)의 조합을 최적화하여 CNN이 낮은 해상도 볼륨 그리드로부터 이산화 아티팩트를 보상하거나 입력 시간 또는 애니메이션 제어에 따라 예측된 볼륨 그리드를 변경할 수 있도록 했습니다 [41,24]. 이러한 부피 기반 기술은 새로운 뷰 합성에 놀라운 결과를 얻어냈지만, 이산적 샘플링으로 인해 고해상도 이미지로의 확장 능력은 시간 및 공간 복잡도의 제한으로 인해 근본적으로 제한됩니다. 우리는 이 문제를 해결하기 위해 심층 완전 연결형 신경망의 매개 변수 내에서 연속적인 볼륨을 인코딩함으로써 이를 회피합니다. 이는 이전의 부피 기반 접근 방식보다 훨씬 높은 품질의 렌더링을 제공하며, 샘플링된 부피 표현에 비해 저장 비용이 매우 적게 듭니다.

3. Neural Radiance Field Scene Representation

Fig. 2: 우리의 신경 방사도장(Scene) 표현과 미분 가능한 렌더링 과정 개요입니다. 우리는

(a)카메라 레이를 따라 5D 좌표(위치와 뷰 방향)를 샘플링하고,

(b)이러한 위치를 MLP에 입력하여 색상과 부피 밀도를 생성합니다.

(c)이후 볼륨 렌더링 기법을 사용하여 이러한 값들을 이미지로 복합합니다.

(d)이 렌더링 함수는 미분 가능하므로 합성된 이미지와 실제 관찰된 이미지 간의 잔차를 최소화하여 장면 표현을 최적화할 수 있습니다.

 

우리는 연속적인 장면을 5D 벡터 값 함수로 표현합니다. 이 함수는 3D 위치 x = (x, y, z)와 2D 뷰 방향 (θ, φ)을 입력으로 받고, 방출된 색상 c = (r, g, b)과 부피 밀도 σ를 출력으로 내보냅니다. 실제로는 방향을 3D 카테시안 단위 벡터 d로 표현합니다. 우리는 이 연속적인 5D 장면 표현을 MLP 네트워크 FΘ : (x, d) → (c, σ)로 근사화하고, 가중치 Θ를 최적화하여 각 입력 5D 좌표에 해당하는 부피 밀도와 방향성이 있는 방출 색상을 매핑합니다.

우리는 표현이 다중 뷰 일관성을 가지도록 장려하기 위해 네트워크가 부피 밀도 σ를 위치 x만의 함수로 예측하도록 제한하고, RGB 색상 c가 위치와 뷰 방향 모두의 함수로 예측될 수 있도록 허용합니다. 이를 위해 MLP FΘ는 먼저 입력 3D 좌표 x를 8개의 완전 연결층 (ReLU 활성화 함수와 각 층당 256개의 채널)로 처리하고, σ와 256차원의 특징 벡터를 출력합니다. 이 특징 벡터는 그 후에 카메라 레이의 뷰 방향과 연결되어 하나의 추가적인 완전 연결층 (ReLU 활성화 함수와 128개의 채널)을 통과하며 뷰 방향 종속적인 RGB 색상을 출력합니다.

비 Lambertian 효과를 표현하기 위해 우리의 방법이 입력 뷰 방향을 사용하는 예시는 Fig. 3에서 확인할 수 있습니다. Fig. 4에서는 뷰 종속성 없이 훈련된 모델이 반사를 표현하는 데 어려움을 겪는 것을 보여줍니다.

 

4. Volume Rendering with Radiance Fields

Fig. 3: 시야에 따라 발생하는 방향성에 의존하는 방출된 광도의 시각화. 우리의 신경 방사형 필드 표현은 공간 위치 x와 시야 방향 d의 5D 함수로 RGB 색상을 출력합니다. 여기서 우리는 선박 장면의 신경 표현에서 두 가지 공간 위치에 대한 예시 방향성 색상 분포를 시각화합니다. (a)와 (b)에서는 두 개의 다른 카메라 위치에서 두 개의 고정된 3D 지점의 외관을 보여줍니다: 선박의 측면 (주황색 삽입 그림)과 물 표면 (파란색 삽입 그림)에 위치한 지점입니다. 우리의 방법은 이 두 개의 3D 지점의 변화하는 반사 외관을 예측하며, (c)에서는 이러한 특성이 시야 방향의 전체 반구에 연속적으로 일반화되는 것을 보여줍니다.

 

우리의 5D 신경 방사형 필드는 장면을 공간의 어떤 점에서의 부피 밀도와 방향에 의해 방출되는 광원으로 표현합니다. 우리는 고전적인 부피 렌더링 원리를 사용하여 장면을 통과하는 광선의 색상을 렌더링합니다. 부피 밀도 σ(x)는 광선이 위치 x에서 무한소 입자에 도달하는 확률을 나타냅니다. 근처와 먼 경계 tn과 tf를 가진 카메라 광선 r(t) = o + td의 예상 색상 C(r)는 다음과 같이 계산됩니다:

여기서 T(t) = exp[-∫t tn σ(r(s))ds]는 근처 tn부터 t까지의 광선이 다른 입자에 충돌하지 않고 tn부터 t까지 이동할 확률을 나타냅니다. 연속적인 신경 방사형 필드에서 뷰를 렌더링하기 위해서는 가상 카메라의 픽셀을 통과하는 각 카메라 광선에 대해 이 적분 C(r)을 추정해야 합니다.

우리는 이 연속적인 적분을 수치적으로 적분법을 사용하여 추정합니다. 우리는 결정론적인 적분법이 아닌 계층적 샘플링 접근 방식을 사용합니다. 우리는 [tn, tf]를 N개의 동일한 간격으로 구간을 나눈 후 각 구간에서 균일한 무작위 샘플을 하나씩 뽑습니다:

적분을 추정하기 위해 이산적인 샘플 세트를 사용하지만, 계층화된 샘플링은 최적화 과정에서 MLP가 연속적인 위치에서 평가되도록 해 연속적인 장면 표현을 나타낼 수 있습니다. 우리는 이러한 샘플을 사용하여 적분 C(r)을 Max의 부피 렌더링 리뷰에서 논의된 적분 규칙을 사용하여 추정합니다 [26]:

여기서 Ti = exp[-∑(i-1)j=1 σjδj]는 i번째 샘플까지의 누적 투과도를 나타내며, δi = ti+1 - ti는 인접한 샘플 사이의 거리입니다. 이 (ci, σi) 값들로부터 Cˆ(r)를 계산하는 이 함수는 미분 가능하며, αi = 1 - exp(-σiδi)로 정의된 전통적인 알파 합성과 동일합니다.

 

Fig. 4: 이 그림에서는 우리의 전체 모델이 방향에 의존하는 방출 광도와 고주파수 위치 인코딩을 통과함으로써 어떻게 이점을 얻는지 시각화합니다. 방향 의존성을 제거하면 모델이 불도저 트레드의 반사 광선을 재현하지 못하게 됩니다. 위치 인코딩을 제거하면 고주파수 지오메트리와 질감을 표현하는 능력이 크게 감소하여 너무 매끄러운 외관이 되는 결과를 초래합니다.

5. Optimizing a Neural Radiance Field

이전 섹션에서는 신경 방출 광도 필드로 장면을 모델링하고 이 표현에서 새로운 뷰를 렌더링하기 위해 필요한 핵심 구성 요소를 설명했습니다. 그러나 이러한 구성 요소만으로는 최첨단 품질을 달성하기에 충분하지 않다는 것을 관찰했습니다(섹션 6.4에서 시연했습니다). 우리는 고해상도 복잡한 장면을 표현할 수 있도록 두 가지 개선을 도입합니다. 첫 번째는 입력 좌표의 위치 인코딩으로서 MLP가 고주파수 함수를 효과적으로 표현하는 데 도움을 줍니다. 두 번째는 고주파수 표현을 효율적으로 샘플링할 수 있는 계층적 샘플링 절차입니다.

5.1 Positional encoding

신경망이 범용 함수 근사기(Universal Function Approximator)라는 사실에도 불구하고, 우리는 네트워크 FΘ가 직접 xyzθφ 입력 좌표에 작용하는 것은 고주파수 색상과 기하학적 변동을 잘 표현하지 못하는 렌더링 결과를 보였습니다. 이는 최근 Rahaman 등의 연구 [35]와 일관성이 있으며, 그 연구는 심층 신경망이 낮은 주파수 함수를 학습하는 데 편향되어 있다는 것을 보여주었습니다. 또한, 입력을 고주파수 함수를 사용하여 고차원 공간으로 매핑한 후 네트워크로 전달하는 것이 고주파수 변동을 포함한 데이터를 더 잘 적합시킬 수 있음을 보였습니다.

우리는 이러한 연구 결과를 신경장면 표현의 맥락에서 활용하고, FΘ를 두 개의 함수 FΘ = F0Θ ◦ γ로 재구성하여 성능을 크게 향상시켰습니다(그림 4와 테이블 2 참조). 여기서 γ는 R을 더 높은 차원의 공간인 R 2L로 매핑하는 함수이고, F0Θ는 여전히 일반적인 MLP입니다. 형식적으로, 우리가 사용하는 인코딩 함수는 다음과 같습니다:

이 함수 γ(·)는 x의 각 좌표값과 카르테시안 방향 단위 벡터 d의 세 가지 구성 요소에 각각 별도로 적용됩니다(x의 좌표값은 [−1, 1]로 정규화됩니다). 우리의 실험에서는 γ(x)에 대해 L = 10, γ(d)에 대해 L = 4로 설정했습니다.

이와 유사한 매핑은 인기 있는 Transformer 아키텍처 [47]에서 사용되며, 이를 위치 인코딩(positional encoding)이라고 합니다. 그러나 Transformer는 순서 개념이 없는 아키텍처에 시퀀스의 토큰들의 이산적인 위치를 입력으로 제공하는 다른 목표로 사용됩니다. 대조적으로, 우리는 이러한 함수를 사용하여 연속적인 입력 좌표를 고차원 공간으로 매핑하여 MLP가 고주파수 함수를 더 쉽게 근사화할 수 있도록 합니다. 단백질 구조를 투영으로부터 모델링하는 관련 문제에 대한 동시 연구 [51]도 유사한 입력 좌표 매핑을 활용합니다.

5.2 Hierarchical volume sampling

우리의 렌더링 전략은 각 카메라 광선을 따라 N개의 쿼리 지점에서 신경 방사도 필드 네트워크를 밀도 있게 평가하는 것은 비효율적입니다. 렌더링된 이미지에 기여하지 않는 빈 공간과 가려진 영역도 반복적으로 샘플링됩니다. 우리는 볼륨 렌더링의 초기 작업에서 영감을 받아 예상되는 렌더링에 대한 샘플의 효과에 비례하여 샘플을 할당하여 렌더링 효율성을 향상시키는 계층적 표현을 제안합니다.

우리는 장면을 표현하기 위해 단일 네트워크를 사용하는 대신 두 개의 네트워크를 동시에 최적화합니다: 하나는 "거친(coarse)" 네트워크이고 다른 하나는 "세밀(fine)" 네트워크입니다. 우리는 먼저 계층적 샘플링을 사용하여 Nc개의 위치를 샘플링하고, 위에서 설명한대로 이러한 위치에서 "거친(coarse)" 네트워크를 평가합니다. 이 "거친(coarse)" 네트워크의 출력을 사용하여 광선을 따라 점들의 더 정교한 샘플링을 생성합니다. 이 샘플은 볼륨의 관련 부분을 중심으로 편향되어 있습니다. 이를 위해 "거친(coarse)" 네트워크에서의 알파 컴포지트된 색상 Cˆc(r)을 Eqn. 3의 모든 샘플 색상 ci의 가중합으로 다시 작성합니다.

이러한 가중치를 정규화하면 ˆwi = wi / PNc j=1 wj로 광선을 따라 조각별로 일정한 확률밀도함수(PDF)가 생성됩니다. 우리는 역변환 샘플링을 사용하여 이 분포에서 두 번째로 Nf개의 위치를 샘플링하고, 첫 번째와 두 번째 샘플의 합집합에서 "세밀(fine)" 네트워크를 평가하고, 모든 Nc+Nf 개의 샘플을 사용하여 광선의 최종 렌더링된 색상 Cˆf (r)을 계산합니다. 이 절차는 가시적인 콘텐츠가 있는 영역에 더 많은 샘플을 할당합니다. 이는 중요도 샘플링과 유사한 목표를 해결하지만, 우리는 각 샘플을 전체 적분의 독립적인 확률적 추정값으로 다루는 대신 샘플된 값을 전체 적분 영역의 비균일한 이산화로 사용합니다.

5.3 Implementation details

우리는 각각의 장면에 대해 별도의 신경망 연속적인 볼륨 표현 네트워크를 최적화합니다. 이를 위해 장면의 캡처된 RGB 이미지 데이터셋, 해당하는 카메라 포즈와 내부 매개변수, 그리고 장면 경계가 필요합니다(실제 데이터에 대해서는 COLMAP 구조로부터 우리는 카메라 포즈, 내부 매개변수 및 경계를 추정하기 위해 사용합니다). 각 최적화 반복에서 우리는 데이터셋의 모든 픽셀에서 무작위로 카메라 광선의 배치를 샘플링하고, Sec. 5.2에서 설명한 계층적 샘플링을 따라 coarse 네트워크로부터 Nc 개의 샘플을 쿼리하고 fine 네트워크로부터 Nc + Nf 개의 샘플을 쿼리합니다. 그런 다음 Sec. 4에서 설명한 볼륨 렌더링 절차를 사용하여 각 광선의 색상을 두 세트의 샘플에서 렌더링합니다. 손실은 간단히 coarse와 fine 렌더링의 렌더링된 픽셀 색상과 실제 색상 간의 총 제곱 오차입니다.

여기서 R은 각 배치의 광선 집합을 나타내고, C(r), Cˆc(r) 및 Cˆf (r)는 각각 광선 r에 대한 실제 색상, coarse 볼륨 예측 색상 및 fine 볼륨 예측 색상입니다. 최종 렌더링이 Cˆf (r)에서 나오지만, coarse 네트워크의 가중치 분포를 fine 네트워크에서 샘플 할 수 있도록 Cˆc(r)의 손실도 최소화합니다. 우리의 실험에서는 각각 Nc = 64의 좌표로 coarse 볼륨에서 샘플링되고, 추가로 Nf = 128의 좌표로 fine 볼륨에서 샘플링된 4096개의 광선 배치 크기를 사용합니다. 우리는 Adam 최적화기 [18]를 사용하며, 학습률은 5 × 10^−4에서 시작하여 최적화 과정 동안 지수적으로 5 × 10^−5까지 감소합니다 (다른 Adam 하이퍼파라미터는 기본값인 β1 = 0.9, β2 = 0.999, ε = 10^−7로 설정됩니다). 단일 장면의 최적화는 일반적으로 단일 NVIDIA V100 GPU에서 약 100-300k 반복을 통해 수렴하며 (약 1-2일 소요됩니다).

6. Results

저희는 양적으로 (표 1)와 질적으로 (그림 8 및 6) 저희 방법이 이전 연구를 능가한다는 것을 보여주고, 저희의 디자인 선택을 검증하기 위해 광범위한 테스트를 수행하여 설득력을 제공합니다 (표 2). 부록 동영상을 시청하면 저희의 방법이 기준 방법에 비해 새로운 뷰의 부드러운 경로를 렌더링할 때 얼마나 큰 개선을 보여주는지 더욱 잘 이해할 수 있습니다.

 

💡

<리뷰>

1. Intro

1. MLP 네트워크로 continuous scenes with complex geometry and materials을 표현하는 방식을 제안

2. classical volume rendering techniques 기반의 미분 가능한 렌더링 방식(MLP의 순방향 연산)을 제안. MLP는 렌더링 과정에서 얻은 값과 실제 데이터 사이의 오차를 미분해(미분 가능하므로) parameter 학습을 수행

3. 5차원 입력 데이터를 더 고차원 데이터로 mapping하는 positional encoding을 제안. positional encoding 덕분에 NeRF가 고주파의 scene을 성공적으로 표현할 수 있게 만들었습니다.

※ 여기서 더 높은 주파수를 표현할 수 있다는 말은 경계선을 표현하는 능력이 더 증가한다는 뜻

---

• 기존의 논문들은 2D view를 통해서 3D rendering view를 생성을 하기 위해서 여러 노력과 방법을 적용했음

• 기존의 방법들은, 성능이 안 좋거나, 너무나 많은 메모리를 요구한다는 단점으로 인해서 실생활에 적용시키기 어려움⇒ NeRF는 이러한 문제점들을 해결하여, 적은 메모리로도 높은 성능의 3D rendering을 할 수 있는 방법을 소개하고 있음

• NeRF의 경우, Novel View Synthesis 분야에 새로운 방식을 제안※ Novel View Synthesis란: Point Cloud나 Mesh, Voxel 등으로 표현되는 3D object 자체를 렌더링하는 것이 아닌, 3D object를 바라본 모습(이미지)들을 예측할 수 있는 모델을 만드는 것이 목표

• 3D 용어

  • Point cloud(포인트 클라우드): 3D 공간에서 객체의 표면을 나타내기 위해 여러 개의 점(Point)들로 이루어진 데이터 구조로, 각 점은 3D 좌표로 표현됩니다.

  • Mesh(메쉬): 3D 모델을 구성하는 정점(Vertex), 에지(Edge), 면(Face)으로 이루어진 구조로, 객체의 형태와 표면을 정확하게 표현할 수 있습니다.

  • Voxel(볼륨): Voxel은 3D 공간을 작은 3D 픽셀로 나눈 것으로, 각 볼륨 픽셀은 데이터 포인트로 사용되어 3D 객체를 표현합니다.

• 즉, 여기서는 물체를 바라본 모습의 이미지를 모든 방향에서 알 수 있다면(어디서 바라보더라도 해당 물체의 모습을 알 수 있을 경우) 이것 자체로도 물체를 3D 렌더링 했다고 봄

 

2. NeRF: Neural Radiance Field

http://youtube.com/watch?embeds_referring_euri=https%3A%2F%2Fwww.matthewtancik.com%2F&source_ve_path=MTM5MTE3LDI4NjY0LDE2NDUwMw&feature=emb_share&v=JuH79E8rdKc

💡

<전체 진행 과정>

1. 모든 점들에 대해 x,y,z,theta.. (3D에 대 행렬)값들을 구함

2. MLP 에 집어넣은 후, RGB 값으로 반환

3. 다른 점들도 마찬가지로 진행

4. 점들 중, sampling으로 선택된 애들에 대해 하나의 값으로 다시 합침 (Volume Rendering) 이라고 함

5. 하나의 점으로 만들어줌

 

6. 다른 모든 100장의 이미지에 대해서 진행한 후, 쏴주면 물체가 완성됨

• 100개의 input 이미지와 그에 해당되는 100개의 transpose 값들을 input으로 넣음※ transpose 값: 이미지를 찍은 3D 상의 위치로 변환시켜주는 행렬
• 

• 학습을 진행할 때 한 iteration마다 하나의 이미지를 Random Sampling 하여 NeRF 모델에 집어넣게 되는데,

• 해당 input 이미지가 400x400 해상도라고 가정하면, 한 이미지에 160,000개의 픽셀이 있고,

• 학습의 한 iteration을 돌릴 때마다 160,000개의 픽셀 중 4096개의 픽셀을 Sampling 하여 input으로 넣음. (5.3 Implementation Details)

※ Ray: 물체를 찍은 방향으로부터 물체를 향하도록 일직선으로 쏜 선들을 의미

• 즉, 400x400 이미지에는 160,000개의 Ray가 3D 물체 방향으로 일직선을 쏘게 됨

• Ray의 방향을 나타내는 viewing direction (d)값과 Ray 직선 내 포함되는 point들의 3d좌표값 coordinates (x : x,y,z)들을 모델 input 에 넣는다고 함

• input으로 들어갈 때, 모든 점들이 들어가는 것이 아니라, 일부만 sampling 해서 선택된 점들만 입력으로 들어감※ 256개의 point가 한 ray에서 sampling 된다고 치면, 한번 iteration이 돌 때 4096 x 256 = 2^20 개의 point들이 MLP 모델의 input에 들어간다고 일단 생각하면 된다고 함
• 

 

3. Model

• NeRF: 8개의 Linear Layer로 이루어진 MLP

• F(theta)가 이 모델이라고 할 수 있음

---

1. Input

• sample pixel from image 1024(2^10)개 , sample point from ray 64(2^6)개를 사용해서 input point가 총 65536(2^16)개라고 가정

⇒ 3D coordinates (x : x,y,z) 좌표를 포함하는 65536개의 point로 [65536 , 3] 이 input으로 들어감

2. Positional Encoding

• 3을 63으로 늘려줌 ⇒ 최종 [65536,63]이 Input으로 들어감

• Positional encoding: Deep Network의 경우, Lower Frequency(저주파)로 편향되어 저주파의 정보를 활용해서 학습하는 경향이 존재※ 딥 네트워크의 여러 층을 통과하면서 고주파 성분이 부분적으로 손실되거나 모호해지는 현상을 의미함 (pooling이나 stride과 같은 downsampling 혹은 활성화함수의 비선형 변환에 의해서 발생할 수 있음) ⇒ 필요한 특징만 추출하기에

💡

- 저주파 (Low Frequency): 저주파 성분은 주파수가 낮은 변화나 패턴을 의미합니다. 저주파 성분은 대체로 전체적인 구조나 일반적인 특징을 나타내는 경향이 있습니다. 예를 들어, 저주파 성분은 이미지에서 느슨한 경계, 전체적인 색상 또는 일반적인 형태 등과 같은 전반적인 정보를 포함할 수 있습니다.

- 고주파 (High Frequency): 고주파 성분은 주파수가 높은 변화나 세부적인 패턴을 의미합니다. 고주파 성분은 미세한 세부 사항이나 날카로운 변화, 작은 특징을 나타내는 경향이 있습니다. 예를 들어, 고주파 성분은 이미지에서 날카로운 경계, 선명한 세부 텍스처, 작은 오브젝트 등과 같은 세부적인 정보를 포함할 수 있습니다. ⇒ 초기 층에서는 주로 저주파 성분에 반응하는 필터를 사용해서 전반적인 구조와 일반적인 특성을 학습. 이후 층에서는 점차 고주파 성분에 민감한 필터를 사용해서 세부적인 특징과 변화를 민감하게 학습함.

• 그래서, NeRF는 Positional Encoding 과정을 통해 input에 대한 정보를 늘려주고자 함 ( Data augmentation) 개념으로 생각하면 됨

1. (얘는 위치에 대한 값) 3D 좌표에 대해 L=10일 경우, sin은 2^0 ~ 2^9, cos도 2^0 ~ 2^9이기에, 총 20개의 데이터가 생성됨 . 여기서 x,y,z에 대한 값이 p에 하나씩 들어가야 하기에 결국 20*3=60개의 데이터가 생성됨.

2. (얘는 방향에 대한 값) Viewing Direction(d)(뒷쪽 레이어에 있음. input x) 에 대해 L=4인 경우, sin은 2^0 ~ 2^3, cos도 2^0 ~ 2^3이기에 총 8개의 데이터가 생성됨.※ 여기서 viewing direction은 방향을 나타내는 3차원 벡터라고 함 ⇒ 즉 얘도 8*3을 하면 24개의 데이터가 생성하게 됨.

3. 8개의 layer을 거침

• density output을 뽑아냄 (x,y,z,theta) 뭐시기

4. Ray의 viewing direction (d) 값을 input으로 넣음

• positional encoding 한 값 (24개 데이터)

💡

💢 viewing direction(물체를 바라보는 방향) 이때, viewing direction(d) 를 넣는 이유? : 물체를 바라보는 방향 때문에, RGB 값 또한 달라진다!! 그렇기 때문에, density를 얻어낸 후(좌표), input으로 viewing direction 값이 모델 후반에 추가적으로 들어가게 됨. !!!! (3D 좌표값은 RGB와 density 둘다 영향을 준다고 함)

5. 최종 RGB output 값을 얻어냄

 

 

4. Volume Rendering

• Model의 Output으로 나온 한 Ray의 Color와 density 값들은 한 pixel로 합쳐지는 Volume Rendering 과정을 거침.

• 합쳐진 pixel rgb값은 실제 이미지의 pixel rgb값과 MSE Loss를 거쳐 Back propagation을 통해 학습이 진행됨.

• Ray 내에서 point들을 샘플링할 때, 물체가 있을법한 범위를 정해두고 가장 가까운 point를 near, 가장 먼 point를 far로 정함

💡

투과도T(t): 앞에 가려진 부분의 density가 클수록(방해되는 것이 많을수록), 해당 weight 값이 작아진다(잘 보이지 않기에) 는 개념 ex) 우리가 바라본 시점에 객체가 없으면 멀리 있는 것도 보이지만 앞에 불투명한 객체가 있으면 가까이 있는 객체만 보인다는 개념에서 wieght를 작게 부여.

• 수식적으로는 t_n 에서 t_f 까지 점들의 투과도 X density X color(rgb) 를 적분하여 Volume Rendering을 완성함

• t_n와 t_f 사이의 point들을 Random Sampling 하여 모델에 넣어 color, denity 값을 구한 후,

위 값들 ( 투과도 X density X color(rgb) ) 을 모두 더함

• Random Sampling을 하는 이유는 Ray를 등분해서 discrete한(일정한) 데이터를 뽑아내게 되면, 한정된 점만 뽑히기 때문에 continuous하지 못한 모델이 되기 때문이라고.

• 이 과정이 일단 기본적인 모델 구조이고, Coarse Model 이라고 함

• 성능을 끌어올리기 위해 ray 내에 density가 높은 부분에 추가적인 Sampling을 진행하여 전체적인 모델을 완성시킴 ⇒ Fine Model이라고 표현 (6. Hierarchival Volume Sampling)

 

 

5. Hierarchical Volume Sampling

• 바로 윗 단계에서 NeRF는 한 단계 더 진행함.

• density가 높은 값들을 위주로 다시 Sampling 하여 Volume Rendering시킴.

• density가 높은 쪽에 분포한 point들이 실제로 의미있는 값들이 많을 것이라는 가정이 수식의 표현

• Coarse Model(C_c)을 돌려서 나온 값과 GT(실제값)와의 Loss, Fine Model(C_f)을 돌려서 나온 값과 GT와의 Loss 를 각각 구하여 더한 것으로 전체 Loss를 정함.

• Coarse Network 와 Fine Network의 Loss를 더해줌

 

 

6. Results

• PE는 ‘Positional Encoding’, VD는 ‘View Dependence’, H는 ‘Hierarchical Sampling’을 의미

 

7. Reference

https://nuggy875.tistory.com/168

https://velog.io/@minkyu4506/NeRF-Representing-Scenes-asNeural-Radiance-Fields-for-View-Synthesis-리뷰

<무한한 감사…합니다.. 없었다면 이해하기 너무 힘들었을 것 같아요 감사합니다!>