英伟达联合多伦多大学最新提出用于高效神经辐照场渲染...

谷谷小师妹

英伟达联合多伦多大学最新提出用于高效神经辐照场渲染的自适应外壳！

作者：巴巴塔 | 来源：3DCV

在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接

添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群

1、导读

神经辐射场渲染是一种用神经网络表示场景的方法，可以生成逼真的新视角图像。然而，神经辐射场渲染的计算复杂度较高，导致训练和推理速度较慢。因此，本文旨在提出一种自适应外壳（Adaptive Shells）的方法，以加速神经辐射场渲染，并在保持视觉质量的同时提高效率。

2、贡献

• 我们提出了一种神经辐射公式，可以在基于体积和基于表面的渲染之间平滑过渡，大大加快渲染速度，甚至提高视觉保真度。
• 我们的方法构建了一个显式的网格包络，它在空间上限制了神经体积表示。在实体区域中，包络几乎会聚到一个表面，并且通常可以使用单个样本进行渲染。
• 实验表明，我们的方法能够以非常高的保真度实现高效渲染。
  

3、方法

我们通过对显式薄壳内的体积渲染进行有效采样来演示高保真、高效的神经隐式场景重建，该薄壳会自动适应视觉目标。

英伟达联合多伦多大学最新提出用于高效神经辐照场渲染的自适应外壳！© 由 商业新知 提供

在这篇论文中，作者提出了一种自适应壳层方法来提高神经辐射场渲染的效率。该方法利用了显式几何来加速性能，同时保持或提高感知质量。该方法通过提取一个窄带网格来适应场景的局部复杂性，并在渲染过程中分配所需的样本数量，以准确地表示地面真实外观。与传统的体积渲染方法相比，该方法能够更好地分配计算成本，从而实现高效的新视角合成。该方法的主要步骤包括：

• 提取窄带网格：根据场景的局部复杂性，从体积表示中提取一个窄带网格。这个窄带网格可以很好地近似表面，并且只需要在网格中间的一个点采样即可。
• 分配样本数量：根据场景的不同区域，分配不同数量的样本来表示地面真实外观。对于复杂的模糊表面，需要更多的样本来准确表示外观；而对于光滑的不透明表面，只需要在射线与表面相交的点采样一个样本即可。
  
• 辅助加速数据结构：引入辅助加速数据结构，以促进空间跳过，从而进一步提高渲染效率。通过这些步骤，该方法能够在保持感知质量的同时，更高效地进行神经辐射场渲染。
  

3.1、提取窄带网格

作者提出了一种自适应的窄带渲染方法，用于加速神经辐射场（Neural Radiance Field）的渲染过程。该方法通过提取窄带网格来指导光线的采样，从而在保持感知质量的同时实现高效的渲染。具体而言，作者首先使用一种流体动力学方法来计算出适应场景局部复杂性的自适应壳（adaptive shell）。这个自适应壳由两个边界网格组成，一个是外壳边界网格，一个是内壳边界网格。这两个网格定义了一个窄带区域，其中包含了需要进行采样的点。在渲染过程中，对于每条光线，我们使用硬件加速的光线追踪方法来计算光线与自适应壳的交点。在这里推荐工坊课程基于深度学习的三维重建MVSNet系列论文+源码+应用+科研

英伟达联合多伦多大学最新提出用于高效神经辐照场渲染的自适应外壳！© 由 商业新知 提供

通过计算光线与壳的交点，我们将光线分割成多个区间，每个区间都包含在窄带区域内。在每个区间内，我们均匀采样点来进行渲染。这种方法不需要动态自适应采样或者基于采样的终止条件，从而实现了高性能的并行计算。为了确定每个区间内的采样数量，我们使用了一个目标采样间距和一个单样本阈值。

3.2、分配样本数量

根据给定的表格，我们可以看到在MipNeRF360数据集上，我们的方法对每个场景分配的样本数量如下：Bicycle: 16.33 Garden: 14.05 Stump: 22.81 Room: 17.14 Counter: 22.24 Kitchen: 14.49 Bonsai: 14.80 这些样本数量是根据我们的自适应壳层方法计算得出的，以确保在保持图像质量的同时尽可能减少样本数量。

3.3、辅助加速数据结构

辅助加速数据结构是指在渲染过程中使用的一种数据结构，用于提高渲染效率。这些数据结构可以帮助减少不必要的计算和内存消耗，从而加快渲染速度。在本篇论文中，作者提到了一种辅助加速数据结构，即用于跳过空白空间的网格结构。这个网格结构可以帮助减少需要进行渲染的体素数量，从而提高渲染效率。通过跳过空白空间，可以减少需要进行采样的体素数量，从而减少了计算量。这种辅助加速数据结构的使用可以在一定程度上提高渲染速度，但同时也需要权衡渲染质量。因为跳过空白空间可能会导致一些细节丢失，从而影响渲染结果的质量。因此，在设计辅助加速数据结构时需要综合考虑渲染速度和渲染质量之间的平衡。

英伟达联合多伦多大学最新提出用于高效神经辐照场渲染的自适应外壳！© 由 商业新知 提供



3.4、损失函数

在训练过程中，我们使用两个阶段来优化模型的参数。第一阶段是使用完全体积形式的NeRF模型，通过最小化以下目标函数进行训练：

英伟达联合多伦多大学最新提出用于高效神经辐照场渲染的自适应外壳！© 由 商业新知 提供

其中，是标准的像素级颜色损失，用于与校准的真实图像进行比较。是Eikonal正则化项，用于约束场的梯度。规范了我们公式中引入的空间变化的内核大小。是用于训练预测的几何法线的损失，以使其与通过有限差分计算得到的法线保持一致。

在第二阶段，我们使用窄带采样的NeRF模型进行微调。由于我们已经提取出了自适应壳并将采样限制在了一个小范围内，因此不再需要鼓励几何上良好的表示。因此，我们只使用来优化模型，以提高视觉保真度。通过这两个阶段的训练，我们可以得到一个高质量的NeRF模型，用于渲染新视角的图像。

4、实验结果

本研究采用了两个数据集进行实验评估：Shelly数据集和DTU数据集。

• Shelly数据集：
  
  • Shelly数据集是本研究新引入的合成数据集，包含了六个物体级别的场景：Khady、Pug、Kitty、Horse、Fernvase和Woolly。
  • 对于每个场景，我们从随机的相机位置渲染了128个训练视角和32个测试视角。
  • 我们使用了峰值信噪比（PSNR）、学习感知图像补丁相似度（LPIPS）和结构相似度（SSIM）等常用评估指标来量化渲染质量。
  • 此外，我们还报告了每个像素所需的沿射线采样数，以评估方法的计算复杂性。
    
• DTU数据集：
  
  • 我们选择了DTU数据集中的15个桌面场景进行实验评估。
  • 这些场景是由机器人持有的单目RGB相机捕捉的，并且通常用于评估隐式表面表示方法。- 我们要求方法表示整个场景，但仅在提供的物体掩码内评估性能。
  • 我们使用了相同的评估指标（PSNR、LPIPS和SSIM）来量化渲染质量。
    
  
  

英伟达联合多伦多大学最新提出用于高效神经辐照场渲染的自适应外壳！© 由 商业新知 提供




英伟达联合多伦多大学最新提出用于高效神经辐照场渲染的自适应外壳！© 由 商业新知 提供




英伟达联合多伦多大学最新提出用于高效神经辐照场渲染的自适应外壳！© 由 商业新知 提供




英伟达联合多伦多大学最新提出用于高效神经辐照场渲染的自适应外壳！© 由 商业新知 提供




英伟达联合多伦多大学最新提出用于高效神经辐照场渲染的自适应外壳！© 由 商业新知 提供




英伟达联合多伦多大学最新提出用于高效神经辐照场渲染的自适应外壳！© 由 商业新知 提供

总结起来，本研究通过在Shelly数据集和DTU数据集上进行实验评估，使用了多个评估指标来量化渲染质量，并报告了每个像素所需的沿射线采样数，以评估方法的计算复杂性。实验结果表明，我们的方法在各项指标上均优于基线方法，具有更高的渲染质量和更高的效率。

5、结论

本研究结论是提出了一种自适应外壳方法，用于提高神经辐射场渲染的效率。通过在神经辐射场中提取窄壳，可以根据场景的局部复杂性来调整表示，从而加速渲染过程。实验结果表明，该方法在保持渲染质量的同时，显著减少了采样数量和计算复杂度。这对于神经辐射场的训练和推断都具有重要意义。