三维场景重建谁更有优势？NeRF与3D GS方法对比
本研究探索了神经辐射场（NeRF）和基于高斯的方法在3D场景重建中的能力，将这些现代方法与传统的SLAM系统进行了对比。使用Replica和ScanNet等数据集，我们根据跟踪精度、建图保真度和视图合成来评估性能。研究结果表明，NeRF在视图合成方面表现出色，在从现有数据生成新视角方面提供了独特的能力，尽管处理速度较慢。相反，基于高斯的方法提供了快速的处理和显著的表现力，但也提供了全面的场景完成。通过全局优化和循环闭合技术的增强，NICE-SLAM和SplaTAM等新方法不仅在鲁棒性方面让ORB-SLAM2等旧框架感到惊讶，而且在动态和复杂环境中表现出卓越的性能。这种比较分析将理论研究与实际意义联系起来，为各种现实世界应用中鲁棒3D场景重建的未来发展提供了线索。
SLAM的最新进展极大地利用了深度学习来提高3D重建和相机跟踪的鲁棒性和准确性。如NICE-SLAM所示，神经隐式表示的使用允许通过基于分层网格的编码对大规模室内场景进行详细重建，该编码有效地管理了局部更新并优化了观看挫折中的场景表示。此外，[9]中的综合评估表明，所提出的方法优于其他最先进的方法，通过集成专用架构为自动胃肠道分割提供了一种新的解决方案。
SLAM的另一个关键进展是引入了全局优化技术。例如，GO-SLAM实时集成了loop closure和full bundle adjustment，解决了之前在处理后执行这些优化的工作的局限性。将深度学习持续集成到SLAM过程中不仅增强了这些系统的适应性，而且显著降低了处理复杂数据集的延迟。
尽管有这些创新，3D重建仍然是一个复杂的挑战，现有的算法往往在一个方面表现出色，而在其他方面则有所妥协。本文重点比较了两种最先进的3D重建算法。我们分析了神经辐射场（NeRF）和基于高斯的方法，强调了它们各自的优缺点。NeRF虽然速度较慢，但能够实现新颖的视图合成，在从现有数据生成新视角方面提供了前所未有的能力。相比之下，基于高斯的方法以其速度和表现力而闻名，但在场景完成等对全面环境理解至关重要的任务方面存在不足。
这些创新方法与传统SLAM系统之间的比较分析表明，性能有了显著提高。GO-SLAM等技术不仅在跟踪精度上超越了ORB-LAM2和DROID-SLAM等旧系统，而且在3D重建的保真度上也超越了它们，特别是在传统方法中通常会导致误差累积和不一致的具有挑战性的条件下。最终，这项研究旨在弥合理论进步和实际应用之间的差距，提供可以指导3D场景重建领域未来发展的见解。
1）Replica：副本数据集包含18个逼真的3D室内场景，涵盖了办公室、酒店房间和公寓等各种环境。这些场景细节丰富，展示了密集的网格、高动态范围（HDR）纹理、语义层和反射特性。该数据集使用定制的RGB-D捕获装置创建，可同步IMU、RGB和IR数据，在提供全面的空间和纹理数据方面表现出色，非常适合测试基于NeRF的模型的精细渲染能力。
2） ScanNet：ScanNet包含1513次不同室内位置的3D扫描的250多万次浏览，并配有详细的注释。该数据集使用连接到iPad等手持设备的结构传感器，捕获大量的环境数据。ScanNet的离线处理阶段将这些捕获增强为全面的3D场景重建，包括精确的6-DoF相机姿态和语义标记。
评测指标主要考虑以下几个方面：
本节利用两个主要性能指标：渲染质量和跟踪精度，评估和比较了四种最先进的3D场景重建算法的性能：NICE-SLAM、Point SLAM、SplaTAM和Gaussian Splatting SLAM。这些评估的数据来源于在Replica数据集上进行的实验。
1）渲染性能：渲染性能通过三个指标进行量化：PSNR、SSIM和LPIPS。PSNR和SSIM值越高，表示图像重建质量越好，而LPIPS值越低，表示与GT的感知相似性越近。
2）跟踪性能：跟踪精度使用ATE RMSE度量进行评估，其中较低的值表示更精确的轨迹跟踪。
3）整体评估：在考虑渲染和跟踪性能时，Point SLAM和SplaTAM脱颖而出，为高保真度和精度的3D场景重建提供了强大的解决方案。NICE-LAM虽然有效，但在复杂条件下显示出局限性。Gaussian Splatting SLAM提供了出色的渲染结果，但在所有场景中保持一致的跟踪精度方面面临挑战。
本研究使用详细和多样化的Replica数据集，对四种领先的3D场景重建算法：NICE-SLAM、Point SLAM、SplaTAM和Gaussian Splatting SLAM进行了全面评估。研究结果表明，虽然每种算法都表现出独特的优势，但Point SLAM和SplaTAM在渲染和跟踪精度方面通常表现出色。这些算法为精确的3D场景重建提供了稳健的解决方案，证明了它们在各种现实世界环境和挑战中的适用性。这项研究承认了几个局限性。这些算法的计算效率和实时处理能力没有得到详尽的量化，这是机器人和增强现实应用的关键因素。该研究也没有考虑硬件性能的可变性，这会显著影响每种算法的有效性。未来的研究应致力于通过扩展评估框架来解决上述局限性，以包括室外环境和更动态的场景。通过继续完善这些算法，未来的研究可以为现有和新兴领域的更广泛应用和改进铺平道路。
[1] Evaluating Modern Approaches in 3D Scene Reconstruction: NeRF vs Gaussian-Based Methods
欢迎star和follow我们的仓库，里面包含了BEV/多模态融合/Occupancy/毫米波雷达视觉感知/车道线检测/3D感知/多模态融合/在线地图/多传感器标定/Nerf/大模型/规划控制/轨迹预测等众多技术综述与论文；
