作者：小柠檬 | 来源：3DCV

在公众号「3DCV」后台，回复「原论文」可获取论文

添加微信：dddvision，备注：3D高斯，拉你入群。文末附行业细分群

1、导读

文章介绍了3D高斯喷洒在场景重建和渲染中的应用，并探讨了其在机器学习和计算机视觉领域的潜在应用。文章还提供了3D高斯喷洒的基本原理和优化方法，并讨论了其在不同应用领域的潜在影响和挑战。该调查旨在为研究人员和从业者提供关于3D高斯喷洒的全面了解，并促进该领域的进一步研究和创新。

2、背景

3D Gaussian Splatting。它是一种用于场景重建和表示的方法，通过将场景中的点云数据转化为高斯函数的形式来进行建模。该方法可以用于多个应用领域，如机器人技术、自动驾驶、人体建模等。

在优化过程中，3D高斯喷洒通过参数优化和密度控制来提高重建质量。参数优化包括损失函数的计算和参数更新，而密度控制则包括点密集化和点修剪两个阶段，用于控制高斯函数的密度。

3D高斯喷洒方法在多个应用领域中取得了显著的性能提升，并展示了其在场景表示方面的潜力。未来的研究方向包括数据有效的3D高斯喷洒解决方案等。

3、3D Gaussian Splatting

3D高斯散射（3D Gaussian Splatting）是一种用于显式辐射场表示的方法。它利用3D高斯函数作为灵活且高效的表示方式，将场景的辐射信息存储在离散的空间结构中。这种方法结合了隐式和显式辐射场的优点，旨在实现高质量的渲染，并具有更快的训练和实时性能。3D高斯散射的表示形式如下：

其中，是具有均值和协方差的高斯函数，表示与视角相关的颜色。通过使用3D高斯散射，可以更准确地表示场景的辐射分布，并且在复杂场景和高分辨率输出时具有更快的训练和渲染速度。这种方法在深度学习和计算机图形学领域中具有广泛的应用前景。

4、应用领域

这些领域包括：

• 同时定位与地图构建（SLAM）：3D高斯喷洒在SLAM中用于场景表示，提供了高效、准确和适应性的优势。它在自动驾驶、增强现实和机器人导航等应用中发挥着重要作用。

• 动态场景建模：3D高斯喷洒可以扩展到动态场景中，用于表示和渲染随时间变化的场景。它在虚拟现实、3D动画和计算机视觉等领域中具有重要应用。

• 自动驾驶：在自动驾驶中，3D高斯喷洒可以用于重建场景，特别是处理静态背景和动态物体的变化密度，以实现平滑和准确的重建。

• 渲染静态场景：3D高斯喷洒可以用于将计算机可读信息转换为像素图像，用于评估渲染结果的质量。这些应用和任务都展示了3D高斯喷洒在不同领域中的潜力和优势。

5、性能比较

在文中，作者进行了几个性能比较的实验，包括在驾驶场景和人物建模方面的性能比较。

在驾驶场景方面，作者使用了nuScenes数据集，并与基于NeRF的方法进行了比较。结果表明，基于3D高斯喷洒的方法在所有评估指标上明显优于NeRF方法。例如，DrivingGaussian-L在PSNR方面比S-NeRF高出3.31dB，显示了3D高斯喷洒在自动驾驶场景中的巨大潜力。

在人物建模方面，作者使用了ZJU-MoCap数据集，并与基于3D高斯喷洒的方法进行了比较。结果表明，基于3D高斯喷洒的方法在渲染质量和速度方面都表现出更好的性能。例如，GART在PSNR方面比Instant-NVR高出1.21dB，而Human101在速度上比Instant-NVR快约68倍，同时保持了竞争力的准确性。

综上所述，基于3D高斯喷洒的方法在驾驶场景和人物建模方面都展现出了优越的性能。

6、未来研究方向

未来研究方向有以下几个方面：

数据高效的3D高斯喷洒解决方案

在有限的数据点上生成新视角和重建场景对于增强真实感和用户体验具有重要意义。最近的研究已经探索了使用深度信息、密集概率分布和像素到高斯的映射等方法来实现这种能力。然而，在这个领域仍然需要进一步的探索。

此外，3D高斯喷洒的一个显著问题是在观测数据不足的区域出现伪影。这个挑战在辐射场渲染中是一个普遍存在的限制，其中稀疏数据经常导致重建的不准确性。因此，开发在这些稀疏区域进行数据插值或整合的新方法是未来研究的一个有前景的方向。

内存高效的3D高斯喷洒解决方案

尽管3D高斯喷洒展示了显著的能力，但其可扩展性在与基于NeRF的方法相比时面临重大挑战。后者受益于仅存储学习到的MLP的参数的简单性。在大规模场景管理的背景下，这个可扩展性问题变得越来越严重，计算和内存需求大幅增加。因此，在训练阶段和模型存储中优化内存利用是一个迫切需要解决的问题。探索更高效的数据结构和研究先进的压缩技术是解决这些限制的有前景的途径。

高级渲染算法

目前3D高斯喷洒的渲染流程相对简单，可以进一步优化。例如，简单的可见性算法可能导致高斯的深度/混合顺序发生剧烈变化。这为未来研究提供了一个重要机会：实现更高级的渲染算法。

这些改进的方法应该旨在更准确地模拟光线和材质属性在给定场景中的复杂相互作用。一个有前景的方法可能涉及将传统计算机图形学中的改进渲染技术或混合模型整合到当前的3D高斯喷洒计算框架中。此外，探索逆渲染及其应用为研究提供了一个富有潜力的领域。

优化和正则化

各向异性高斯在表示复杂几何体方面具有优势，但可能会产生不良的视觉伪影。例如，在视角相关外观的区域中，那些大的3D高斯可能会导致突然出现或消失的伪影，破坏沉浸感。在3D高斯喷洒的正则化和优化方面有很大的探索潜力。

引入抗锯齿技术可以减轻深度和高斯混合顺序的突变。优化算法的改进可能更好地控制空间和其他方面的高斯。此外，将正则化引入优化过程中可能加速收敛，平滑视觉噪声或提高图像质量。

3D高斯在网格重建中的应用

3D高斯在网格重建中的潜力及其在体积和表面表示的范围中的位置尚未完全探索。怎样将高斯原语适应于网格重建任务的研究是迫切需要的。这种探索可以弥合体积渲染和传统基于表面的方法之间的差距，为新的渲染技术和应用提供见解。

赋予3D高斯更多的可能性

尽管3D高斯具有重要的潜力，但其应用范围仍然大部分未被开发。一个有前景的探索方向是增强3D高斯的能力。这可能涉及将3D高斯与其他技术和方法相结合，以实现更广泛的应用。

7、总结

3D高斯喷洒是一种强大的场景表示方法，在多个任务中都取得了显著的性能提升。未来的研究方向可以包括提高数据效率、进一步优化算法设计等方面。

专业！3D视觉视频课程

3D视觉工坊精品课程官网：3dcver.com

我们的3D视觉学习平台包含：相位偏折术、面结构光高阶、结构光、机械臂抓取、工业点云实战、Open3D、深度学习缺陷检测、3D缺陷检测、BEV&Occ、Transformer、模型部署、3D目标检测、单目深度估计、车载标定、规划与控制、无人机、三维视觉C++、三维视觉python、dTOF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、激光-视觉-IMU-GPS融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪。

▲长按扫码学习3D视觉精品课程

最早成立！国内3D视觉学习圈子

我们的3D视觉学习圈子「3D视觉从入门到精通」知识星球、国内成立时间最早、6000+成员交流学习。包括：星球专属课程近20门（价值超6000）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。国内超一流3D视觉学习圈子！欢迎您扫码加入我们的学习圈子知识星球。

▲长按扫码加入星球

重磅！3D视觉交流群

大家好，群里会第一时间发布3D计算机视觉方向的最前沿论文解读和交流分享，主要方向有：

视觉SLAM、激光SLAM、语义SLAM、NeRF-SLAM、路径规划、相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、阵列相机、光度立体视觉、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图、深度估计、Transformer、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、BEV感知、Occupancy、目标跟踪、四旋翼建模、无人机飞控、求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产群。

添加微信: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

▲长按扫码添加助理