abstract

三维（3D）重建技术不仅是计算机视觉和图形学的核心关键技术，也是推动虚拟现实（VR）、增强现实（AR）、自动驾驶和数字地球等众多前沿应用蓬勃发展的关键力量。随着诸如神经辐射场（NeRF）和三维高斯点阵（3DGS）等新型视图合成技术的兴起，3D重建正面临前所未有的发展机遇。本文介绍了传统3D重建方法的基本原理，包括基于运动的结构（SfM）和多视图立体（MVS）技术，并分析了这些方法在处理复杂场景和动态环境方面的局限性。本文重点关注与NeRF相关的隐式3D场景重建技术，探讨了利用深度神经网络从有限视角学习和生成高质量3D场景渲染的优势和挑战。基于近年来出现的 3DGS 相关技术的原则和特点，对渲染质量、渲染效率、稀疏视图输入支持以及动态 3D 重建方面的最新进展和创新进行了分析。最后，深入探讨了当前 3D 重建技术和新颖视图合成技术所面临的挑战和机遇，并讨论了未来可能的技术突破和发展方向。本文旨在为数字孪生和智慧城市等领域从事 3D 重建技术研究的人员提供全面的视角，同时为未来的技术创新和广泛应用开辟新的思路和途径。

关键词：3D 重建；深度学习；多视图几何；NeRF；3DGS

1.引言

3D 重建技术作为计算机视觉和图形学领域中的关键性技术之一，致力于将现实世界中的物体和场景转化为复杂的数字 3D 模型。随着虚拟现实/增强现实、自动驾驶、智慧城市和文化遗产保护等众多领域的快速发展，3D 重建技术的应用范围显著扩大，并成为推动数字化转型和智能化发展的重要力量。通过高精度建模和详细场景还原，三维重建能够精确复制现实世界中的复杂结构和动态变化，为城市规划、基础设施建设以及文物古迹保护等诸多领域提供了强有力的支持。

传统的三维重建方法在静态场景中取得了显著成果；但随着对动态环境和复杂场景需求的增长，其在计算效率、精度和适应性方面的局限性愈发凸显。例如，在重建大规模和复杂场景时，传统方法常常面临计算复杂度高和数据采集困难等问题[2]。为应对这些挑战，近年来，得益于深度学习技术的创新和新视角合成技术的发展，三维重建领域取得了重大进展。例如，神经辐射场（NeRF）将隐式表示与深度神经网络相结合，能够从不同视角实现高质量的场景渲染，呈现出更逼真的细节和光照效果[3]。另一方面，3D 高斯点阵（3DGS）利用显式的高斯基元来表示场景并执行新颖视图合成，从而提高渲染质量（即渲染图像的视觉保真度和细节），并提升效率，同时拓展了 3D 重建技术在动态场景中的潜在应用[4]。尽管这些新兴技术在某些领域取得了突破，但 3D 重建技术在实时渲染、动态场景处理和高效数据处理方面仍面临诸多挑战。因此，未来的研究不仅要解决这些技术瓶颈，还要进一步将深度学习与传统几何方法相结合，以增强 3D 重建技术在复杂环境中的适应性和实际效果[5]。

在这种情况下，近年来有多篇综述文章系统地总结了三维重建技术，但它们的研究视角各不相同。有些综述全面概述了基于传统几何的三维重建技术[1]，主要关注结构从运动（SfM）和多视图立体（MVS）的原理、工作流程和优化策略。这些研究强调了几何精度、重建稳定性和对静态场景的适用性；然而，它们对深度学习方法和隐式表示技术的覆盖范围有限，并且缺乏对复杂和动态场景重建的讨论。其他研究则基于神经辐射场（NeRF）的隐式表示方法，系统地回顾了 NeRF 的理论基础、网络设计和多视图渲染质量[6，7]。它们详细阐述了其在细节恢复和光照处理方面的优势，同时也指出了诸如高训练成本、对稀疏视图数据的敏感性以及对动态场景适应性有限等问题。然而，这些研究主要专注于隐式表示方法本身，与传统的 SfM/MVS 方法或新兴的显式方法（如 3D 均值平铺法（3DGS））相比，几乎没有进行比较，因此缺乏跨代的技术分析。此外，一些综述关注基于深度学习的 3D 重建方法的整体发展[8]，包括卷积神经网络、图神经网络和自监督学习，系统地总结了模型设计和训练策略，但对渲染质量和计算效率的讨论相对有限。其他研究则专注于 3DGS 的最新进展[9]，分析了高斯基本形表示、稀疏视图合成和渲染效率优化。然而，这些研究没有充分将 3DGS 与传统的基于几何的方法和 NeRF 方法进行对比定位，也没有对动态或大规模场景重建提供深入分析。

总之，尽管现有的综述文章在其各自的研究领域内具有一定的系统性和深度，但仍存在明显的局限性。这些局限性主要体现在：大多数综述仅专注于某一类方法，缺乏跨代比较，从而无法全面呈现基于传统几何方法、隐式表示方法和新兴显式方法的技术演变及其之间的关系。此外，对于诸如渲染质量、计算效率、稀疏视图支持以及对动态场景的适应性等关键指标的多维度分析仍显不足。而且，对于未来的发展趋势和潜在的研究挑战的讨论也相对有限。

为弥补这些不足，本文提出了一个跨代和多维度的综述视角，其新颖之处体现在三个方面

：（1）技术演进的系统性综述：本文从传统的结构从动量（SfM）[10,11,12,13,14,15,16]和多视图立体（MVS）[17,18,19,20,21]方法入手，详细阐述了它们的发展历程，并进一步总结了基于神经辐射场（NeRF）和三维高斯喷溅（3DGS）的新兴方法，展示了从明确的几何建模到隐式深度表示的三维重建技术的跨代演进过程。

（2）多维度对比分析：从渲染质量、计算效率、稀疏视图支持能力以及动态场景重建等关键维度出发，本文对不同方法进行了全面比较，揭示了它们各自的优点和局限性，从而为研究人员提供了理解技术特性和选择合适方法的指导。

（3）挑战识别与未来方向：基于系统的综述和对比分析，本文总结了 3D 重建中实时渲染、动态场景处理以及高效数据管理方面的主要挑战，并探讨了潜在的研究突破和未来的发展方向，旨在为后续研究提供系统的指导，并推动该领域的技术进步和实际应用。

2. 传统的 3D 重建技术

基于多视图几何理论的传统 3D 重建方法具有显著优势，例如直观的可视化效果、清晰的结构表达以及强大的兼容性。经典算法，如 SfM，会生成稀疏点云，并通过在图像之间匹配特征点并应用几何原理来准确估计相机姿态。在此基础上，基于多视图几何的 MVS 技术通过多视图图像的密集匹配进一步计算出密集点云，并采用诸如 Poisson 曲面重建 [22] 或德劳内三角剖分 [23,24] 等高级算法来生成精确的网格模型。在这个多视图几何框架内，常用的特征匹配算法包括尺度不变特征变换（SIFT）[25]、加速稳健特征（SURF）[26] 和定向快速角点和旋转基布尔码（ORB）[27]。这些方法能有效地从图像中提取稳定的特征点，为 3D 重建提供了可靠的基础。然而，早期的 3D 重建算法通常依赖于预先校准的相机或沿特定轨迹的运动，这限制了其适用范围，并且仅能在静态且已知的环境中实现有效的重建。基于多视图几何的 3D 重建过程如图 2 所示。

随着三维重建技术的不断发展，尤其是在 20 世纪 90 年代至 21 世纪初期间，基于射影几何的分层重建理论显著提高了算法的稳健性。通过一个从射影空间到仿射空间再到欧几里得空间的计算框架，该理论有效地减少了未知变量的数量，使重建过程具有更清晰的几何意义。这一突破为现代三维重建技术的进一步发展奠定了坚实的理论基础。近年来，随着技术的进一步进步，三维重建领域的许多创新成果相继涌现。例如，哈特利等人[28]对多视图几何理论进行了深入研究，他们提出的算法已在计算机视觉和机器人技术中得到广泛应用。莫恩斯等人[29]提出了一种基于多幅图像的物体表面形状估计和视角参数求解方法，进一步丰富了多视图几何理论体系。此外，[30] 引入了一种新颖的多视角立体匹配算法，该算法能够智能地选择用于匹配的图像，为从大量社区照片集合中高效进行三维重建提供了有效的解决方案。李等人[31] 提出了一种基于图标场景图的地标图像集建模与识别的新方法，为地标识别领域开辟了新的方向。在大规模三维重建应用的背景下，朱等人[32] 提出了基于分布式运动平均的全局 SfM 方法。通过构建分布式处理框架并结合数据融合技术，他们显著提高了三维重建的效率和准确性，使其特别适用于处理超大规模数据集。随着深度学习技术的不断发展，越来越多的研究致力于将其应用于传统的三维重建方法，以提高特征提取和匹配的准确性，以及整体重建效率。其中，MVSNet [33] 首次提出了一种端到端的深度学习 MVS 框架，能够直接从无序的多视角图像中回归出密集深度图，从而恢复场景的三维结构。Fast-mvsnet [34] 提出了一种从稀疏到密集的 MVS 框架，利用轻量级网络从图像对中估计初始的稀疏深度点，避免了构建完整的成本体积的需求，并显著降低了计算复杂度。通过将学习引导的深度传播与高斯-牛顿优化相结合，重建的效率和稳定性得到了提高。与 MVSNet 的静态和固定深度采样策略相比，Wang 等人 [35] 引入了一种迭代动态成本体积机制，该机制在每次迭代中根据当前深度估计动态调整采样范围，有效地降低了计算开销并提高了重建精度。

传统的 3D 重建方法目前已经发展得相当成熟，尤其是倾斜摄影网格模型[36]，在过去十年中已被广泛应用于数字孪生、城市建模和 GIS 系统等主流技术中。然而，随着对实时渲染、动态场景支持和精细表达的需求不断增加，传统的 3D 模型逐渐暴露出明显的局限性。具体而言，包括：（1）效率低下：依赖大量高重叠图像和复杂的空间加密过程，生成周期长，硬件要求高，难以高效地对大规模场景进行建模；（2）编辑和维护成本高：模型修改需要手动操作顶点或重新映射，过程繁琐且效率低下；（3）表达复杂结构和纹理区域的能力较弱：难以恢复复杂或纹理缺失的区域，如电线杆、楼梯、玻璃等，这很容易导致伪影或细节丢失。（4）对光线的适应能力差：模型的纹理高度依赖于拍摄时的光线条件，这可能导致不同光照环境下的亮度不一致，需要对材质参数进行额外调整；（5）动态变化不足：生成的模型是静态的，当面对动态物体或场景更新（如行人、车辆和建筑）时，需要再次收集数据，这难以满足实时要求。

3. 基于 NeRF 的三维重建

随着深度学习和神经网络的发展，NeRF [3] 在三维重建领域受到了越来越多的关注，因为它具有高保真度的重建能力和空间连续性表达能力。它通过神经网络隐式地表达场景的几何和光照特征，通过体渲染从新的视角合成图像，无需显式生成三维点云或构建网格。与传统方法相比，渲染模型具有更逼真的光照效果和精细的纹理，这在复杂场景重建中尤为突出。场景的连续函数表示使其在从任何视角进行渲染时都能保持场景的连续性，避免了传统方法中的视角跳跃。3.1. NeRF 框架

NeRF 依靠二维（2D）图像进行监督，使用多层感知器（MLP）网络将场景建模为一个连续的 5D 函数（空间坐标 x、y、z 以及视角方向 θ、ϕ），并通过体渲染技术从新的视角生成图像。它避免了使用传统的复杂物理模型，能够真实地重现复杂的 3D 场景。该流程如图 3 所示。

米尔登霍尔等人[3]所采用的体绘制过程如下：

??̂ (𝑟)=∑??𝑖=1𝑇𝑖(1−exp(−𝜎??𝛿𝑖))𝑐??，其中 𝑇𝑖=exp(−∑𝑖−1𝑗=1𝜎𝑖𝛿𝑖)（1）

其中，N 是同一射线上采样点的数量，𝑐?? 是当前采样点的颜色，𝜎𝑖 是不透明度，𝛿𝑖 是相邻采样点之间的距离。??𝑖 是从当前采样点到相机的透射率。

近年来，关于 NeRF 的研究逐渐集中在几个关键领域，包括提高渲染效率[37]、优化少视图合成[38，39]、提升渲染质量以及优化动态场景[40]。这些研究主要致力于提高 NeRF 在实时渲染中的性能、减少计算开销以及提高 3D 重建的准确性和泛化能力，尤其是在数据采集有限和视角较少的情况下，同时仍能高效生成高质量的渲染图像。此外，通过探索动态场景建模，NeRF 不仅能够处理静态物体的重建，还能适应复杂的时态变化和物体运动，从而在视频生成、VR/AR 等动态应用中扩大其潜力。3.2. 渲染质量提升

渲染质量是三维重建的核心关键，提高 NeRF 的渲染质量已成为研究的重点。近年来，人们为提高 NeRF 的渲染质量付出了大量努力，并提出了许多创新方法。这些研究不仅旨在增强渲染图像的真实感和细节，还探索了几个关键维度，包括优化模型训练过程、改进网络架构、细化特征表示以及增强光照模型，以解决场景中诸如不均匀光照、锯齿、伪影、遮挡和运动模糊等问题。自监督学习和多视图一致性策略已被纳入以减少对大量标注数据的依赖，同时提高在复杂场景中的泛化能力。

为了解决高频细节中的锯齿和失真问题，Mip-NeRF [41] 引入了一种新颖的集成位置编码（IPE），并用锥体（或锥体）取代 NeRF 中的单条光线，从而在采样过程中融入了更多的领域信息。这种创新有效地解决了传统 NeRF 中因采样不足而导致的混叠问题，同时还能保留精细的渲染细节。然而，Mip-NeRF 并未充分考虑到诸如光照变化和图像模糊等因素，而且其计算需求也显著增加，从而导致训练时间大幅延长。NeRF 与 Mip-NeRF 的对比情况如图 4 所示。

一些研究[42,43]对光照或相机曝光问题对辐射场的影响进行了深入研究。其中，NeRF-W 首次引入了可变光照模型，将外观编码纳入多层感知机（MLP）进行训练，使模型能够适应不同光照条件下的场景。这显著提高了渲染结果的真实性和一致性。然而，对于从新视角进行的外观编码，由于其固有的不确定性，通常需要手动选择合理的值。此外，NeRF-W 在处理复杂光照条件方面仍存在局限性。为了解决这个问题，NeRF++ 提出了另一种解决方案。这种方法利用前景和背景的双重场景表示来减少背景对光照效果的干扰，从而能够在不同光照条件下实现一致的渲染。此外，NeRF++ 动态地模拟光照，能够更自然地模拟光源位置和强度的变化。除了光线的影响之外，诸如溅射高斯噪声和各向异性模糊等图像质量下降的情况也是影响 NeRF 渲染质量的重要因素。NeRFLiX [44] 在一定程度上改善了这一状况。该模型采用了基于退化驱动的视角混合方法，并引入了 NeRF 风格的退化模拟器（NDS），同时构建了一个大规模的模拟数据集，显著增强了灵活性。这使得 NeRF 的瑕疵得以去除，精细细节得以恢复，从而极大地提高了高级 NeRF 模型的性能。同时，为了处理运动模糊的图像，Wang 等人 [45] 引入了一种新的神经辐射场，称为 BAD-NeRF。该模型使用光度约束调整公式，并通过平均虚拟视图来模拟运动模糊的物理成像过程。通过不断优化合成图像与真实模糊图像之间的差异，它能够准确地恢复相机姿态。实验结果表明，这种方法对严重运动模糊的图像和不准确的相机姿态具有出色的鲁棒性。与上述模型在表示隐式场景时所采用的改进策略不同，UHDNeRF [46] 提出了一个创新的全新视角合成框架，巧妙地融合了显式和隐式场景表示的优势。在这个先进的框架中，隐式体积被有效地用于重建整个场景的低频特征，这些特征构成了场景的基本结构和轮廓。同时，为了捕捉场景的更精细细节，通过稀疏点云精确地捕捉了高频细节，确保了详细信息的完整性和准确性。

表 1 提供了代表性 NeRF 相关研究所取得的重要进展的详细概述。Mip-NeRF 创新性地使用圆锥体体积来取代传统的光线追踪方法，有效地减少了马赛克效应。同时，NeRF-W 和 NeRF++ 在解决光照问题方面做出了重要改进，增强了在复杂光照条件下的渲染效果。NeRFLiX 和 BAD-NeRF 专注于解决由图像退化和运动模糊所导致的伪影问题，从而提升整体渲染质量。此外，UHDNeRF 将点云技术引入现有的隐式方法中，以捕捉高频细节，显著提高了渲染质量。尽管这些方法在提升渲染质量方面取得了突破，但它们相应地导致了计算时间和模型大小的增加。因此，研究人员面临的关键挑战是既要保持高效的渲染，又要提升渲染质量。

3.3. 渲染效率优化

在三维重建领域，计算效率一直是一个至关重要的研究方向，它关系到当前技术能否在各个行业中得到应用。为了提高 NeRF 的渲染效率，研究人员从多个角度提出了各种创新策略。这些策略在许多研究中都呈现出共同的特点和发展趋势。

一方面，优化数据结构和减少冗余存储是提高渲染效率的重要手段。神经稀疏体素场（NSVF）[47] 通过稀疏体素划分和体素八叉树结构有效地减少了模型的内存占用，并在渲染过程中跳过空体素，从而显著提高了绘制速度。这些方法通过更高效的数据表示来努力减轻计算负担。不同采样方法的比较如图 5 所示。在此基础上，研究人员还采用了多分辨率哈希编码和张量分解技术，显著提高了 NeRF 的渲染速度（即生成每一帧所需的时间）。InstantNGP [48] 采用了多分辨率哈希编码和定制优化策略，将场景特征以哈希编码的形式存储，而非完全依赖多层感知机（MLP）的权重，从而极大地提高了训练速度。同时，TensoRF [49] 利用张量分解技术将场景辐射场表示为一个紧凑的低秩张量，进一步降低了存储和计算开销。这些方法在算法层面的优化共同促进了渲染速度的提升。

此外，诸如递归渲染方法、模型压缩以及自适应采样等技术对于提升 NeRF 的渲染效率也至关重要。递归-NeRF [50] 采用递归渲染策略，在达到足够质量时提前终止计算，从而有效地减少了不必要的网络参数。而 Zip-NeRF [51] 则通过模型压缩和自适应采样技术优化特征计算，并缓解空间混叠和 z 混叠现象。这些方法通过更智能的渲染策略降低了计算量，进一步提高了渲染效率。

在其他研究中，研究人员致力于将各种先进的采样方法整合到 NeRF 算法中，以优化渲染过程。例如，李等人开发了一个强大的 Python 工具包 NerfAcc（版本 v0.3.5，在 Python 3.10 上运行）[52]，它提供了灵活的 API 来集成多种采样方法，并通过透射率估计器优化渲染过程。与此同时，Lightning NeRF [53] 将点云和基于图像的方法相结合，利用点云快速初始化密度并优化背景建模，从而提高了处理速度和性能。这些方法通过整合和优化多种技术手段实现了渲染效率的全面提升。Lightning NeRF 框架的概述如图 6 所示。

上述方法通过算法优化、数据结构改进以及智能渲染策略的应用，显著提高了渲染效率。如表 2 所示。

3.4. 稀疏视图合成

近年来，研究人员提出了多种创新方法来解决利用稀疏视图输入合成新视图的难题，旨在从有限的视图输入中有效地重建场景细节和深度信息。这些研究不仅致力于提高渲染质量，还努力增强模型的泛化能力，以确保在不同的场景和条件下都能生成高质量的合成图像。

FreeNeRF [54] 创造性地解决了稀疏样本神经渲染中的关键问题，引入了两个主要策略：频率正则化和遮挡正则化。这两种正则化技术无需额外的计算资源或外部监督，还能有效抑制过拟合，并减轻由相机附近密度场引起的视觉伪影。这显著提高了新视图图像合成的质量。与此同时，徐胜贤和他的团队凭借其创新性的研究，在 3D 场景重建和视图合成领域取得了突破性进展，相继提出了两种方法：FlipNeRF [55] 和 MixNeRF [56] 。FlipNeRF 通过引入翻转反射光线来过滤掉无效光线，并准确重建表面法线，从而显著减少了浮点误差。通过结合不确定性感知的空洞损失和瓶颈特征一致性损失，它能够从有限的视角图像输入中实现高质量的新视图合成，极大地提高了在少量样本情况下 3D 场景重建的准确性和鲁棒性。另一方面，MixNeRF 进一步有效地学习 3D 几何结构，通过联合估计混合密度下的颜色值分布来实现。它利用光线深度估计来获取几何高度，并通过混合权重增强模型的鲁棒性。这确保了更准确的场景重建和更高质量的图像合成，特别是在处理稀疏输入时。此外，HG3-NeRF [57] 的目标是增强不同视角下几何形状、语义内容和外观的一致性，同时解决 NeRF 在输入稀疏视角时性能下降的问题。通过结合三个关键技术：分层几何引导、分层语义引导和光度引导，它能够在稀疏视角下实现更高质量的 3D 场景重建和视图合成，显著提高了模型的适应性和鲁棒性。HG3-NeRF 框架的概述如图 7 所示。

这些创新方法和技术的不断发展不仅推动了稀疏视图合成和三维重建技术的进步，也为未来的计算机视觉和虚拟现实应用提供了更有力的支持，为各种实际应用场景开辟了更广阔的可能性。

表 3 汇总了上述方法在 DTU 数据集上的评估指标，数据来源于几篇相关的原始论文。我们使用三个指标来评估结果：峰值信噪比（PSNR）、结构相似性指数（SSIM）和学习感知图像块相似性（LPIPS）。

3.5. 动态场景优化

在神经辐射场（NeRF）研究领域，动态场景优化是一个关键方向。主要的挑战在于，随着现实场景复杂度的增加，传统的静态场景重建方法已无法满足实时应用的需求。模型需要在不断变化的环境中具备高度的适应性和实时渲染能力。因此，研究人员致力于开发能够有效处理动态物体及其相互作用的技术，以增强模型的灵活性和响应性。这项研究不仅注重提高渲染质量，还强调在动态环境中保持一致性和稳定性，为虚拟现实/增强现实（VR/AR）、机器人导航等应用提供更强的支持。

具体而言，可变形-NeRF [58] 使用多层感知机将空间坐标转换为规范化空间坐标，并将场景状态编码为隐式向量，显著提高了动态场景中视角合成的鲁棒性。同样地，NSFF [59] 的目标是通过将摄像机与动态物体分离来重建场景中的移动物体，从而能够在不同视角和连续时间间隔内进行 3D 重建，并实现动态和静态部分的分离。D-NeRF [60] 方法引入了时间编码和动态场景分解技术，成功地重建和渲染包含移动物体的场景。

为了更深入地表示动态场景，NeRFPlayer [61] 创新性地将神经辐射场分解为三种类型：静态、可变形和新区域，并结合时间维度信息以实现四维时空神经表示。该方法为不同区域应用不同的时间正则化，并引入滑动窗口方案，有效地对时空场进行建模，以满足流式播放的要求。另一方面，Tensor4D [62] 将动态场景表示为 4D 时空张量。通过将 3D 空间组件分解为具有时间感知的体积张量，它实现了高效的内存利用和高质量的渲染。此外，E-NeRF [63] 利用了事件相机的特性，利用其高动态范围和快速响应能力来准确恢复复杂条件下场景的体积表示。这克服了传统基于帧的方法中常见的运动模糊和照明不足等问题，为机器人导航和增强现实等领域提供了更精确的场景信息。

这些创新方法巧妙地结合了诸如多视图学习和时间序列建模等先进技术，充分利用时间信息来捕捉物体运动的每一个细微变化。此外，在解决动态物体建模的挑战方面，研究人员深入研究并采用了基于分离的表示方法，有效地区分并处理静态背景和移动物体之间的复杂关系。这一系列创新措施不仅显著提高了重建的准确性，还有效减少了诸如动态模糊和伪影等常见问题，为动态场景的优化和重建开辟了新的途径，从而推动了该领域的进一步发展。

NeRF 在三维重建中能够显著恢复场景的真实感，而且其实现过程比传统方法更为简单。然而，这项技术也面临着一些挑战和局限性。例如，不同视角下的光照条件可能会有所不同，而且模型可能会在训练数据中对特定视角的光照特征过度拟合。此外，它通常需要来自不同视角的大量图像来训练模型，训练过程缓慢，对 GPU 资源有很高的要求；同时，它缺乏泛化能力，因为训练后的模型仅适用于特定场景，不能用于其他场景的三维重建；尽管渲染结果在视觉上看起来很真实，但它们更像是从新视角拍摄的图像，而不是具有结构特征的三维模型。

4. 基于 3DGS 的三维重建

3DGS [4] 是近年来提出的一种基于显式表示的三维重建和渲染方法。它通过将场景建模为高斯基元来实现高效的三维渲染，能够在保持图像质量的同时显著提高渲染速度。与传统的显式体积表示（如体素网格）相比，3DGS 提供了连续且灵活的几何表示。基于可微的三维高斯基元，它不仅增强了场景的描述能力，还允许参数化辐射场。这种灵活性使 3DGS 在处理复杂场景和动态对象时具有更强的适应性。同时，与依赖于计算成本高昂的体积光线采样的 NeRF 相比，3DGS 通过基于块的光栅化实现实时渲染，显著提高了训练效率，并避免了在空区域的不必要计算。

4.1. 3DGS 框架

这种方法特别适用于处理复杂场景和动态变化。图 8 展示了克尔布尔提出的 3DGS 渲染框架的概览。该框架的结构包括高斯初始化、细化、投影和可微栅格化。3DGS 以 3D 点云和多视角图像作为输入，将 3D 点云初始化为具有各种参数的高斯基本体，并使用图像作为监督来通过可微渲染合成新的视角图像。

该框架的结构包括高斯初始化、密集化、投影和微栅格化。克尔布尔等人[4]所使用的渲染公式如下：

C = ∑i∈N𝑐??𝜎'i∏i−1j=1(1−𝜎'𝑗)

（2）其中，N 是投影到像素上的高斯的数量，𝑐𝑖 是当前高斯的颜色，𝜎'i 是当前高斯在该像素处的不透明度，而 C 是该像素的渲染颜色。

这个创新性的框架不仅推动了三维重建技术的发展，还为复杂场景的建模提供了有效的解决方案。在三维图形系统（3DGS）的几个领域取得了关键突破，包括提高实时渲染质量、优化稀疏视角数据重建、改善渲染细节以及处理动态场景变化。通过高效的建模和精细的渲染，3DGS 能够在有限的视角数据下实现高精度的三维重建，同时在复杂的光照环境和动态场景中提供高质量的渲染结果。这些创新使得 3DGS 在虚拟现实/增强现实、电影制作以及游戏开发等领域具有极高的应用价值，为提供沉浸式体验和实时生成 3D 内容提供了强大的可能性。4.2. 渲染质量优化

在三维图形渲染领域，3DGS 因其实时渲染能力和高质量视觉效果而备受关注。然而，随着应用需求的不断增加，如何进一步优化 3DGS 的渲染质量已成为一个关键的研究方向。优化渲染质量不仅涉及准确捕捉细节和真实再现光照，还需要有效处理从不同角度产生的场景一致性及抗锯齿效果。通过结合先进的技术手段和算法创新，研究人员在提高 3DGS 的渲染质量方面取得了显著进展。

在优化 3DGS 技术的过程中，研究人员特别注重多尺度和多层次策略的应用。例如，MS3D 方法[64]采用了多尺度 3DGS 算法。根据分辨率的不同，小尺度高斯函数用于捕捉细节，而大尺度高斯函数则用于保持场景的整体结构。这种方法有效地抑制了混叠效应，并显著提高了渲染质量和速度。同时，Mip-Splatting [65] 将多级混合技术与高斯点渲染相结合，并使用 3D 平滑滤波器和 2D Mip 滤波器，显著减少了混叠伪影，并确保在不同分辨率下具有一致的渲染效果和精度。一致性与准确性。这些技术利用多尺度处理实现了对场景更准确和更详细的渲染。

另一方面，优化高斯分布及其参数设置也是提高渲染质量的关键。Scaffold-GS [66] 通过引入锚点动态优化高斯属性，结合生长和修剪策略，并根据其重要性调整高斯的数量和分布。这种方法避免了冗余，显著提高了场景覆盖范围和细节表达，表现出在复杂和多变场景中的出色适应性。同时，研究人员还针对特定问题提出了创新的解决方案。提出了一种新颖的渐进式传播策略——GaussianPro [67] ，该策略基于 MVS 技术，并结合了重建的几何结构和块匹配技术，通过迭代传播来生成候选像素。此外，该方法利用光度一致性约束有效地解决了低纹理区域重建精度不足的问题，并显著提高了三维场景的整体重建质量。

在提高渲染质量的过程中，GSDF [68] 进一步推进了这项技术。它结合了 3DGS 和神经有符号距离场（SDF）的优点，采用了一种双分支结构，包括专门用于渲染的 GS-分支和用于重建的 SDF-分支。这两个分支相互引导和监督，相互补充各自的长处。这不仅提高了重建精度，而且在复杂场景中显著增强了适应性。同时，对于超分辨率的 3D 场景，SuperGS [69] 提出了一种基于两阶段粗到精训练框架的方法，该方法引入了多分辨率特征高斯点绘和梯度引导选择性分割策略，以实现高效的细节增强。此外，通过利用伪高分辨率信息和跨视图一致性约束，SuperGS 确保了高保真度和一致性，显著提高了新视角合成的质量和效率。

表 4 汇总了上述模型在 MipNeRF 360 数据集上的评估指标，数据来源于多篇相关原始论文（具体参考文献可在文章末尾找到）。这五个指标包括峰值信噪比（PSNR）、结构相似性指数（SSIM）、学习感知图像块相似度（LPIPS）、渲染帧率（FPS）和模型存储大小（内存）。

4.3. 渲染效率提升

随着对复杂场景渲染需求的不断增加，提高 3DGS 的渲染效率已成为研究的重点。目前，在提升 3DGS 渲染效率这一领域，研究人员主要探索两个核心方向：一是优化存储策略以减少内存使用量，二是提高模型训练和渲染速度以增强性能。这两个方向的研究不仅各自取得了显著进展，而且在一定程度上相互交织，共同推动了 3DGS 渲染技术的发展。

在优化存储策略方面，研究人员开发了一系列有效减少 3DGS 表示所需内存空间的方法。LightGaussian [70]、CompGS [71] 和 EAGLES [72] 是该领域的代表性技术。LightGaussian 方法通过消除冗余的高斯分布并引入浓缩和伪视图增强技术，实现了超过 15 倍的压缩率，同时保持了视觉保真度。这种方法不仅显著降低了存储需求，还加快了渲染过程。光高斯通信策略流程图如图 9 所示。CompGS 采用基于 K 均值的向量量化方法来优化高斯参数，并通过游程编码进一步压缩索引，从而有效地降低了存储需求并加快了渲染速度。此外，CompGS 还通过一个正则化器鼓励零不透明度的高斯函数的存在，从而进一步减少了高斯函数的数量。EAGLES 技术引入了轻量级编码和量化嵌入方法，以高效地压缩和优化高斯参数。同时，它采用由粗到细的训练策略来加速优化过程，并在保持高质量场景重建的同时实现高质量的场景重建。存储内存显著减少，渲染速度大幅提升。

在提升模型训练和渲染速度方面，诸如 SuGaR [73] 和 Distwar [74] 等方法已展现出显著成效。SuGaR 利用表面对齐的高斯分布来精确提取网格，并通过泊松重建算法快速且高效地生成网格。此外，SuGaR 引入了一种可选的细化策略，通过高斯绑定和关节优化来提高网格质量和渲染效果。这种方法不仅提高了重建的准确性，还便于后续应用，如编辑、雕刻、动画和重新照明。另一方面，Distwar 是一种针对基于光栅的渲染管道进行优化的快速且可微分的渲染技术。它通过在流多处理器的子核心上利用寄存器来执行线程级的归约操作，从而减少了所需的原子操作数量，降低了 GPU 的工作负载。此外，Distwar 将原子计算分布在子核心的线程级归约操作和 L2 原子单元之间，从而提高了整体渲染效率。通过对优化存储策略和提高模型训练及渲染速度这两个核心方向的研究，研究人员在提高 3DGS 渲染效率方面取得了显著进展。这些创新方法不仅降低了存储需求，还加快了渲染过程，为复杂场景的实时渲染提供了有力保障。4.4. 稀疏视图重建

针对稀疏视图的 3DGS 新视图合成正受到广泛关注，它能够利用少量视角有效地捕捉并重建复杂场景的几何和颜色信息。该领域的一些创新技术，如 FSGS [75]、SparseGS [76]、MCGS [77] 和 LM-Gaussian [78]，尽管在方法上有所不同，但都致力于在稀疏视角下实现高质量的 3D 重建。

一方面，通过利用诸如 SfM 这样的初始化方法，并结合深度估计模型或深度先验，它们优化了 3D 傅里叶参数，即使在有限的输入视角下也能实现高质量的重建。这种能力不仅降低了数据采集的成本和难度，还使得实时渲染和高质量的新视图合成成为可能。另一方面，这些技术采用了各种策略来提高重建质量。FSGS 通过使用邻域引导的高斯上采样方法来弥补稀疏输入的影响，并结合了由预训练单目深度估计模型提供的深度约束。SparseGS 将深度先验与生成模型相结合，明确地对三维重建的优化过程进行约束，并利用图像生成扩散模型为训练集覆盖范围有限的场景提供监督。LM-Gaussian 采用基于视觉先验的稳健初始化模块来恢复相机姿态并生成点云，同时引入背景感知深度引导和多模态正则化高斯重建技术以确保准确性。此外，MCGS 通过稀疏匹配和随机填充策略生成紧凑且充足的初始点集，增强初始几何先验，并通过由多视图一致性引导的渐进式修剪策略提高高斯场的一致性。

此外，这些技术在实时渲染和新颖视角合成方面取得了显著成果。FSGS 在多个数据集上实现了超过 200 帧每秒的实时渲染速度，同时还提升了视觉质量。SparseGS 实现了高质量的实时 360°新颖视角合成。LM-Gaussian 通过迭代应用扩散细化方法和视频扩散先验来保留细节并提高质量，使新颖视角图像更加逼真。同时，MCGS 通过优化高斯场的一致性和移除低贡献的高斯值，提高了模型的鲁棒性、加速了渲染速度并降低了内存消耗。4.5. 动态场景重建

动态三维重建突破了静态重建的局限性，后者只能通过实时更新模型来捕捉瞬时状态，而动态三维重建能够实时更新模型，更真实地反映环境随时间演变的特征；它利用多视角观察或时间序列分析来减少遮挡盲区，并结合运动信息准确区分动态物体（如行人和车辆）和静态物体（如建筑物和道路），为场景语义理解提供了基础；生成的实时模型具有低延迟和高频更新能力，直接满足了机器人路径规划、自动驾驶避障和虚拟现实交互等场景中对动态环境感知的迫切需求。这是静态重建无法实现的核心优势。因此，有必要基于 3DGS 对动态三维重建进行研究。基于 3DGS 的动态场景重建技术提供了一种灵活且高效的捕捉和表达动态元素的方法，它融合了多项创新技术，如可变形 3D-GS [79]、V4D [80]、高斯流 [81]、4D-GS [82] 和 DN-4DGS [83] 等。这些技术均展示了 3DGS 在动态场景重建方面的独特优势。这些技术的共同特点是，它们都将动态场景表示为 3D 高斯集合或动态 3D 高斯粒子，并使用高斯模型来捕捉和表示场景中的运动细节。

具体而言，这些技术通过不同的策略和方法对高斯表示进行优化和细化，以实现高质量的动态场景重建。例如，可变形 3D-GS 引入了创新的可变形 3D 高斯表示和时间一致性优化，突破了传统单目动态场景重建的局限性。这种方法有效地处理了动态环境中诸如物体运动、变形和遮挡等复杂问题，提供了更准确和稳定的动态 3D 重建。另一方面，V4D 采用基于体素的方法进行 4D 新视角合成。通过将时间维度与空间体素表示相结合，它不仅提高了传统 3D 模型在新视角合成中的性能，还有效地捕捉并呈现对象随时间变化的细节，进一步增强了合成图像的真实感和丰富性。

同时，林提出了高斯流（Gaussian-Flow），它使用双域变形模型（DDDM）明确地对高斯粒子属性的时变进行建模，从而实现了快速训练和实时渲染。另一方面，4D-GS 通过变形场和 4DGS 技术实现了高效的高分辨率渲染，同时引入了分解神经体素编码算法，从 4D 神经体素中构建高斯特征，并使用轻量级的多层感知机预测新时间戳的高斯变形。与 4D-GS 相比，DN-4DGS 通过引入去噪可变形网络和时空聚合模块显著增强了动态场景的表现力。这确保了图像的纯净度和清晰度，并增强了细节的表现力以及整体的连贯性。DN-4DGS 的框架如图 10 所示。

基于 3DGS 的动态场景重建技术通过多种方法和策略推动了该领域的发展。它们不仅提升了动态场景的渲染质量和实时性能，还为 3D 计算机视觉和图形学领域的研究提供了新的思路和方法。未来，随着技术的不断进步和应用领域的不断扩大，基于 3DGS 的动态场景重建技术有望在更多领域发挥越来越重要的作用。

表 5 汇总了在 D-NeRF [60] 和 HyperNeRF 数据集 [84] 上各种动态场景重建方法的定量比较数据，这些数据来自多篇原始论文。主要的评估指标包括峰值信噪比（PSNR）、结构相似性指数（SSIM）和学习感知图像块相似性（LPIPS），其中 MS-SSIM 作为补充指标用于进一步评估图像质量。

4.6. 其他人

近年来，3DGS 技术在多个前沿领域取得了突破性进展，尤其是在自动驾驶、大规模场景重建、同步定位与建图（SLAM）技术以及 3D 编辑等方面。其创新应用显著提高了这些领域的性能和效率。

在自动驾驶场景中，DrivingGaussian [85] 技术利用静态的 3D 均值函数依次并逐步地对静态背景进行建模，有效地捕捉了环境的结构和特征。同时，通过引入复合动态均值图，该技术能够灵活处理多个移动物体，为自动驾驶的模拟和测试提供了准确且高效的解决方案。这一创新不仅提高了自动驾驶系统的安全性和可靠性，也为未来智能交通系统的开发奠定了坚实的基础。为解决大规模场景的重建和渲染所面临的挑战，VastGaussian[86] 技术通过将多个单元进行划分并独立优化，实现了高保真度的场景重建。该技术采用块处理和并行优化策略，显著提高了处理效率并降低了计算成本。同时，解耦外观建模技术的引入有效地减少了渲染过程中的外观变化，进一步提升了渲染质量。VastGaussian 技术的出现为大规模场景的实时渲染和交互提供了有力支持。

在 SLAM 技术领域，IG-SLAM[87] 和 GS-SLAM[88，89] 是两个重要的技术分支，展现了 3DGS 技术的不同应用前景。IG-SLAM 采用密集 SLAM 方法进行跟踪，并结合 3D 均值点渲染技术，通过深度不确定性进行地图优化，以实现快速且逼真的 3D 重建。GS-SLAM 结合了 NeRF 和 SLAM 的优势，使用三维高斯函数来表示场景，并通过基于点绘的光栅化技术实现了超快的渲染速度和高质量的映射。这两种技术都在推动 SLAM 技术的发展，为实时 3D 重建和定位提供了新的解决方案，并在自动驾驶和 VR 等领域展现出广阔的应用潜力。

此外，在 3D 编辑方面，PixelSplat [88] 技术的引入为用户提供了更灵活和高效的 3D 创作工具。该技术利用前馈模型从输入的图像对中重建由三维高斯基元参数化的 3D 光辐射场，实现了可扩展的训练和快速的 3D 重建。同时，生成的 3D 光辐射场具有可解释性和可编辑性，为用户提供了丰富的创作素材和在 VR/AR、游戏开发和建筑设计等多领域的便捷创作手段。PixelSplat 技术的出现进一步推动了 3D 编辑技术的发展，为用户带来了更丰富的创作体验和更广阔的创作空间。

5.挑战与前景

3D 重建技术从传统的多视图几何方法，到基于神经隐式表示的 NeRF，再到具有高效实时渲染功能的 3DGS，经历了重大的技术演进。每一次技术迭代不仅在建模效率和重建质量方面带来了显著的提升，还推动了 3D 视觉系统从静态分析向动态、实时和可编辑的方向发展。

诸如 SfM 和 MVS 这类传统方法（以经典算法为代表），主要依靠密集的多视图图像输入，通过几何匹配来重建 3D 结构。这种以网格为核心的建模方法具有较高的几何精度，广泛应用于建筑测量和文化遗产保护等工程领域。然而，传统方法也存在对动态场景适应性差、纹理较弱或复杂结构区域重建质量差、对光照变化敏感以及模型修改和编辑过程繁琐等问题。尽管拥有成熟的技术和先进的工具，传统的网格重建方法在需要高实时性和灵活性的应用场景（如自动驾驶和数字孪生）中往往难以提供所需的渲染速度和动态更新能力。而 NeRF 则利用可微渲染技术，从有限的静态图像中学习场景中每个空间位置的颜色和密度，实现了极其逼真的体积渲染效果，特别是在柔和阴影、全局照明和透明材质建模方面。然而，NeRF 仍面临许多挑战：渲染速度慢且难以满足实时交互的要求；对动态场景的支持有限，且在训练过程中容易受到移动物体的干扰；隐式表示难以直接编辑；同时，训练成本高，对计算能力和数据质量有严格要求。这些因素限制了其在工程实践中的广泛应用。相比之下，3DGS 将场景表示为具有诸如不透明度、颜色和协方差等参数以及球谐函数的高斯元素，并通过光栅化渲染从新的角度合成图像，从而显著提高了渲染效率，同时保持了渲染质量。3DGS 支持动态场景的实时建模和渲染，具有良好的光照适应性和可编辑性。在中等硬件条件下，它能够实现高帧率渲染，极大地扩展了其在 AR/VR、自动驾驶和数字孪生等实时应用场景中的适用性。此外，3DGS 的模型结构是开放的，易于与现有工具集成，支持直接编辑高斯参数，大大降低了后期制作和迭代成本。然而，3DGS 仍存在一定的局限性。例如，在大规模场景中，高斯的数量很大，需要大量的存储和内存资源。依赖于相机姿态的原始 3DGS 模型的准确性也受到 SfM 计算精度的限制。这些因素可能会在高精度和高动态场景建模中带来挑战。未来的研究应着重于提高三维重建技术的稳定性、降低计算复杂度，并扩大其适用范围，以应对动态场景、快速反馈和计算效率等方面的问题。具体而言：

NeRF 和 3DGS 对输入数据的质量和数量有着极高的要求，并且高度依赖诸如 SfM 等特定技术。一些研究[90，91，92]采用多模态数据融合的方法来获取高质量的初始数据，以提高重建的鲁棒性和泛化能力，并减少对外部工具的依赖。这也是未来研究的一个重要方向。

降低计算复杂度和提高处理速度：尽管 NeRF 和 3DGS 提出了许多提高效率的方法，但与它们相应的应用相关的计算复杂度和资源消耗仍然是一个不容忽视的问题。未来的研究需要探索更高效的网络结构和算法，以降低计算复杂度并提高处理速度，从而使它们更适合实际应用场景。

扩大泛化能力并适应不同场景：3D 重建技术已在虚拟现实/增强现实和智能交通系统等领域得到广泛应用。在未来，随着应用场景的不断拓展（例如在自动驾驶和机器人导航等领域的更深入应用），对这项技术的泛化能力的要求将会更高。

整合先进技术以形成综合解决方案：通过将深度学习、计算机视觉和传感器技术等先进技术与 3D 重建技术相结合，可以开发出更全面且更强大的解决方案。例如，通过进一步将生成扩散模型[93，94]与 3DGS 技术相结合，可以实现更准确和实时的 3D 重建。此外，新模型 DepthSplat [95] 将 3DGS 与多视图深度估计相结合，提高了在遮挡和复杂纹理场景中的性能。

6. 结论

本文回顾了 3D 重建技术的发展历程，从传统方法到基于神经网络的 NeRF 和 3DGS 技术。传统方法如 SfM 和 MVS 已在建筑测量和自然资源管理等工程领域得到广泛应用。然而，在处理动态场景、纹理薄弱区域或复杂结构时，它们对光照变化的适应性较差，模型编辑难以满足实时性能和灵活性的要求。NeRF 的隐式重建能够生成高质量的结果，尤其在软阴影和透明材质建模方面表现出色。然而，其高昂的计算成本以及缓慢的训练和渲染速度限制了其在工程实践中的实时交互应用。相比之下，3DGS 的显式重建在图像质量和渲染效率之间实现了更好的平衡，并在实时渲染和可编辑性能方面展现出优势。然而，它在大规模场景中的内存使用、动态场景的稳定性以及跨场景知识迁移方面仍面临挑战。总之，尽管 3D 重建技术在建模精度、视觉真实性和渲染性能方面取得了显著进展，但仍面临诸多瓶颈。未来的研究应着重突破大规模户外环境的可扩展性、动态和不受约束场景下的鲁棒性，以及实时应用中的计算效率。同时，将 3D 重建与增强现实/虚拟现实、机器人技术和自动驾驶等领域的深度融合将为其实际应用带来更广阔的前景。随着人工智能和计算机图形学的持续交叉发展，3D 重建有望成为跨领域数字化转型和智能系统演进的重要推动力。