作者：泡椒味的口香糖 | 来源：计算机视觉工坊

在公众号「计算机视觉工坊」后台，回复「原论文」可获取论文pdf、代码链接

添加微信：dddvision，备注：NeRF，拉你入群。文末附行业细分群

0. 笔者个人体会

最近3D Gaussian Splatting真的是太火了，由于它能够在实现NeRF的同时引入传统光栅化，极大地加快了NeRF的渲染速度。可以说很大程度上影响了NeRF的发展方向，也催生了很多相关的研究。

但也有人发现，当改变焦距或相机距离时，3D Gaussian Splatting可以观察到强烈的伪影。本文将为大家介绍一种最新的开源算法Mip-Splatting来解决这个问题，主要思想是引入3D频率约束和2D膨胀滤波器。

下面一起来阅读一下这项工作，文末附论文和代码链接~

1. 效果展示

先来看看具体的问题描述，3D Gaussian Splatting通过将3D物体表示为3D高斯投影到图像平面，然后在屏幕空间中进行2D膨胀来渲染图像（a）。3D GS的内在收缩偏差导致退化的3D高斯超过采样极限（b），同时由于膨胀操作而呈现类似于2D的效果。当改变采样率（也就是改变焦距或相机距离）时，可以观察到强烈的膨胀效应（c）和高频伪影（d）。

那么Mip-Splatting干了啥呢？

一句话总结：Mip-Splatting为3D GS引入了3D平滑滤波器和2D Mip滤波器，消除了多个伪影。

再看看Mip-Splatting和3DGS+EWA的对比，这个伪影效果很明显。

官方主页上有很多demo，感兴趣的读者可以进一步观察实验结果。

2. 具体原理是什么？

Mip-Splatting为3DGS引入了一种3D平滑滤波器，以有效地正则化3D高斯基元的最大频率，从而消除放大时的高频伪影，并用2D Mip filter替代2D dilation filter，以解决混叠和膨胀伪影。Mip-Splatting可以实现任意尺度下的无混叠渲染，3D平滑滤波器可以有效地限制高斯基元的最大频率，以匹配训练图像施加的采样约束，而2D Mip filter近似box滤波器，可以模拟物理成像过程。

3. 和其他SOTA方法对比如何？

Blender数据集上的多尺度训练和多尺度测试，Mip-Splatting在大多数指标上都达到了最优性能，显著优于3DGS和3DGS+EWA。

在Blender数据集上进行单尺度训练和多尺度测试，所有方法都在全分辨率下训练，然后在较小分辨率下进行评估，以模拟放大效果。Mip-Splatting在低分辨率下优于3DGS和3DGS+EWA。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~