从无约束的照片集合中进行新的视图合成( NVS )在计算机图形学中具有挑战性。最近,3D高斯泼溅( 3DGS )显示出对静态场景进行真实感和实时NVS的前景。在3DGS的基础上,我们提出了一个有效的基于点的可微渲染框架,用于从照片集合中重建场景。我们的关键创新点是一个基于残差的球谐系数传递模块,使3DGS适应变化的光照条件和光度后处理。这个轻量级模块可以预先计算,并确保从渲染图像到3D高斯属性的有效梯度传播。此外,我们观察到外观编码器和瞬态掩膜预测器,这两个最关键的部分来自于无约束照片的NVS。我们引入了一个“即插即用”轻量级的空间注意力模块来同时预测每张图像的瞬时遮蔽物和潜在外观表示。经过训练和预处理后,我们的方法与标准的3DGS格式和渲染流水线对齐,便于无缝集成到各种3DGS应用中。在不同数据集上的大量实验表明,我们的方法在新颖视图和外观合成的渲染质量上优于现有方法,具有较高的收敛性和渲染速度。
文章名称:【WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections】
文章链接:http://arxiv.org/abs/2406.02407
项目主页:https://yuzewang1998.github.io/we-gs.github.io/