【VALSE论文速览-107期】Codebook Prior Helps Implicit Neural 3D Representations
论文题目：CoCo-INR: Coordinates Are NOT Lonely -- Codebook Prior Helps Implicit Neural 3D Representations
作者列表：Fukun Yin* (复旦大学), Wen Liu* (腾讯), Zilong Huang (腾讯),, Pei Cheng (腾讯),, Tao Chen † (复旦大学), Gang YU (腾讯).
* equal contribution, † corresponding author.
论文摘要：
隐式神经表示 (Implicit Neural Representation, INR) 在表面或场景重建和新视图合成方面取得了优异的成果。 然而， 现有的方法， 如 Neural Radiance Field (NeRF)， 及其变体 Unisurf， NeuS， VolSDF， 通常需要密集的输入视图(约 50-150个) 才能获得不错的结果。 为了解决对海量校准图像的过度依赖， 我们探索将先验信息注入到基于坐标的网络中， 丰富基于坐标的特征表示， 并引入一个新的基于坐标的模型， CoCo-INR。 该方法的核心是两个注意力模块： Codebook 码本注意力和 Coordinates 坐标注意力。 在先验信息的帮助下， 我们的方法可以比现有的方法在使用更少的校准图像的情况下渲染出更逼真的 3D 视图。 在 DTU, BlendedMVS 和 H3DS 三个数据集上都表现出了良好的鲁棒性和细节保存能力。
论文信息：
[1] Fukun Yin, Wen Liu, Zilong Huang, Pei Cheng, Tao Chen and Gang YU. Coordinates Are NOT Lonely - Codebook Prior Helps Implicit Neural 3D Representations [C]//Thirty-Sixth Conference on Neural Information Processing Systems, 2022.
论文链接：
[https://arxiv.org/abs/2210.11170]
代码链接：
[https://github.com/fukunyin/CoCo-NeRF]
视频讲者简介：
尹富坤，复旦大学博士生，在CVPR / NeurIPS / T-CSVT等国际高水平会议或期刊发表多篇论文，博士期间主要研究方向是三维场景表示与生成。
为计算机视觉、图像处理、模式识别与机器学习等研究领域内的华人青年学者提供深入学术交流的舞台。
顶部