来源：计算机视觉工坊

添加v：dddvision，备注：三维重建，拉你入群。文末附行业细分群

论文题目：Range-Agnostic Multi-View Depth Estimation with Keyframe Selection

作者：Andrea Conti, Matteo Poggi†等

作者机构：University of Bologna 等

论文链接：https://arxiv.org/pdf/2401.14401.pdf

代码链接：https://github.com/andreaconti/ramdepth

对于从姿态帧进行3D重建的方法，通常需要先了解场景度量范围的先验知识，以便沿着极线恢复匹配线索并缩小搜索范围。然而，在真实场景中，这样的先验信息可能无法直接获得或者在估计时存在不准确性，例如，在从视频序列进行室外3D重建时，这可能严重影响性能。本文专注于多视角深度估计，无需关于场景度量范围的先验知识，提出了一种名为RAMDepth的高效且纯粹的二维框架，通过颠倒深度估计和匹配步骤的顺序来实现。此外，作者展示了作者的框架能够提供关于用于预测的视图质量的丰富见解。

读者理解：

这篇文章主要关注多视图立体匹配（MVS）领域中的成对匹配代价聚合问题，并提出了一种后期聚合方法，以克服早期聚合方案的局限性。文章通过分析指出，早期聚合可能会损害信息丰富的匹配代价，因此引入了保留视图成本的概念，实现了在整个网络前馈过程中的成对代价聚合。此外，文章介绍了一系列技术，包括处理视图顺序依赖性、适应多样化测试视点以及优化点云过滤，以进一步提高多视图立体匹配的性能。

总体而言，这篇文章对于MVS领域中的成对匹配代价聚合问题提出了一种新颖的解决方案，并通过实验证明了该方法的有效性。文章的结构清晰，技术推导和实验设计都比较详细，为该领域的研究提供了有价值的思路和方法。

1 引言

本文集中讨论3D重建方法，强调了在没有关于场景深度范围的先验知识的情况下进行多视角深度估计的重要性。提出的RAMDepth框架是一种高效而纯粹的二维方法，通过颠倒深度估计和匹配步骤的顺序，克服了先验信息不准确的问题。该框架具有场景深度范围不变性和关键帧排名的特性，为准确深度估计提供了新的思路。性能评估表明RAMDepth在各种具有挑战性的基准测试中都表现出色，展示了其在不同场景和深度范围条件下的适应性和鲁棒性。

2 方法

本文提出了一种名为RAMDepth的框架，旨在解决多姿态视图下的3D重建问题。该框架通过仅利用2D卷积层和迭代优化过程，以及一种新颖的相关性采样机制，实现了对场景深度的高效估计，同时避免了对场景深度范围的先验知识的依赖。以下是本文方法的详细总结：

• 框架设计：RAMDepth的设计基于一个核心原则，即在给定参考视图的情况下，可以通过相对姿态和足够视觉重叠找到任意源视图的匹配。框架使用迭代优化和动态匹配空间导航的方式，与传统依赖先验深度假设的框架有所不同。

• 相关性采样：RAMDepth的关键创新在于采用相关性采样机制，利用极线几何，动态更新深度估计并存储最佳匹配。这种方法与传统的代价体积建模方法相反，允许框架灵活地适应匹配空间，而不受先验深度范围的限制。

• 关键帧排名：为提高深度估计的准确性，RAMDepth引入了关键帧排名机制。通过对每个源视图计算的密集匹配代价进行排名，框架能够选择最具信息量的源视图，从而提高深度估计的鲁棒性。

• 架构模块：RAMDepth的整体架构包括图像特征编码、相关性采样、深度优化和深度解码。这些模块通过迭代过程，不断更新深度估计，最终输出准确的深度图。

• 实验验证：通过在不同基准测试上的实验证明，包括Blended、TartanAir、UnrealStereo4K和DTU等，展示了RAMDepth在各种场景和深度范围条件下的性能。实验结果表明，该框架具有良好的适应性和鲁棒性。

RAMDepth框架通过颠倒深度估计和匹配步骤的顺序，以及相关性采样机制，成功克服了传统方法中对场景深度范围先验知识的依赖问题。该框架具有场景深度范围不变性和关键帧排名的特性，为多视角深度估计提供了一种新颖的解决方案，同时在各种基准测试中展现了出色的性能。

3 总结

本文引入了RAMDepth框架，该框架在多视角深度估计中摆脱了对场景深度范围先验知识的依赖。通过在不同环境中的应用性验证，突显了其在相关匹配中自省视图重要性的能力。该框架的特性有望减轻多视角框架的部署问题，提高了推断效率。然而，对于此目的，未来的研究可能会发现更为有效的方法。