论文题目：RPEFlow: Multimodal Fusion of RGB-PointCloud-Event for Joint Optical Flow and Scene Flow Estimation
作者列表：万哲雄，毛宇昕，张静，戴玉超
论文摘要：最近的有融合RGB图像和点云的方法成功用于联合估算二维光流和三维场景流。然而，由于传统的图像相机和激光雷达传感器都采用基于帧快门的数据采集机制，基于这类传感器的运动感知算法的性能往往会受到固定的低采样帧率的限制，尤其是难以处理高动态场景。相比之下，新型事件相机能以极高的时间分辨率异步捕捉场景中的亮度变化，能够为视觉算法对场景理解提供额外的动态信息。在本文中，我们提出一个融合图像、点云和事件的用于联合估计光流和场景流的多阶段多模态融合模型RPEFlow。具体地，我们提出了一个基于交叉注意机制的多模态融合模块，以隐含地探索二维和三维分支的多模态特征间相关性。其次，我们提出了三模态互信息正则化项，以显式地建模三种模态的互补信息，从而实现有效的多模态特征学习。我们还提供了一个新的合成数据集，以促进进一步的研究。在合成数据集和真实数据集上的实验表明，我们的模型明显优于现有基于单模态、两模态的最优的光流估计、场景流估计模型。代码和数据集将公开在https://npucvr.github.io/RPEFlow。
原文链接：https://drive.google.com/file/d/1TdXnQTbLOHCRj4mRvN5ToQwyClIXqe3V https://www.aliyundrive.com/s/7mMxFn2aDn6 提取码: 23sf
视频讲者介绍：万哲雄，西北工业大学电子信息学院三年级博士生，师从戴玉超教授。研究兴趣为事件相机视觉，包括运动估计、运动分割、运动去模糊、视频插值等。已在CVPR、ICCV、TIP、TCSVT等会议和期刊上发表论文5篇，其中第一作者3篇。个人主页：https://danquxunhuan.cn
