来源：3D视觉工坊

添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群

扫描下方二维码，加入3D视觉知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程（星球成员免费学习）、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

传统的多目标跟踪（MOT）方法通常假设对象是粗粒度实体，因为在经典的MOT任务中，特定对象类别和场景的动态性不显著，对象内部的关系相对稳定。然而，在跟踪任意对象，特别是高度动态对象，在开放世界的MOT任务中，这种假设受到严重挑战。开放世界对象的高度动态性，表现为严重变形、快速运动和频繁遮挡，对现有方法构成了两个主要方面的挑战：

1）关联对于大多数仅依赖粗粒度视觉表示的方法，高度动态性使得关联的时间连续性在关联方面变得脆弱，因为对象内部的关系被扭曲。这些方法通常将整体对象表示为粗粒度的边界框或相应的特征，动态性显著降低了这些表示在不同时间步之间的相似性。

2）定位高度动态性也对建立准确的对象-文本对应关系提出了挑战。SoTA方法通常在预训练中学习整个图像和文本之间的粗粒度对应关系。对于严重变形或遮挡的对象，这些方法通常难以定位。

在这项工作中，作者提出了NetTrack，引入了细粒度学习来解决上述两个方面的问题。 关于关联，NetTrack利用对象外观上的物理点，这些点对对象的动态性影响较小，并形成细粒度的视觉线索。对于定位，采用了基于地面的预训练方法来学习对象和文本之间的细粒度对应关系。

下面一起来阅读一下这项工作~

标题：NetTrack: Tracking Highly Dynamic Objects with a Net

作者：Guangze Zheng, Shijie Lin, Haobo Zuo, Changhong Fu, Jia Pan

机构：香港大学、同济大学

原文链接：https://arxiv.org/abs/2403.11186

代码链接：https://github.com/George-Zhuang/NetTrack

数据集链接：https://pan.baidu.com/s/1Ztu8-JJLFHmMkJyWrJQ8lQ?pwd=bft5

官方主页：https://george-zhuang.github.io/nettrack/

3D视觉Daily

，赞38

开放世界物体的复杂动态性呈现出不可忽视的挑战，对多目标跟踪（MOT）而言，这经常表现为严重的变形、快速运动和遮挡。大多数仅依赖于粗粒度物体线索（如框和物体的整体外观）的方法容易因动态对象内部关系的扭曲而降解。为了解决这个问题，本文提出了NetTrack，一个高效、通用且经济实惠的跟踪框架，引入了对动态性稳健的细粒度学习。具体而言，NetTrack构建了一个动态感知关联，利用细粒度Net，利用点级视觉线索。相应地，还引入了细粒度采样器和匹配方法。此外，NetTrack学习物体-文本对应以进行细粒度定位。为了评估极端动态的开放世界场景中的MOT，构建了一个鸟群跟踪（BFT）数据集，该数据集展示了高度动态的特性，具有多种物种和开放世界场景。对BFT的全面评估验证了对物体动态性的细粒度学习的有效性，并在具有挑战性的开放世界基准测试上进行了彻底的转移实验，即TAO、TAO-OW、AnimalTrack和GMOT-40，验证了NetTrack即使在没有微调的情况下也具有强大的泛化能力。

a：提出的 NetTrack 的可视化类似于一个网络。对象的动态性扭曲了对象的内部关系，对仅依赖于边界框的传统粗粒度跟踪方法提出了挑战。而 NetTrack 引入了对动态性具有鲁棒性的细粒度网络。

b：NetTrack 跟踪高度动态对象在开放世界跟踪和指代表达理解设置下的定性结果。像变形和快速运动这样的动态性导致粗粒度表示发生改变，而细粒度网络可以稳健地收缩。虚线框表示前一时间步的对象位置。

c 提出了一个名为 BFT 的具有挑战性的基准，专门用于评估高度动态对象跟踪，其外部圆形展示了丰富的场景，中心的词云展示了多样的物种。

针对动态感知的细粒度关联Net代替将对象视为粗粒度实体，该工作使用细粒度Net跟踪对象，该Net利用对象外观表面的兴趣点（POIs）。动态性，如变形，通过改变全局相对位置和外观特征分布，扭曲了POIs之间的内部关系，而点本身的细粒度表示，如局部外观颜色和与相邻点的关系，很少受到影响，并且表现出鲁棒性。根据这一观点，作者设计了一个细粒度采样器来发现潜在的POIs，并利用这些点的细粒度视觉线索，以及新兴的物理点跟踪方法，进行稳健的跟踪。随后，提出了一种简单但有效的细粒度相似度计算方法，用于确定跟踪的POIs和候选对象之间的包含关系。提出的细粒度相似度分数与现有的粗粒度相结合，实现了对动态对象更稳健的关联。

用于细粒度定位的对象-文本对应关系为了发现和定位跟踪中的高度动态对象，该工作采用了一种预训练方法来进行短语基准定位，用于细粒度的对象-文本对应关系。与利用粗粒度图像-文本对应关系的基于CLIP的跟踪方法相比，NetTrack可以更有效地区分高度动态的对象。此外，通过将描述符嵌入到框架中，所提出的框架学习了上下文信息，例如提供的专业应用和知识背景，以减轻背景干扰，并实现了对于高效动态对象跟踪的实际现实世界应用。

在不同场景上进行高度动态基准和迁移实验该工作引入了一个名为鸟群跟踪（BFT）的高度动态开放世界MOT数据集，用于评估跟踪方法在跟踪高度动态对象方面的性能。BFT尤其值得注意的是22种鸟类的复杂和不可预测的动态性，有三个主要原因：1）由三维活动空间引起的快速运动。2）由于翅膀频繁拍打引起的变形。3）由于鸟群中鸟类的集体行为引起的遮挡。此外，BFT包括14个不同的开放世界场景和106个序列中的22种物种，展示了丰富的多样性。在评估中，提出的NetTrack框架在BFT中跟踪高度动态对象方面达到了SoTA性能。此外，全面的零样本迁移实验表明，NetTrack在几个具有挑战性的开放世界MOT基准测试中超越了跟踪基线，例如TAO，TAO-OW，AnimalTrack和GMOT-40。引入的细粒度学习提高了NetTrack的更强的泛化能力，即使在没有微调的情况下也是如此。作为一种高效、通用和经济实惠的跟踪框架，NetTrack在开放世界应用场景中也展现出潜力，进一步突显了其适用于下游任务的特性。

开放世界对象的高动态性表现为严重的变形、快速运动和频繁的遮挡，在两个主要方面给现有方法带来了挑战：

1）关联对于大多数仅依赖粗粒度视觉表示的方法而言，高动态性使得关联的时间连续性变得脆弱。

2）定位现有技术方法通常在预训练阶段学习整个图像和文本之间的粗粒度对应关系，其中动态对象难以定位。

在这项工作中，作者提出了NetTrack，引入了细粒度学习来解决上述两个方面的问题。关于关联，NetTrack利用对象外观上的物理点，这些点不太容易受到对象动态性的影响，并形成了细粒度的视觉线索。对于定位，采用了基于基础知识的预训练来学习对象和文本之间的细粒度对应关系。

物体文本对应的精细定位。 这项工作采用短语接地作为预训练方法。与利用粗粒度图像文本对应的 CLIP 基础跟踪方法相比，NetTrack 可以更有效地区分动态物体。NetTrack 还可以从 LLM 中学习上下文信息，以实现有效的动态物体跟踪的实际应用。

针对动态感知的精细 Net 的细粒度关联。 NetTrack 使用精细 Net 跟踪物体，该 Net 利用物体外观表面上的兴趣点（POIs）。我们设计了一个精细取样器来发现潜在的 POIs，并利用这些点的细粒度视觉线索，以及新兴的物理点跟踪方法来进行稳健的跟踪。随后，提出了一种简单而有效的细粒度相似度计算方法，用于确定跟踪的 POIs 与候选物体之间的包含关系。

鸟群是开放世界中最有活力的追踪对象之一，因此被认为是这项工作的理想对象。a：作者构建了BFT数据集，该数据集包括22个鸟类物种和14个常见的自然和文化场景，覆盖了6个大洲。经过精心的数据整理和标注，BFT数据集包含106个视频，分割成35 / 25 / 36个视频用于train / val / test。b：BFT数据集中物体的宽高比变化剧烈，表现出高动态性。c ：物体的大幅度运动也表现出BFT数据集的高动态性。

实验部分旨在以下核心结论：

1 )开放世界物体的高动态性对MOT提出了重大挑战。

2 ) Net Track能很好地处理动态目标，在不同的开放世界跟踪数据集上表现出很强的泛化能力，且不需要微调。

3 )与粗粒度方法相比，本文提出的细粒度学习方法对动态目标跟踪表现出更强的泛化能力。

这项工作聚焦于开放世界中的高动态目标追踪，并提出了NetTrack来学习细粒度目标线索。具体而言，引入了细粒度视觉线索和目标-文本对应关系，用于动态感知关联和定位。该工作还提出了一个高度动态的开放世界目标追踪基准，BFT，并通过与SoTA追踪器的广泛评估证明了NetTrack的有效性，用于追踪动态目标。此外，对几个具有挑战性的开放世界目标追踪基准进行了大量转移实验，验证了NetTrack在无需微调的情况下的强大泛化能力。对限制的分析表明，更加简化的端到端方式和过滤假阳性样本对进一步改进是有希望的。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊交流群

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、大模型、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

大模型：NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

3D视觉工坊知识星球

3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪，无人机等。