项目链接：https://sairlab.org/vlnav/
未知环境中的视觉-语言导航对于移动机器人至关重要。在如家务协助和救援等场景中，移动机器人需要理解人类指令，例如“找到穿黑色衣服的人”。我们提出了一种新颖的视觉-语言导航（VL-Nav）系统，该系统在低功耗机器人上实现了高效的空间推理。与以往仅依赖单一图像级特征相似性来引导机器人的方法不同，我们引入了启发式视觉-语言（HVL）空间推理来选择目标点。该方法结合了逐像素的视觉-语言特征和启发式探索，使机器人能够在各种环境中稳健且高效地导航至人类指定的实例。我们在四轮移动机器人上部署了VL-Nav，并在不同规模和语义复杂度的室内和室外环境中进行了全面的导航任务测试。值得注意的是，VL-Nav在Jetson Orin NX平台上以30赫兹的实时频率运行，凸显了其高效执行视觉-语言导航的能力。实验结果表明，VL-Nav的总体成功率为86.3%，比以往方法高出44.15%。
