PNP具身笔记｜See like a Robot：面向VLA模型的机器人本位点图
单位：KAIST AI、Krafton AI、Holiday Robotics
核心问题
VLA（视觉‑语言‑动作）策略通过相机图像观察世界，但输出动作运行于机器人本体坐标系。相机图像像素属于相机坐标系，机器人执行指令依赖基坐标系，二者天然存在坐标不匹配。传统方案需要VLA模型自行学习相机‑机器人之间的坐标变换，增加模型学习负担，容易出现空间理解偏差，真机迁移性能下降。
核心方案：Robot‑Centric Pointmaps（机器人本位点图）
提出机器人本位点图，把图像每一个像素直接换算为机器人本体坐标系下的3D空间坐标。不再让VLA网络隐式学习坐标转换，输入直接携带机器人坐标系的三维位置信息，视觉观测与动作输出处在同一坐标体系，从输入端消除跨坐标系的错位问题。
该方法保留原有VLA网络主干，仅改造输入表征，改动量小，可快速复用到Franka、UR、XARM等主流科研机械臂，降低真机部署调试成本。
实验价值
在仿真与真机任务上提升抓取、物体操作的泛化能力，减少因相机安装偏移、机位变动带来的策略失效，提升跨硬件迁移能力。
PNP观点
在具身机器人落地实践中，大量VLA算法在仿真效果优异，部署到真实机械臂后，经常因相机‑机器人坐标标定误差出现策略掉点。 See like a Robot 这篇工作直击该工程痛点。
PNP机器人整套遥操作与具身开发平台，原生支持多相机外参标定、多坐标系转换，可直接输出机器人本体坐标系点云数据，能够快速对接该类Robot‑Centric表征算法，给科研团队提供从算法验证到真机执行的完整硬件‑软件底座，助力VLA模型高效落地真机测试。
#SeeLikeaRobot #VLA #具身智能 #PNP机器人 #机器人坐标系
