仿生多模态触觉感知实现类人机器人感知

触觉感知对于高技能机器人操作至关重要，但现有系统存在传感器分辨率低、模态整合不完整以及复杂触觉信号解析不足的局限。本文提出了一种仿生多模态触觉传感器——SuperTac，其灵感源自鸽子的多光谱视觉系统。SuperTac将多光谱成像（从红外到紫外光）与摩擦电及惯性传感技术整合到单一1毫米厚的光场调制皮肤中，该皮肤由导电聚合物、荧光层、反射层及支撑层构成。该传感器结合压力自适应力传感技术，可实现高分辨率（0.00545 mm²/像素）和高精度测量，涵盖力（0.06 N精度）、位置（0.4 mm精度）、温度（0–90°C范围）、接近度（

文章核心创新点：

提出新范式：突破传统触觉传感器单一物理量检测模式，受鸽子多光谱视觉系统启发，将“多光谱成像”引入触觉感知，实现从模仿人类触觉到整合跨物种优越感官能力的理念跃升。

实现多模态传感皮肤：硬件集成创新，在 1 毫米厚的“光场调制皮肤”中融合光学、力学、运动三种感知机制，光学模态覆盖红外至紫外多光谱成像，力学模态用摩擦电传感，运动模态用惯性传感；性能卓越，超高空间分辨率（0.00545 mm²/像素），能高精度同步测多种信息，准确率超 94%。

首创“触觉语言大模型”：针对海量异构多模态触觉数据，开发 8.5B 参数的 DOVE 触觉语言模型，实现从“信号处理”到“认知理解”的跨越。

构建完整框架：构建从仿生灵感驱动的高密度多模态硬件，到生成高质量触觉大数据，再到用专用大模型进行高级语义解析的完整技术闭环，为机器人触觉感知达人类水平提供系统架构。

总结而言，本研究模仿鸽子视觉创造超集成触觉皮肤，配备专有“触觉大脑”（DOVE 模型），首次在机器人上实现接近生物水平、具复杂认知理解能力的多模态触觉感知系统，将机器人触觉从“接触检测”推向“环境与交互理解”，为智能机器人自主能力奠定基础。

研究背景

触觉是机器人操控、人机交互及扩展现实应用的核心感知模态，具身智能发展使其对高精度触觉感知需求指数级增长，高分辨率多模态触觉传感器成研究热点。

基于电子皮肤的触觉传感器因功能材料多功能性在多模态感知有潜力，但提高空间分辨率与感知模态有信号串扰等问题。视觉触觉传感是更优方案，能实现亚毫米级空间分辨率且融入现代人工智能框架，但扩展至多光谱与非成像模态面临挑战，开发真正多模态视觉触觉传感器有传感皮肤设计局限性与成像带宽受限两大障碍。

受鸽子多光谱视觉能力启发，本研究提出超级触觉传感器（SuperTac），是集成多光谱成像、摩擦电传感与惯性测量的多模态高分辨率（0.00545 mm²/像素）触觉传感器。其核心是具光场调制与多光谱成像能力的微型传感单元，采用透明度可调多层传感皮肤，由PEDOT:PSS导电层、紫外墨水荧光层及银粉涂层反射层构成，通过光场调制实现多种功能模态，集成的IMU提供加速度与姿态数据。

SuperTac具备全面感知能力，独特优势是可调内部气压可动态适配力传感范围。通过深度学习集成，力测量精度达0.06 N，位置精度0.4 mm等，在多项分类任务准确率超94%。集成至灵巧机械手并开发专用触觉语言模型DOVE，展示实际应用价值，与现有方案比，该集成化方案在分辨率与功能完整性方面表现优异。

研究流程

实验方法

实验在Conda环境用Python 3.8.20完成，数据分析在Ubuntu 20.04系统（搭载4块NVIDIA RTX A6000显卡，CUDA 11.3）上进行。

传感皮肤的制备

传感皮肤经多步骤工艺制备（补充图40等）：

透明硅酮倒入亚克力模具加热固化成支撑层；

荧光层用刮涂法，以钢丝网为掩膜涂荧光墨水，再旋涂透明硅酮；

反射层：银粉与透明硅酮混合旋涂于荧光层；

导电层：导电墨水丝网印刷于TPU表面，加热60分钟固化；

最终装配：导电层与半透明层贴合。

荧光标记增加工艺复杂度，但标准化设计使器件低成本（低于1美元）且高耐久。外层TPU薄膜耐磨耐腐蚀，荧光标记稳定性良好，实现功能与成本平衡。

SuperTac的组装与连接

传感器模块化设计（补充说明16等），分上、中、下三部分，上下铝合金，中间透明亚克力，模块间螺纹接头连接。

集成可拆卸式磁吸散热风扇，接触式弹簧针供电，N52级磁铁定位，能降低稳定温度18.4℃（补充说明17等）。

数据通信用USB 3.1 Gen 1协议，电源架构优化，最大功耗4.5 W（补充说明19等），实用性与可扩展性强。有专用用户界面可同步显示多种信号及数据（补充图50）。

图像分类网络的设计与训练

用ResNet18与MLP级联结构处理图像触觉输入，处理128×128像素图像，端到端训练完成四项分类任务。

摩擦电信号滤波后以图像存储，数据集按8:1:1划分，用Adam优化器训练。

序列信号分类网络的设计与训练

用LSTM处理序列输入（补充图19），低维数据经两层MLP处理，空间结构数据经预训练ResNet18处理，完成最终预测。

惯性测量单元数据训练碰撞检测任务，滑动检测任务仅训练LSTM与MLP分类器。数据集按8:1:1划分，用AdamW优化器训练，满足实时性要求（补充说明20等）。

气压与物体硬度对传感器感知性能的影响

研究内部气压对传感器触觉感知性能影响：

力传感实验选5个气压水平；

纹理识别与滑动检测实验选3个气压水平。

气压变化对准确性影响小，系统稳定可靠（补充说明21等）。

对柔软及含液物体广泛测试，补充样本后性能提升，纹理识别与滑动检测准确率达100%（补充图54 - 55）。有限元分析表明SuperTac充气结构更优，为实际应用提供指导（补充说明23等）。

触觉语言模型的设计与训练

基于处理后数据集，结合合成触觉语言问答对，训练大型触觉语言模型（补充图37、39）。

训练与测试数据涵盖多种条件，通过GPT - 4等生成问答对。训练分三阶段：编码器预训练、嵌入对齐与模型微调。

四个编码器与语言骨干网络总参数量达86亿，用AdamW优化器与余弦退火调度策略训练，实现稳健性能（补充说明25等）。

结果解析

多模态触觉传感系统概述

结构设计与传感机制

感知与分类算法设计

触觉语言模型的设计与应用

研究结论

传统电子皮肤触觉传感器在分辨率等方面面临挑战，视觉触觉传感器多模态感知能力受限。本研究结合光场调制传感皮肤与多光谱成像，突破局限实现高分辨率多模态感知，传感器性能卓越，还受鸽子磁场感知机制启发集成非成像感知功能，拓展了传感器能力。

解读异质性触觉信息面临挑战，本研究提出的多模态触觉语言模型DOVE，用统一输入表征方法解决问题，提升可扩展性与适应性，但存在权衡，在可扩展性与有效性间寻最优平衡是未来关键方向。

SuperTac功能拓展有多个潜力方向：传感器微型化可提升机器人手内操控能力，DOVE模态无关框架可适配不同场景。未来研究将聚焦开发低功耗解码芯片等，减小传感器尺寸并解决相关挑战，还将优化DOVE模型，提升通用性与稳健性，以弥合机器人与人类触觉感知差距，为人机交互奠基。

技术来源：https://doi.org/10.1038/s44460-025-00006-y