


高分辨率触觉感知是人形机器人执行接触式交互任务的关键。然而,提升分辨率通常需要增加传感节点密度、大量互连导线以及复杂信号处理模块。本研究提出了一种基于通用智能框架的超分辨率(SR)触觉传感器阵列,其采用稀疏分布的触觉单元。该智能传感系统通过拓扑优化策略设计触觉单元布局,并运用名为自注意力辅助触觉超分辨率的深度学习模型。在该模型驱动下,仅需23个物理触觉单元即可生成2700个虚拟触觉单元,实现对高密度压力刺激的动态识别。系统达到超过115倍的超分辨率倍率,平均定位误差仅为0.73毫米,其精度可媲美人类指尖感知,超越现有最先进方案。该框架以简便高效的方式增强柔性传感器的超分辨率能力,展现了赋予机器人具身触觉感知的潜力。

文章创新点:
提出“物理稀疏,虚拟高密”新范式,用超分辨率技术,以少量稀疏分布的物理触觉单元重构高密度虚拟触觉图像,解决高分辨率与布线复杂度、系统成本的矛盾。
构建通用智能框架,紧密结合硬件布局优化与软件算法重构,提供可推广的方法论。
采用拓扑优化策略设计传感器布局,将有限物理传感器置于关键位置,为超分辨率重建提供优质原始数据。
开发自注意力辅助触觉超分辨率深度学习模型,挖掘稀疏触觉信号关联和全局信息,精准预测高分辨率压力分布。
实现超115倍超分辨率倍率,23个物理触觉单元生成2700个虚拟触觉单元,远超现有方案。
达媲美人类指尖的感知精度,平均定位误差仅0.73毫米,为机器人精细操作奠基。
实现动态识别能力,可实时识别与重构动态变化的高密度压力刺激。
赋予机器人“具身触觉”,增强柔性传感器感知能力,推动人形机器人自主交互水平提升。
本研究通过“拓扑优化硬件布局 + 自注意力超分辨率算法”协同设计,将触觉传感物理复杂性转移到计算智能上,以极低硬件成本实现高分辨率触觉感知,精度接近人类指尖,开辟了高性价比、高性能机器人触觉感知新路径。
研究背景
具身感知作为具身人工智能的基石[1],赋予了类人机器人感知环境、理解人类意图并完成复杂任务的能力[2,3]。尽管视觉感知在机器人感知中占据重要地位,但为突破视觉局限,触觉感知的引入同样不可或缺[4]。特别是在视觉信息受限的场景,如非结构化环境、昏暗空间或存在遮挡的情况下,触觉感知的作用愈发凸显[5,6]。
触觉传感器多采用阵列式结构,包含多个触觉感应单元,其工作原理多样,包括电阻式[7-10]、电容式[11-13]、摩擦电式[14-16]以及磁式[17,18]等。要实现精准操作,传感器需具备高空间分辨率,但这往往需要设计大量密集排布的触觉感应单元及互连线,不仅给传感器制备与稳定性带来挑战,还可能引发信号串扰,同时对海量触觉数据的处理也构成巨大压力。
视觉触觉传感器虽能通过摄像头与视觉算法实现高分辨率感知[19,20],但常受限于单一结构设计和较大体积,难以满足各类机器人的触觉感知需求。自然界中的人类皮肤为此提供了灵感:皮肤中的机械感受器能感知其感受野范围内的刺激[21-24],且人类皮肤感知刺激的空间分辨率甚至优于机械感受器的物理分辨率,这一现象被称为触觉超分辨率[25,26]。相邻机械感受器的感受野相互重叠,神经系统整合多路信号确定刺激位置[26,27],扮演着信号处理器的角色,仅通过少量传感器就能精准解读外界刺激。深度学习模型通过学习并整合多源信号,可完美复刻这一功能,相关研究已在众多文献中得到深入探讨[28-30]。目前,已有研究借鉴人类皮肤的触觉超分辨机制,利用深度学习技术,研发出适用于单点[31-35]和多点接触感知的触觉超分辨率传感器(具体汇总见补充表S1)[36-39]。多点接触感知因适用性更广而更受关注,但获取海量数据用于深度模型训练仍面临诸多困难[40,41]。
有研究人员从信号角度寻求突破,利用磁化薄膜与霍尔传感器将多点按压信号拆解为多个单点按压信号[42,43],再通过人工叠加合成多点接触信号,以此训练用于多点接触识别的深度模型。这种方式虽有效降低了数据采集需求,但训练数据的多样性仍限制模型性能。
尽管仿真方法与知识迁移技术为此提供了部分解决方案[36-39],但仿真数据与真实场景数据间的领域差异会导致感知精度下降。此外,如何用最少的触觉感应单元实现高分辨率感知,对传感器的大面积部署至关重要。这需要充分利用触觉感应单元的感受野,优化感知资源配置。然而,当前研究尚未涉及基于感受野优化触觉感应单元排布的内容,导致感知资源存在冗余与浪费。
本文提出一种通用计算框架,借助深度学习技术赋予触觉传感器超分辨率压力分布感知能力。同时,设计了一种通用拓扑方法,优化触觉传感器阵列布局,以最少的感应单元覆盖最大感知区域,实现有限感知单元的高效利用。基于该优化布局,研究团队进一步设计了端到端的自注意力辅助触觉超分辨框架(SATS),该框架通过处理多通道信号,精准估算感知面上的刺激(如压力)分布。
为验证这一框架,研究人员制作了含23个感应节点的柔性触觉传感器,并经自注意力辅助触觉超分辨模型校准后,构建出多点超分辨触觉皮肤(MSR-skin)。该传感器仅通过23个物理感应单元,就能生成2700个虚拟感应单元,超分辨率放大倍数约达117倍(具体定义见补充说明S1)。其感知面的平均定位误差(均方根误差)仅为0.73毫米,与人类指尖的定位精度(0.3-1毫米)[25,44]相当,且优于当前主流技术方案。据我们所知,这是首个适用于柔性传感器的多点触觉超分辨方案,可实现感知面压力分布的完整感知。
研究人员将这款多点超分辨触觉皮肤集成到机器人手上,使其具备了具身触觉感知能力(见图1B)。此外,为直观展示其超分辨性能,团队在感知面上集成了一款布局紧凑的柔性键盘,使其可作为人机交互输入设备应用于多种场景。不仅如此,该传感器依托超分辨接触图谱感知技术,成功对多种形状完成成像与精准识别,分类准确率高达98.35%。为进一步验证该超分辨框架的通用性,研究人员还基于此设计出一款基于摩擦纳米发电机的动态超分辨率触觉传感器。
研究流程
采用标准酸蚀工艺,以泡沫镍为模板制备。具体步骤:
按1:20质量比配制碳纳米管(型号XFM19)与三氯甲烷混合液,用超声细胞破碎仪90瓦功率超声15分钟。
按10:1取聚二甲基硅氧烷预聚体(型号Sylgard 184)与固化剂混合,加三氯甲烷稀释(质量比1:3),加入上述混合液,室温650转/分钟搅拌约10分钟。
在通风橱内,将混合液80℃、650转/分钟加热搅拌,蒸发约60%三氯甲烷。
用红外激光切割系统将2毫米厚泡沫镍(型号KSH - 1011)切成直径10毫米圆形。
圆形泡沫镍浸入混合液30秒,筛网抖动去除不均部分,90℃烘烤30分钟固化,再浸3摩尔/升盐酸溶液20小时蚀刻去除泡沫镍。
蒸馏水多次清洗蚀刻后样品得成品。
采用逐层制备方式:
电极层为定制化柔性印刷电路板,由嘉立创科技制作。
取0.12毫米厚聚对苯二甲酸乙二醇酯薄膜贴于底部电极层,激光切割露出电极,作刮涂银浆(型号GC - SP360 - A)掩膜板。
感应单元贴合底部电极银浆区域,底层边缘放同材料隔离垫。
顶层电极层按底层流程制作后盖在感应单元上,集成好的阵列放加热台(型号X1010T)加热使银浆固化。
阵列上方放5毫米厚10号龙皮硅胶弹性体,兼具保护罩与传力介质作用。
用扫描电子显微镜(型号Gemini 300)观察多孔海绵表面形貌。
通过万能试验机(型号34SC - 05)测试感应材料力学性能。
利用移动平台(型号LY100 - C)开展感受野相关测试。
以ATmega328P单片机作数据采集模块处理器,分压法测电阻,采样频率500赫兹。
针对23节点触觉传感器原型机定制专用电路板,采用四线制电阻测量法,用意法半导体STM32F系列单片机完成电阻测量与数据采集。每个感应单元连接一顶层和一底层电极,形成46个通道(23×2),选两片多路选择器(型号CD74HC4067)控制23个通道,采样频率设为10赫兹。
对搭载六维力传感器(型号Gamma IP60)的机械臂(型号UR5)编程,按压感知面各位置,力反馈控制下逐步增大位移至压力达10牛后松开,记录机械臂末端执行器坐标与力传感器压力数据,同时采集传感器阵列23通道时序信号,时间戳对齐两类数据,用10个采样点滑动窗口分割数据,机械臂数据作真实标签,传感器阵列数据作自注意力辅助触觉超分辨模型输入数据。
大规模形状识别实验:志愿者将多种形状三维打印模型随机放传感器阵列上并施加随机法向力,每种形状采集约4000组样本,9:1划分训练集与验证集。采集传感器阵列响应信号,经自注意力辅助触觉超分辨模型处理得压力分布图,再输入基于卷积神经网络的形状分类器。
自注意力辅助触觉超分辨模型:用一层隐藏层维度125的长短期记忆网络编码窗口大小10的时序信号,每个感应单元单独配置。自注意力模块基于两层图注意力网络(每层隐藏层维度125)构建,输入前构建图结构,节点为编码特征,边由邻接矩阵定义。长短期记忆网络特征与自注意力模块特征拼接后输入局部图谱构建模块(三层多层感知机,维度250、375、500、195),每层后接带泄漏线性整流激活函数。输出调整为13×15二维矩阵形成局部压力图,掩膜处理融合得整体压力图,经两层卷积神经网络(卷积核3×3,第一层后接带泄漏线性整流激活函数)处理得最终压力分布结果,为54×50矩阵,对应2700个虚拟感应单元。模型用自适应矩估计优化器训练,学习率0.0064,批次大小2048,训练200轮,损失函数均方误差。
形状分类模型:基于卷积神经网络,含三层卷积层(输出通道数16、32、64,卷积核3×3),每层后接2×2最大池化层。最后一层最大池化层输出扁平化后输入多层感知机(维度256、64、5)分类。除最后一层外,其余各层接带泄漏线性整流激活函数。模型用自适应矩估计优化器训练,学习率0.001,损失函数交叉熵损失。
模型基于Python 3.11.5环境、PyTorch 2.1.1框架开发,在搭载英伟达RTX 4090显卡的Ubuntu 20.04系统训练。自注意力辅助触觉超分辨模型每轮训练约16秒,200轮约53分钟。
弹性体为超弹性材料,用穆尼 - 里夫林模型模拟,设定密度1×10⁻³克/立方厘米,参数C10=0.144、C01=0.036、D1=0。构建直径100毫米、厚度5毫米圆柱体模型,上表面中心直径10毫米圆形区域施均布载荷,记录下表面压力分布。
结果解析

触觉传感器具有皮肤灵感设计和SR传感能力

触觉SR框架的提出

触觉传感器的制造和表征

MSR-skin的校准

增强SR感觉的人机交互应用
研究结论
本研究探索计算触觉感知可行性,构建基于深度学习的框架,赋予触觉传感器超分辨率压力分布检测能力。重点优化感知资源利用效率,设计的自注意力辅助触觉超分辨模型可接收多通道信号估算压力分布。该框架突破物理性能限制,提升空间分辨率,弥补硬件不足,简化结构,增强可靠性与耐用性。
分辨率提升利于人机交互应用落地与具身感知发展,框架通用性好,适用于多种触觉传感器设计。但感知面边缘区域因感受野覆盖不完全检测误差较大,增设感应单元可解决。制备更小更密集的感应单元可提升硬件捕捉信息能力,有望实现更高精度分辨率;采集高保真度数据,调整模型潜在特征维度训练,可优化超分辨触觉感知效果。
自注意力辅助触觉超分辨模型支持从单点接触场景到多点接触场景的零样本知识迁移,仅需单点接触数据训练,无需重新训练即可适配多点接触场景,提升模型适应性。
若多个接触点间距过小,可能触发相同感应单元,造成误判,加剧单点与多点接触场景的数据领域差异,复杂接触场景问题更突出,如不同形状成像时存在知识迁移难题,或影响压力分布估算成像效果。可通过软硬件协同优化解决:采集更多多点与面接触场景数据微调模型;制备更小更密集的感应单元提升物理分辨率。
此外,系统扩展性良好,按本研究布局新增感应单元,仅需增设长短期记忆网络层即可集成,自注意力模块、局部图谱构建模块及卷积神经网络层无需改动。
技术来源:10.1126/sciadv.adv2124