研究内容
随着技术进步，人机交互（HMI）需要更直观、自然的方式。为满足这一需求，能够捕捉复杂手部动作的智能手套正成为重要的HMI工具。摩擦电传感器因其自供电、低成本、材料多样等特性，为增强现有手套系统提供了潜在解决方案。然而，此类传感器的关键局限在于测量电路中的电荷泄漏导致仅能捕获瞬态信号而非连续变化。为解决这一问题，本研究开发了一种电荷保持电路，有效防止摩擦电信号衰减，从而实现连续手指运动的精准测量。这一创新构成了高度集成的智能手套系统的基础，通过结合连续摩擦电信号与惯性传感器数据，增强了HMI功能。该系统展示了广泛的应用场景，包括复杂机器人控制、虚拟现实交互、智能家居灯光调节和直观界面操作。此外，通过人工智能（AI）技术，系统实现了复杂手语的精准识别，准确率达99.38%。本文提出了一种基于电荷保持策略的摩擦电传感器连续传感方法，为未来多模态HMI和手语识别系统的开发提供了重要参考。该智能手套系统凭借双模传感与AI融合，有望在多个领域引发变革并提升用户体验。
研究背景
人机交互（HMI）受AI、IoT和VR推动快速发展，传统接口难满足沉浸式交互需求。本研究提出摩擦电-惯性双模传感手套（TI-Glove），通过电荷保持电路解决摩擦电传感器电荷泄漏问题，实现连续手指运动检测。该系统结合摩擦电信号与IMU数据，支持机器人控制、VR交互、智能家居控制等应用，并通过AI算法实现复杂手语的高精度识别。现有手部运动追踪技术主要分为高数据率刚性方案和柔性方案，摩擦电传感器因低成本、零功耗等优势被用于可穿戴设备，但高内阻导致输出电荷易耗散。本文提出电荷保持电路，结合IMU数据，构建了集成摩擦电-惯性双模传感的智能手套系统。
研究结果
图1.TI手套的智能系统，采用摩擦电-惯性双模传感。A)多功能人机交互的示意图，用于机器人控制、虚拟现实、智能家居和直观界面。B)手语识别系统的示意图。C) (i)柔性摩擦电传感器的详细结构。（ii）TI手套的整体结构。（iii）通过IMU实现的手部方向感应。D)在连续弯曲过程中，基于摩擦电传感器的充电获取和电压获取方法信号的比较，以及保持电荷的电路防止了输出电荷从基于摩擦电的传感器泄漏，从而实现连续信号采集。E)系统中信号流的示意图。
图2.三电学传感器的工作机制和特性。A)三电学传感器的工作机制示意图。B)当(i)释放和（ii）弯曲时，三电学传感器的电位分布模拟。C–E)由Ecoflex、DragonSkin及带有微结构的DragonSkin制成的三电学传感器的开路电压、短路电流和转移电荷。F)(i)平面表面和（ii）带有微结构的表面的SEM图像。G)不同弯曲角度下的开路电压。H)开路电压的频率依赖性。I)最多12000次连续弯曲循环的机械耐久性测试。J)电压、电流和功率输出对外部负载电阻的依赖性。
图3.三电感应信号的分析与便携式采集。A、B)在一个周期内，不同外部负载下基于三电感应传感器的输出电压和电荷波形。插图：上升阶段电荷波形的放大视图。C)TI手套系统的电路图。D)基于电荷测量策略的三电感应信号处理电路。E)在传感器弯曲时，通过两种策略在不同角度、保持时间和速度下获取的三电感应信号的比较。上：示波器测得的输出电压。下：增强PCB获取的信号。F)步进弯曲和释放过程中获取的信号的比较。G)从输出信号中提取的弯曲运
图4.TI手套在多功能人机交互中的演示。A)机器人手控制。(i)不同手势的摩擦电传感器实时信号输出和（ii）与人类手势和机器人手动作相对应的照片。B)控制机器人前进、后退、左转和右转的IMU信号。C)集成演示的截图，展示先进的机器人运动和抓取控制。D)通过TI手套实现的虚拟现实互动，包括(i)捕捉并挥动火炬，（ii）捕捉苹果并投掷。E)(i)平滑调节光线亮度和（ii）更改光线颜色的演示。F)通过手部动作实现的直观界面，包括图像控制(i)缩放/平移和（ii）水平/垂直移动。
图5.人工智能辅助的手语识别系统。A)训练和实时手语手势识别的过程流程。B)卷积神经网络的整体结构示意图。C)选定的10个美国手语手势示意图。上方：包含基本手指弯曲的手势。下方：包含手指弯曲和手部方向的手势。D) (i)基于摩擦电的传感器和（ii）数据集中10个手语手势产生的IMU输出信号。E)识别10个手语手势的混淆图(i)仅使用手指弯曲数据，（ii）融合手指弯曲数据和手部方向数据。
研究结论
我们开发了一种具有摩擦电-惯性双模传感的TI手套，旨在实现更加直观和自然的交互体验，同时捕捉手指弯曲和手部方向。这些功能集成在一个手套系统中，提供了比现有解决方案更高的集成度和更广泛的能力。摩擦电传感器的输出电荷泄漏问题已经得到分析，并提出了一种具有电荷保持能力的轻量级信号处理电路，以实现基于摩擦电传感器信号连续变化的便携式测量。该系统利用连续摩擦电信号和惯性传感信号的双模信息，实现了多种人机交互功能，包括高级机器人控制、虚拟现实互动、照明控制和直观界面操作。此外，还开发了一种基于人工智能的手语识别系统，用于帮助言语障碍者，通过融合摩擦电和惯性传感数据来提高复杂手势（涉及手指弯曲和手部）的识别准确性。
参考文献
10.1002/advs. 202408689
