导读：

针对传统手部动作感知系统依赖单一传感模态、穿戴舒适性差等问题，设计了一种轻量化、无线化的多模态感知系统，并将其应用于机械臂遥操作。该系统由集成弯曲与压力传感器的柔性数据手套及八通道前臂肌电手环构成，通过双蓝牙架构实现运动学与生理学数据的亚毫秒级同步采集。在遥操作控制中，利用手环内置惯性测量单元(IMU)解算前臂姿态，控制机械臂空间位姿；基于数据手套手势识别驱动灵巧手完成抓取动作。实验结果表明，该系统在抓取任务中成功率达100%，验证了其在精细操作与实时交互中的可靠性与有效性。为自然人机交互提供了一种轻量化、高集成度的技术方案。

作者信息：

冯莹盈, 贾丹平*, 赵 璐, 刘振宇：沈阳工业大学信息科学与工程学院，辽宁 沈阳

论文详情

面向机器人遥操作的高机动性需求，设计了一套轻量化、无线化的多模态感知系统如图 1 所示。

柔性数据手套以轻量化、高透气性的麂皮材质为载体，整只手套经过精密剪裁与缝制，重量控制在 40 克以内，实现了近乎无感的佩戴体验，在保证机械强度的同时，兼顾了柔韧性、透气性与长期穿戴舒适性，可满足长时间连续使用场景下的用户需求。

为实现对手部动作神经驱动信息的同步采集，系统集成了自主研发的多通道表面肌电(sEMG)手环。 该手环以轻量化、低功耗为设计原则，采用柔性可伸展软体材料作为基底，兼顾长期佩戴的舒适性与运动形变适应性，并支持便捷清洁维护。

硬件架构以 nRF52840 低功耗蓝牙芯片为核心处理单元，集成了8通道医疗级银电极与前端预处理电路。肌电手环实物如图 3 所示及信号预处理流程如图 4 所示。

为实现运动学与生理学特征的亚毫秒级时空对齐，系统采用双蓝牙并行通信架构。数据手套端基于 ESP32-WROOM-32D 模组构建嵌入式采集系统，其下位机工作流程如图 5 所示。

为实现对机械臂的自然、直观控制，本文构建了“手环导航–手套操作”的仿生控制框架，将人体上肢运动与手部动作分别映射为机械臂的空间位姿与灵巧手抓取动作，形成粗粒度导航与细粒度操作的分层控制策略。

为了克服决策级融合中各模态信号关联性挖掘不足及信息利用过于松散的问题，本研究转向特征级 融合范式，构建了卷积–注意力–LSTM (CNN-Attention-LSTM)混合架构，如图 6 所示。

为评估卷积–注意力–LSTM 模型的性能，本文在包含 10 类手势的标准数据集上进行了离线训练与 测试。实验结果显示，该特征级融合模型在测试集上的平均识别准确率达到 99.55%，混淆矩阵如图 7 所示。

为进一步验证系统的工程泛化能力，开展了面向 5 名新用户的跨个体在线实验，结果如图 8 所示。

本文设计并实现了一种轻量化、无线化的多模态感知系统，并将其成功应用于机械臂遥操作场景。 该系统由集成弯曲与压力传感器的柔性数据手套及八通道前臂肌电手环构成，通过双蓝牙并行通信架构，实现了运动学与生理学数据的亚毫秒级同步采集与无线传输。在此基础上，构建了“手环导航–手套操作”的仿生控制框架，利用手环内置惯性测量单元(IMU)解算前臂姿态，控制机械臂空间位姿；同时基于数据手套的手势识别结果驱动灵巧手完成抓取动作。实验结果表明，该系统在抓取搬运任务中成功率达 100%，验证了其在精细操作与实时交互中的可靠性与有效性。本文工作为自然人机交互与机器人遥操作提供了一种轻量化、高集成度的技术方案，现将其与现有的遥操作感知系统进行对比，如表 1 所示。本文设计并实现了一种轻量化、无线化的多模态感知系统，并将其成功应用于机械臂遥操作场景。 该系统由集成弯曲与压力传感器的柔性数据手套及八通道前臂肌电手环构成，通过双蓝牙并行通信架构， 实现了运动学与生理学数据的亚毫秒级同步采集与无线传输。在此基础上，构建了“手环导航–手套操 作”的仿生控制框架，利用手环内置惯性测量单元(IMU)解算前臂姿态，控制机械臂空间位姿；同时基于 数据手套的手势识别结果驱动灵巧手完成抓取动作。实验结果表明，该系统在抓取搬运任务中成功率达 100%，验证了其在精细操作与实时交互中的可靠性与有效性。本文工作为自然人机交互与机器人遥操作 提供了一种轻量化、高集成度的技术方案，现将其与现有的遥操作感知系统进行对比，如表 1 所示。

通过与上述典型研究的横向对比可以发现，本系统在保障感知深度的前提下，显著提升了遥操作过 程中的佩戴舒适度与环境鲁棒性。

基金项目：

国家重点研发项目(2022YFF1202502)：多模态运动信息高效感知与意图精准识别技术

辽宁省科技创新团队领军人才项目(LJ222410142060)：基于多模态多传感器融合导航的复合机器 人系统研究

原文链接：

https://doi.org/10.12677/airr.2026.153080