OEA|基于全光感知的数字孪生手推动水下人机协同交互与精细化作业能力提升

OEA | 基于全光感知的数字孪生手推动水下人机协同交互与精细化作业能力提升

Opto-Electronic Advances 论文推荐

国防科技大学于洋副研究员团队提出了一种基于光感知的水下数字孪生手交互控制系统, 推动水下人机协同交互与精细化作业能力提升。该系统以光纤布拉格光栅传感器为核心感知元件 ，利用光信号作为信息载体 ，构建了从人体手势采集 、软体手控制到数字孪生可视化的一体化闭环链路。

文章 |Lu JL, Zhang C, Nong HC et al. Light-perception-based interactive control of an und erwater digital twi n h and. Opto-Electron A dv9, 250311 (2026).

第一作者： 陆进龙 ，张超 ，农恒昌 ，王冬迎

通信作者 ：于洋

研究背景

随着全球资源开发不断向海洋拓展 ，水下探测与作业正成为人类科技的新前沿。然而 ，水下环境 极端 复杂 ，存在高压、低温、低能见度、强干扰等多重挑战 ，传统刚性机械手因灵活性差、环境适应性弱 ，难以胜任精细化的水下作业任务。更关键的是 ，在深海作 业中 ，人（操作者） 与机（水下机械手） 之间的协同效率直接决定了任务的成败。如何让操作者在水面或母船上“ 自然、直观、低延迟”地远程操控水下机械手 ，并让机械手在动态干扰环境中“ 感知、反馈、 自适应”地执行精细操作 ，是当前水下人机协同领域的核心难题。

近年来 ，软体机器人技术的兴起为解决这一问题提供了全新思路。软体机械手凭借其柔性结构、连续变形能力和对水下生物的低损伤特性 ，展现出在复杂水下环境中执行精细操作的巨大潜力。然而 ，软体机械手在水下的实际应用中仍面临三大核心难题 ：一是感知能力不足。水下软体执行器在生物采样、文物打捞等作业中发挥重要作用 ，但其本体感知能力普遍不足； 二是如何构建自然、高效的人机交互方式 ，使操作者能够远程、直观地控制软体手； 三是如何在动态环境中提升控制鲁棒性 ，保证作业的稳定性。传统感知方式如电学传感器在水下易受电磁干扰、封装复杂 ，而视觉系统在浑浊水体中常常失效。 因此 ，亟需发展一种抗干扰、高灵敏、适用于水下环境的感知与交互新方法。

本文亮点

针对上述挑战， 国防科技大学于洋副研究员团队提出了一种基于光感知的水下数字孪生手交互控制系统, 推动水下人机协同交互与精细化作业能力提升。该系统以光纤布拉格光栅传感器为核心感知元件 ，利用光信号作为信息载体 ，构建了从人体手势采集、软体手控制到数字孪生可视化的一体化闭环链路。 FBG传感器本身具备抗电磁干扰、高精度、易复用等优势 ，尤其适合在水下复杂环境中实现稳定、可靠的姿态监测。通过将FBG数据手套与RGB相机等多模态传感器融合， 并结合强化学习优化控制策略， 该系统在浑浊、扰动等复杂水下条件下仍能保持高精度的姿态识别与动态响应。该研究以“光感知 ”为核心 ，为水下智能装备的发展开辟了新的技术路径。

研究团队设计并构建了一套完整的光感知水下数字孪生手交互控制系统 ，实现了从人体手势到水下软体手的高精度、低延迟、强鲁棒的人机协同主从控制 ，并通过数字孪生技术实现全程可视化监控与双向反馈 。 该工作以“Light-Perception-Based Interactive Control of an Underwater Digital Twin Hand” 为 题 发 表 在 Opto-Electronic Advances 2026年第7期。

图 1 基于全光感知的水下数字孪生手交互控制系统（LP-UDTHS） 概述。 (a) 提出的LP-UDTHS 系统的概念图 ， FBG-SenseGlove（FBG手套） 在复杂水下环境中执行任务的多应用场景。操作人 员通过手部动作远程控制BPSM（仿生柔性机械手） ，并通过数字孪生技术实现姿态监测； (b) 多模 态网络GLCA-FusionNet特征融合 ，实现更稳健的手势识别； (c) 系统控制反馈框架提高多模态数 字孪生控制的准确性以及BPSM在实际应用中的自适应姿态校正能力

研究团队开发了一款仿生气动软体机械手， 由仿象鼻软体臂、旋转腕部与五指仿人手构成 ，采用刚柔混合与多层复合结构 ，具备多自由度弯曲能力 ，可复现33种典型人类抓取姿态 ，展现出优异的柔顺性与操作灵活性。

为实现高精度姿态控制， 团队设计了基于FBG的数据手套 ，将传感器集成于指间关节处 ， 应 变 灵 敏 度 达 1.148 ， 弯 曲 灵 敏 度 为 26.667 pm/ ° , 线 性 度 分 别 为 0.9996 与 0.9791， FBG在水下环境中响应稳定， 该手套可同时佩戴于潜水员手部和水下软体手上 ，实现双向姿态感知 ，形成完整的人机协同闭环。

在多模态感知方面， 团队采集了六种水下手势的FBG信号 ，构建含2400组样本的数据集， 引入多视角RGB图像与FBG多模态数据 ，利用交叉注意力机制进行数据融合 ，在多模态下识别准确率达99.2% ，显著优于单模态方法； 在控制策略上， 团队融合FBG数据手套、 RGB相机与IMU传感器 ，构建基于URDF建模仿真的强化学习优化控制策略 。仿真结果显示 ，相比传统PID控制器与模型预测控制MPC方法， DDPG强化学习算法将位置 误 差 分 别 降 低 5.4 mm 与 2.1 mm ， 速 度 误 差 分 别 降 低 8.1 mm/frame 与 4.6 mm/frame ，显著提升了数字孪生手在复杂任务中的动态响应速度与稳定性。

图 2 BPSM和 FBG-SenseGlove的设计、工作原理及性能特征。（a） BPSM 由一个仿象鼻结构的 软臂、一个可旋转的手腕 ，以及具有拟人化灵巧性的五指手组成；（b） BPSM 的模块化组件， （c） 软臂的多层结构 ，以及仿生手中的三种类型的气动执行器结构；（d） 三关节软手指工作空 间；（e） 两关节软手指工作空间；（f）不同气压驱动下三种执行器的弯曲角度；（g） 不同气压 驱动下三关节和两关节软手指的指尖力测量；（h） FBG传感原理的示意图；（i） FBG 拉伸应变与 中心波长偏移的关系

该系统实现了“人-机-虚拟空间-环境 ” 四维智能交互控制。在实际水下实验中 ，操作员佩戴FBG数据手套 ，通过手势远程控制搭载于ROV上的软体手 ，完成生物模型抓取与目标搬运等任务 ，系统响应时间快 ，数字孪生端实时同步姿态， 即使在浊流、扰动等复杂环境下仍能保持高精度跟踪与稳定控制。该研究为水下智能装备提供了“光感知 +数字孪生 ”的新范式 ，具备高精度、强鲁棒、低成本、易部署等优势 ，未来有望广泛应用于深海科考、水下救援、海洋工程、海底设备维护等领域。下一步， 团队将聚焦于适用水下智能机械手的一体集成式多模态触觉传感器 、 多模态传感器融合增强 、 脑机接口控制等方向 ，进一步提升系统在 极端 深海环境下的作业能力与智能化水平。

图 3 水下数字孪生交互控制。（a） 水下数字孪生人机交互控制系统图。模拟水下操作员和 BPSM 均佩戴 FBG-SenseGlove ，并对双手进行远程数字孪生监测；（b） 正常水下条件下九种手势的双 手FBG波长变化及数字孪生监控；（c） 模拟水下操作员在浑浊且有水流扰动的水下环境中 ，不同手 势的双手FBG波长变化；（d） BPSM水下动态打捞实验 ，及其对应双手FBG波长变化

研究团队简介

于洋 ，国防科技大学理学院副研究员 ，硕士生导师 ， 中国光学工程学会激光技术及应用专业 委员 会青年 委员 、 海洋信息网络专业 委员 会海洋遥感和传感技术及应用组 委员 ，湖南省光学学会理事 ， 长期从事光纤传感 、 极端 环境多物理场监测 、 生物传感与人机交互技术等领域研究。 目前主持国家自然科学基金面上项目、 173领域基金、装备预研领域基金等国家和 军队 科研项目13项 ，参与国家重点研发计划项目 、 军委 科技委基础加强重点项目 、 国防创新特区项目等国家和 军队 重大科研项目多项。 以第一作者或通信作者在Opto-Electronic Advances、 IEEE Journal of Lightwave Technology、 Optics Express等期刊发表学术论文50余篇 ， 申请专利20余项（授权15项） ，获湖南省光学科技进展奖1项 ，成果入选全球1‰高被引。

课题组简介

国防科技大学微纳光电子与智能感知课题组依托于理学院 ， 以复杂环境目标识别 、 水下无人平台交互控制 、 高端动力机械智能监测等应用需求为牵引 ，着力推进微纳光电子器件 、智能算法与光计算 、 生化传感 、 人机交互 、 极端 环境感知等关键技术研究 。 多年来 ， 课题组在国家重点研发计划 、 国家自然科学基金和基础加强重点 、 预研重点等项目的资助下 ，获国家和军 队 科 技 成 果 奖 励 多 项 ， 并 申 请 和 获 批 50 余 项 国 家 发 明 专 利 ， 在 Opto-Electronic Advances 、 Laser & Photonics Reviews 、 Advanced Optical Materials 、 Nanophotonics、 Photonics Research、 Carbon等高水平期刊上发表论文共计300余篇 ，多项研究成果进入ESI前1％和1‰。

长按识别此二维码 ，直达全文

主题：水下|推动水下人机协同交互|一种基于光感知