单个脑机接口装置同步解码言语与手势
《自然·神经科学》杂志14日发表了一项神经科学最新研究成果：单个脑植入装置可同步解码瘫痪患者的言语和手势。美国研究团队对一名瘫痪受试者的神经活动进行了实时解码，从而控制其个性化虚拟化身，使其能够通过语音和手势进行交流。该研究结果推动了脑机接口的进步，有望帮助瘫痪患者以更自然的方式进行交流。
人类的自然交流经常结合言语与手势，例如挥手、点头或其他上半身动作。中风和神经退行性疾病，如肌萎缩侧索硬化症，可能同时损害言语和身体运动能力，削弱患者的社会交往能力。
脑机接口旨在将脑活动转化为操控外部设备的指令，从而恢复丧失的功能。脑机接口技术已有十余年积累。早先方向多用皮层表面电极或刺入皮层的微电极，记录发音相关运动区的神经活动，再经机器学习把想说的音、词、句转成文字或合成语音；运动方向则长期围绕手臂、手部区域做光标、机械臂或抓握控制。但言语和上肢/头面运动，在感觉运动皮层部分重叠，单独训练“只说话”或“只动手”的解码器，并行时可能互相串扰。此前的研究也大多分别聚焦于言语或运动。
此次，美国加州大学旧金山分校团队使用置于感觉运动皮层上方的脑植入装置，记录了3名声道和肢体瘫痪参与者的神经活动。他们首先证明，单个植入装置能采集与多种运动类型相关的信号，包括上肢运动和与言语相关的嘴部及面部运动，如耸肩、握拳挥动或点头；随后，团队在其中两名参与者中使用并行的言语和手势解码器，驱动一个全身虚拟形象，参与者被要求尝试做出特定手势、回应对话提示，或同时完成两者。
在对话任务中，该系统准确解码了两名参与者的言语和手势：其中一名参与者在3个对话任务区块中，言语和手势解码的中位准确度均达到100%。
团队发现，同时使用言语和手势数据训练系统可提高性能并减少错误。他们指出，这项技术在投入应用之前，还需纳入更多参与者，并使用规模更大的词汇集和手势集进行测试。