超越人眼！机器人有了“超级仿生眼”

速读：“人工眼是一个高度耦合的系统，一个很小的时序偏差或光路误差，都可能在最终结果中被放大。随着具身智能和机器人技术的快速发展，机器人需要在复杂任务中实时、快速定位追踪目标，识别障碍物等，这就对其视觉系统提出了更高要求。

受访者供图研究团队开发的神经形态人工眼系统。

■本报记者刁雯蕙

随着具身智能和机器人技术的快速发展，机器人需要在复杂任务中实时、快速定位追踪目标，识别障碍物等，这就对其视觉系统提出了更高要求。然而，现有机器视觉系统往往难以兼顾成像精度、探测效率与功能集成。

为破解上述难题，哈尔滨工业大学（深圳）集成电路学院教授秦敬凯、材料学院教授徐成彦团队开发出一种基于高密度波导耦合型像元的神经形态人工眼系统。该系统具备超密集像素、高探测效率、感内计算及超越人眼的焦点自适应能力，如同为机器人装上“超级仿生眼”，有望为构建既能捕捉图像，又能理解动态三维环境的人工视觉系统提供新思路。近日，相关研究成果发表于《自然-传感》。

破解不可兼得的难题

人眼是一套高精度且复杂的成像系统，能在一个紧凑的器官内集成宽视场、高分辨率和高效视觉处理功能。长久以来，科学家一直尝试在具身机器人和交互式智能视觉系统中复刻人眼的功能，但实现这一目标并非易事。

主流平面视觉传感技术长期面临“高像素密度”与“高探测灵敏度”不可兼得的难题。“一方面，像素小了，接收的光就少，信噪比随之变差，图像噪点增多；反之，像素大了，分辨率又上不去，图像就模糊；另一方面，像素结构如同一块块‘小瓷砖’平铺在芯片上，需要绝缘隔离，会占用大量横向面积，难以进一步缩小。”秦敬凯对《中国科学报》解释。

针对这一难题，研究团队另辟蹊径，仿照人类视网膜结构，开发出超密集波导像素阵列器件。他们将光敏材料垂直排列在微小的垂直光波导周围，创造出类似人眼的视杆细胞和视锥细胞的细长像素，将原本“躺着”的像素改为“站立式”，使光线能够沿着垂直光波导纵向滑行，在无需增加平面尺寸的情况下更高效地收集光信号。

这一设计有效化解了高光电探测效率与像素小型化之间的矛盾。

研究团队实现了在2×2厘米阵列上的全范围平均像素为7000 PPI（即每平方厘米784万个像素，折合约每平方毫米78400个像素）的超高集成密度，超过了人眼视网膜非中心凹区视锥感光细胞的平均密度（通常为每平方毫米1万至5万个）。

此外，该阵列拥有超高探测率，达到1014 Jones的比探测率。这意味着在黄昏、路灯下、仓库角落等昏暗场景中，依然能实现清晰成像，有望应用于巡检机器人、夜间自动驾驶等场景。此外，这些像素还表现出固有的视觉记忆能力，能够模拟关键的突触功能，并在传感器内部处理视觉信息。

看得清、读得懂、调得动的人工眼

攻克了“像素如何又密又灵”的难题后，团队又将目光聚焦到“眼球如何又广又准”的挑战上。

秦敬凯解释，平面传感器无法像人眼那样自然形成广角视野，通常需要集成多镜头系统或增加计算摄影算法，补偿光学畸变。另外，尽管人眼能够在远近物体间重新对焦，但视网膜本身无法改变形状。“这意味着，在任何观测条件下，图像都不可能做到完美贴合复现，随着视野变宽、焦距拉长，图像边缘的地方就会慢慢模糊、变形。”

为此，研究团队进一步将超密集波导像素阵列器件集成至曲率可调的球形人工眼系统中。与形状固定的人眼视网膜不同，这种带有超密集波导耦合像素的人工眼系统，可以动态改变自身形状，更好匹配焦面，从而减少光学畸变，并在各种观察条件下保持清晰的三维视觉。

“人工眼是一个高度耦合的系统，一个很小的时序偏差或光路误差，都可能在最终结果中被放大。”秦敬凯说，“我们只能坚持‘逐级定位、逐项收敛’。”

研究显示，该人工眼实现了110度视场角，同时将场曲率降低了45.7%。“这意味着机器人不用拼命转脖子也能感知两侧来车、侧后方挥手的人；边缘清晰表明测距、避障更准。”秦敬凯说。

结合器件内部的图像去噪和动态光学补偿功能，该系统不仅提高了人工神经网络在图像识别的准确性，还实现了96.1%的高精度三维运动跟踪，让人工眼看得清、读得懂、调得动，使人工视觉向生物眼睛的适应性和智能性迈进。

历时3年的多学科合作

“这项研究历时3年，涉及光电材料学、微电子技术、光学、机器视觉和仿生生物学等多个学科，是一个典型的多学科交叉研究项目。”秦敬凯回忆，团队遇到的最大挑战便是如何将单个性能优异的器件变成一套人工眼系统。

一方面，神经形态光电器件同时兼具感知、存储和处理功能，传统读出方式并不完全适用；另一方面，让人工眼根据目标距离实时调焦、同步改变传感器曲率，需要光学、机械、电路、控制和算法等多领域协同合作。

在开发出超高密度波导耦合像素阵列和人工眼系统后，徐成彦、秦敬凯团队联合南方科技大学副教授周菲迟团队开展合作，解决了高精度视觉与控制算法的难题。“我们希望解决的核心问题是，不仅要让人工眼‘看见’目标，还要让它知道应该如何调整自己，才能持续‘看清’目标。”周菲迟表示。

徐成彦介绍，该人工眼拥有广阔的应用前景：在人形机器人与具身智能领域，该技术可提供兼具超高分辨率、110度广视角和动态焦点适应的微型主视觉，实现昏暗环境下的精准抓取与避障；在特种感知领域，该技术具备接近夜视级的弱光探测能力，适用于夜间安防、井下巡检及卫星等极端环境；在医疗微创设备中，其曲面贴合、低功耗感内处理的特性，可用于眼镜内置视觉传感、视网膜假体和超小口径内窥镜。

总体而言，该技术让机器在与人眼相近的体积内，拥有看得更细、更暗、更广且能理解运动的能力。目前，团队正在积极推进该技术的产业化工作。

未来，团队将重点优化人工眼的硬件集成与基础性能，探索可量产、可部署的系统性原型。同时，进一步推动人工眼从“机器视觉”到“生物视觉”，挖掘高像素柔性集成人工视网膜的应用，做成可植入、可贴附、可主动调焦的仿生视觉和传感界面，探索临床应用。