这个清华团队用17年做一件事：帮助盲人“看见”世界
这个清华团队用17年做一件事：帮助盲人“看见”世界
文｜《中国科学报》记者 孙滔
“接下来的1到2年内，你的视觉会不可逆地完全丧失。”杨光听到医生的宣判时，还是个小学生。后来，他做了一件事：每天从早到晚不停地去看周边世界，拼命把所有事物都记到脑子里，包括它们的颜色、形状等，因为以后就再也看不见了。
多年后，就读北京联合大学的视障学生杨光，把这段往事讲给焦阳听。那是2014年，焦阳是清华大学未来实验室的助理研究员，他俩是同龄人。那一刻，焦阳的眼泪当场就掉了下来。他后来说：“也许这件事不如AI那么火，但是它能够触动人心，我就愿意去做。”
焦阳口中的“这件事”，就是为盲人研制计算机。
这不是一个简单的项目，而是未来实验室主任徐迎庆团队自2009年开始的长期主义事业，这是一场长达17年的接力赛。
▲同学使用盲人计算机。
初心
在介绍盲人计算机的时候，焦阳经常拿出一张照片示人。
一个视力高度受损的女生坐在普通计算机前面，她戴着耳机，在触摸盲文书籍的同时，为了捕捉屏幕上的一点点光，她的眼睛和鼻子几乎贴在了计算机屏幕上。
这张照片拍摄于2012年。拍摄者是项目最早参与者之一、当时的硕士生江宁，那时候焦阳还没来到清华。在北京市盲人学校调研的时候，江宁拍下了这张照片。每个看到这张照片的人都会被深深震撼。
▲一个女生在盯着屏幕。江宁/摄
如今，情况并没有改变多少。视障学生们用着跟大百科全书一样厚的盲文教科书——一本普通语文书对应着三本这样的盲文书。学习数学的时候，老师会把铁丝弯成一个函数曲线的形状，同学们去摸这个铁丝的形状，进而去理解函数。书写盲文的时候，他们的右手像缝纫机一样在纸上密密麻麻地扎洞，每秒钟可扎3到5次。
另一件触动焦阳的事情，就是本文开头让他落泪的杨光的经历。这些经历，让他觉得做这个事情是有意义的。
6月15日，未来实验室，焦阳迎来了两位特别的客人——吕京阳和王宠。二人都是视障人士，善于表达的吕京阳是北京交通大学软件工程专业三年级本科生，话不多的王宠是北京师范大学教育技术专业硕士生。
桌上摆放了两台类似上世纪90年代游戏机的设备，那便是盲人计算机，其中一台是原型机，另一台是最新的第五代版本。王宠摸着原型机告诉焦阳，这台设备的汉盲实时翻译有了误差，有几个盲文没显示出来。这可能是因为原型机经受重度测试，有些点位接触不良了。吕京阳则要测试他编程的一项工作，让这台计算机携带的摄像头自动识别盲人的绘图创作。
其实，他们是这里的常客，也是新加入的开发团队成员。跟他们一起参与这个项目测试的，还有清华硕士生章越闻。
吕京阳在考虑自己将来的发展。他要取长补短，把自己的天赋和优势发挥到最大。去年暑假，大二的吕京阳主动写邮件给徐迎庆，表示自己对盲人计算机感兴趣。就这样，他争取到了实习机会。
王宠有一点点视力，站在视力表前方两三米处，他能看到第一排字母。这反而给了他另一种优势，既能用放大镜看到一些图像，又能读懂盲文，他成了两个世界的桥梁。他目前在做盲文翻译这类与教育场景结合的项目。
在使用计算机的时候，盲人可以借助读屏软件，听到外放播报的文字，但他们无法从电子屏幕上的图形获取信息。焦阳说，帮他们把每张图都打印到专门的盲文纸上，显然是不现实的，专门为盲人设计一款计算机就成了一个解决途径。
▲焦阳和章越闻（左一）。
“感官代偿”
盲人计算机设计的原则是感官代偿，也就是把视觉图形信息转换为听觉信息和触觉信息。
未来实验室里诞生的盲人计算机，其学术称谓是大幅面触觉图形显示终端，它跟普通计算机完全不一样。
设备拥有7200个可升降触点，每个触点都像一个可控制的“像素”，能把屏幕上的图像转化为手指下起伏的纹理。此外，设备上面还有一个触觉引导环，可以在点阵上方去任意地二维滑动，这就相当于有人在牵引盲人的手去摸一幅图像。
触觉引导环的创意源自研究者带盲人学习图形时的体验。11年前，焦阳需要牵引盲人的手去摸，同时还要不时告诉他摸到的是这个图像中的某某部分。
不仅如此，他们还实现了盲人计算机的动态图形显示，这样就能让盲人学生更好地理解诸如勾股定理的证明过程等复杂场景。他们还做了对照实验，发现相比仅语音讲授和语音加静态触觉图像，新技术帮助下的盲人学习效果显著高于另外两组。接下来，他们为盲校开发了一整套高中二年级教材，如今已累计试用了100多个课时。
为了更逼真地模仿普通学校的课堂，他们还尝试把老师的板书拍下来，然后转换为可触摸的图形，这样学生们在听到沙沙板书声的同时，还能触摸到老师书写的物理公式、数学公式。
仿照微信，他们开发了一个TacChat。吕京阳参与开发的自动识别创作功能就是其中的一部分。该创意来自北京市盲人学校的学生，他们说：“你们得做一个让我们也能比划比划的（系统）。”
此前，盲人一直是被动接受老师给到的图形信息。这就启发了章越闻，原来盲人也是有创作需求的，他们也想表达，想发朋友圈分享创作到。
目前这台设备就可以实现这个愿望。当盲人用3D绘画笔完成创作，摄像头就会自动拍照并显示在盲人计算机上，以便分享。其间，吕京阳不仅主导了编程工作，还参与了许多与盲人的访谈，抓住了不少他人无法捕捉到的细节。
2025年，章越闻把这个成果带到全球人机交互领域的顶级国际学术会议展示后，很多研究者都说之前完全没考虑过这个问题，而清华的这个工作带来很多启发。
焦阳还有一个雄心，希望借鉴李飞飞当年做的ImageNet，构建全球首个百万级的触觉图像数据库。如果实现的话，就可以想象：每当盲人走到一个地方拍照，设备就会将其转换为触觉图形，他们就可以“看到”更丰富的世界。
17年接力
这个项目的缘起是2009年。
当时的徐迎庆还是微软亚洲研究院的主管研究员。他发现，盲人只能通过博物馆的语音介绍了解展品信息，那么能不能让展品用可触摸的方式展示出来呢？