微信开展方言活动:靠“最笨办法”长出方言识别能力
语音输入流行之后,因方言识别和口音问题,闹出不少笑话。
一老人有口音,在家庭群里发语音“我的护工死了”,惊出子女一身冷汗。问清楚了才知道,原来是老人养的宠物蜈蚣死了。
微信语音转文字对四川话识别率很低,常误判为英语,如“鞋”识别为Hi、“街识别出Gap、“恩桃儿”识别为Enter……
为提升方言识别算法的技术能力,近期微信在小程序推出方言活动,希望通过用户以方言语音形式参与,一方面推动方言语音识别技术迭代,同时也记录方言语料、服务文化保护。
“AI能听懂英语法语日语, 听不懂自己国家群众的方言,这事说不过去。”近日,微信产品团队向《中国科学报》说,微信方言活动正是在这样的目标下开展的。
微信推出方言活动,直接起因是用户反馈。尤其是方言使用者在使用语音输入、语音转文字、智能客服等功能时,长期存在识别不准的问题。
“潮汕话闽南话温州话这些,用语音输入基本等于‘废’的。”有用户反馈说,语音输入这么多年了,服务的一直是普通话说得标准的那批人,“早该优化了”。还有用户提出,微信里不会说普通话的老人那么多,“应该多照顾照顾他们”。
这不是一个小众需求。中国有七大方言区——官话、吴、湘、赣、客家、闽、粤,往下还可细分为几十个次方言片,部分地区一县之内就有十几种口音差异。语音输入普及这么多年,服务的主要是普通话标准度较高的人群;口音一重,识别质量就明显下降。
“受影响最大的是不会说普通话的老年人。”微信产品团队对记者表示,老人们打字困难,语音又转不出准确文字,家人往往需要反复听完整条语音才能理解。在医院挂号、政务办事等场景中,“请清楚说出您的需求”这类要求,常对他们构成实际障碍。
具体来说,“微信方言活动”是一个小程序。小程序邀请用户用家乡话朗读一些日常句子,并互相判断彼此的发音是否地道。采集到的方言语音,用于训练和优化微信的方言语音识别能力。
记者注意到,该活动覆盖面广、涉及用户群体大,因此也引发广泛关注。
微信方言活动推出以来,有人拍手叫好,有人则充满困惑:为什么必须采集真人语音?短视频平台上有大量方言内容,不能直接采用吗?
对此,微信产品团队回应称,采集真人语音是语音识别的基本工作方式。模型的识别能力直接来源于它“见过”的语音样本;没有真实口音数据,模型对该口音就没有识别能力。
“这不是工程偷懒,是这类模型的根本约束——它无法对从未见过的发音模式做出可靠推断。”微信产品团队对《中国科学报》说,文本与语音的严格对应关系,是训练语音识别模型的核心要求。而训练方言模型的问题在于,方言语料几乎不存在现成资源——互联网上可获取的中文语料绝大部分是普通话,而诸如短视频平台上的方言内容,也因缺少文本与语音的严格对应关系,模型不能建立音频与文字之间的一一映射,也无法直接使用。
记者了解到,目前英语、法语等语言有成熟的公开语音数据集,中文方言基本是空白。想做,只能自己攒。
与想要借用短视频方言素材“走捷径”相比,微信方言活动的做法恰恰是相反的:先给定文本,再请用户用方言念出来。这样每一条录音都有确定的正确答案。微信产品团队告诉记者,这也是为什么活动中要让用户互相评判发音是否地道:“那一步是在给数据打标签,是训练流程中绕不过去的环节。”
如前所述,方言的地理颗粒度极细。同一个县,不同村镇的口音可能就有明显差别。这也是微信方言活动希望覆盖到大量人群的原因。微信产品团队表示,不到县一级的采集密度,模型在实际使用中仍会失效。此外,样本还需覆盖不同年龄、性别的发音特征,“否则模型只能识别特定人群”。
这无疑是一项巨大的工程。同时,让用户一句句朗读固定文本,也是最慢、最贵、最容易被注意到的路径。
“为什么微信要用这个最笨的办法?因为我们要的不是‘方言长什么样’,而是‘这句话用这个地方的话怎么说、说得标不标准’。”微信产品团队回应说,你得知道正确答案是什么,模型才能学。刷来的短视频没有这个对应关系,再多也用不上。
用“一文一句”的笨办法去攻克非典型发音识别,并非微信独创。市面上一些拥有方言能力的模型,也都采用过类似做法。记者了解到,谷歌还曾专门收集帕金森病、渐冻症患者的发音样本,目的就是让语音助手能够识别这些特定对象的发音。
“没有哪个模型的方言能力是凭空产生的。”北京邮电大学人机交互与认知工程实验室一位AI专家告诉记者,诸如微信方言活动的语料收集方式,是语音识别行业的通行做法。
在微信方言活动开展过程中,有人担心,方言在“二战”期间曾被当做密码使用,收集方言是否也存在类似“密码破解”的问题?
对此前述AI专家回答说:“‘二战’期间美军曾使用纳瓦霍语通讯员传递战场信息,抗战时期我军也使用过方言传令。但这类做法成立有一个特定前提:当时的加密手段有限,语言本身的稀缺性构成了安全屏障。但现代密码学早已不这样工作了——现代加密通信的安全性来自数学,不来自‘对方听不懂’。”
“历史上的方言通信之所以有效,很大程度上依赖对手不具备相应的语言接触条件;而今这个条件在今天已不存在。”该AI专家继续解释说,依赖“语言稀缺性”的做法,在今天属于典型的隐晦式安全——把安全性寄托在“对方不知道”上。而这在现代信息安全领域已被明确视为不合格的设计范式,是“教科书中的反面案例”。原因很简单:这类保护一旦被识破就完全失效,且无法评估强度。
具体到采集到的方言语料怎么用、怎么管?微信产品团队表示,他们将严格遵循“合法、正当、必要”原则,通过专属授权条款取得用户单独同意;语料仅用于提升方言相关服务质量,例如方言识别模型优化,不用于与此无关的用途。