腾讯商世东：腾讯天籁自研AI算法，助力国产千元级助听器达到国际领先标准

2022年9月25日国际聋人日之际，在中国老龄事业发展基金会、中国聋人协会的指导下，腾讯天籁行动召开2022年度发布会，正式对外公布天籁行动在听障产品研发、公益救助、产研共创方面的关键成果。在产品研发层面，腾讯首次发布完全自研的助听器核心算法解决方案，携手助听器厂商智听科技联合研发，推出挚听（腾讯天籁inside）助听器“公益助老款”。

会上，腾讯会议天籁实验室主任商世东发表以《AI助听，聆听天籁》为主题的演讲。商世东表示，“天籁行动”的初衷就是希望通过技术开放提升助听设备的使用效果，在运营两年的时间里，团队一直在思考如何能覆盖到更多的听障、听损人士，为他们做得更多一些。

（图：腾讯会议天籁实验室主任 商世东）

在中国，超过1.2亿老年人正在丧失听力。助听器作为改善老年人听力干预的重要设备，因价格昂贵、效果达不到预期等因素，在中国的老年听障群体中的使用率很低。此次，腾讯会议天籁实验室通过将天籁AI音频技术开放给国内厂商，有效提升国产助听器的使用体验。过去三个多月，腾讯会议天籁实验室、腾讯SSV银发科技实验室等组成的联合项目团队多次去往广东韶关为当地的老人进行听力检测，并进行挚听（腾讯天籁inside）助听器的验配、捐赠工作。

商世东介绍，基于腾讯天籁实验室完全自研的助听器核心算法解决方案，可将复杂场景下的语音清晰度和可懂度提升85%，让千元级的国产助听器也能媲美万元级进口助听器产品的体验。在兼容IEC 60118和ANSI S3.22的测试环境下，挚听（腾讯天籁inside）助听器在六大关键指标上都已经达到、甚至部分指标超过了进口助听器的水平。

同时，为帮助听障人士更友好地使用协同办公工具。商世东宣布，腾讯会议与腾讯公益慈善基金会共同发起“无碍沟通”公益梦想活动。用户参与腾讯会议低碳会议等公益行动，获得小红花并捐出以支持该公益梦想。后续，通过“一花一梦想”创新的公益形式，将面向2万名听障人士捐赠无障碍办公礼包，持续关注听障人士的用户体验，并持续提供关爱服务。

以下为商世东的演讲实录：

各位尊敬的领导、各位嘉宾、媒体朋友以及线上的观众朋友们，大家好，我是来自于腾讯会议天籁实验室主任商世东。我今天分享的主题是《AI助听，聆听天籁》。

在分享开始前，我想讲三个简单的故事。

有一位女孩，她叫戴柳昕，11岁，患有大前庭导水管综合征所导致的极重度听力障碍，3岁时就已经植入了人工耳蜗；曹腾，他是一位运动员，22岁就是重度听力障碍了，19岁时植入了人工耳蜗；唐臣，他今年77岁，长期在噪音工作环境，导致听力重度听损、老年性耳聋，70岁开始佩戴助听器。

从三个故事中我们可以看到，听清周围的世界对我们来说是习以为常、再自然不过的事情，在他们来说却是难事，而他们可以是青年、可以是儿童、也可以是老人。在中国，甚至是全球，听障、听损都是一个很庞大的群体。听力障碍如果没有得到及时、有效的干预，对人的身体、心理都可能带来长期负面的影响，可能会导致孤独、焦虑、缺乏自信心、自我封闭等等。

在我过去二十多年的职业生涯里，一直都在和声音打交道，做音频相关的技术研究和产品化。两年多前，我在和一些朋友聊天时得知，许多听障朋友即使佩戴了辅听设备，包括人工耳蜗、助听器等等，在饭店、街道等嘈杂的环境下，依然会面临着听不清的困扰。当时我们就在想，能不能把我们在腾讯会议里经过多年的研发积累、数亿用户验证的语音降噪和增强技术用在助听设备里，让听障人士能够听得见、听得清、听得真。

有了这样的想法后，我们就开始寻找合适的伙伴。一开始很多合作伙伴并不清楚我们到底想做什么，我们也多次被拒绝过，中间与我们的合作伙伴进行过很多次的磨合。虽然一直做声音相关的事情，但助听设备毕竟对我们来说是一个崭新的领域，我们有很多跨界的知识需要学习。

2020年开始，经过半年多的验证，我们当时取得了一些初步成果，突破了人工耳蜗重度噪音实时处理的难题，并且在两年前的国际聋人日正式发起“天籁行动”，初衷就是希望通过技术开放提升助听设备的效果。

“天籁行动”已经运营两年时间，目前我们拥有众多国际、国内的助听合作厂商，比如来自奥地利的美迪乐、国内厂商诺尔康、澳大利亚的科利尔以及中国联通，都接入了我们的技术合作。天籁行动与美迪乐合作，帮助听损者提高单音节的识别率达到66%；我们和诺尔康合作，在设备上进一步提升人工耳蜗的清晰度和可懂度达40%；我们和科利尔在频率测听、声消并音以及听能康复训练方面深度合作，为听障人士提供从测听到听觉提升的全链条解决方案；“天籁行动”还和中国联通推出了联通网卡升级版，用于辅听和字幕识别，让听障人士不仅听得清，还能够看得清。

但是这还远远不够，我们也一直在思考如何能做得更多一些，如何能覆盖到更多的听障、听损人士。今年我们和业内多位专家交流了解到，中国的老年听障群体数量庞大，并且特别容易被忽视。相关数据显示，每三位老年中，就有一位中度、重度甚至极重度的听障患者，这个数据当时让我们非常震惊。在和很多朋友聊到这个问题时，发现大家家里多多少少都有这样的长辈。

老龄听损问题，不管是老人自己还是后辈，大家都没有重视这个问题，在我们普遍的认知里，都觉得人老了、聋了是一件很自然的事情，不需要过多干预，这是认知层面的问题。但实际上当一个老人听力下降，会带来很多实际问题，他们越来越不愿意交流，会感到越来越孤单。相关研究表明，老人听障和忧郁症、认知障碍有很强的相关性，与听力正常者相比，听力丧失的老年人更有可能发展阿尔茨海默病和痴呆症。随着一个人听力损失越来越严重，相关的风险也越来越高。

所以从去年底开始，我们进一步思考如何通过技术以及腾讯众多的平台资源帮助听障和听损的老人。今年3月3日的全国爱耳日，我们启动了天籁行动2.0升级版，助听器是帮助老年人进行听力干预的重要手段，我们把天籁AI音频技术开放过国内厂商，有效提升国产助听器的使用体验，通过听力筛查、科普，提升大家对老年听损的认知，通过与中国老龄事业发展基金会成立天籁银发关爱基金，给经济困难的老人免费捐赠天籁inside助听器。4月份，首批天籁银发关爱基金在广东韶关试点落地。过去三个多月，我们团队的小伙伴多次去广东韶关的仁化县、乳源县给当地的老人进行听力检测和腾讯天籁inside助听器验配。

在过去的半年时间里，天籁实验室携手助听器厂商智听科技进行联合研发，推出了挚听（腾讯天籁inside）公益助老款，基于腾讯会议完全自研实现的助听器核心算法解决方案，将复杂场景下的语音清晰度和可懂度提升了85%，让千元级的国产助听器也能媲美万元级进口助听器产品的体验。

在我们搭建的兼容国际IEC 60118和ANSI S3.22标准测试环境下，我们对助听器的六大关键指标进行了测量，系统延迟直接决定了整个助听器的佩戴体验；满档增益进一步决定了对中重度患者的听力补偿；语音质量、空间噪声决定了在安静环境下的音质体验；家居噪声和街道噪声则是听障老人平时花时间最多的场景。在这六大关键指标上，可以看到我们的表现非常出色，分别和京东上购买的两款来自于北欧的进口助听器（相比），一款价值3万元左右，另一款价值不到2万元，分别在我们的环境下进行了1对1的比较，可以看到天籁inside助听器的体验非常出色和均衡，在六大关键指标上都已经达到，甚至部分指标超过了进口助听器的水平。

当然我们也意识到，目前我们的方案是基于一款通用的蓝牙处理芯片，这跟进口助听器的专用处理芯片相比，在功耗上我们还有很大的区别，要进一步优化和提升，这也是为我们日后的工作，指明了进一步努力的方向。

我们把腾讯会议天籁实验室过往多年积累的技术，包括国际比赛2020年DCASE声学场景识别和分类比赛中获得亚军的关键突破性技术，以及今年年初我们在ICASSP 2022 DNS语音增强和降噪比赛中获得冠军的个性化声纹技术用在助听器方案里。我们还把腾讯会议Rooms场景下获得腾讯公司技术突破奖的远场波速成形和反馈抑制等技术，针对助听器的低延时、低功耗场景了进行深度优化。我们还和智听科技的听力学专家一起，把针对中重度患者特别需要的听力补偿和听力验配公式结合WDRC技术进行了专门的适配和验配，用来组成我们的助听器方案。后续我们会把助听器完整的天籁inside解决方案面向业内的合作伙伴进一步开放，共同提升当前助听器的使用体验。

除了会议降噪、语音增强等场景，我们的技术也在腾讯会议的实时字幕中得到广泛应用。最近几年，无论是开会、上课、教学等等，在线协同的需求越来越多。为帮助听障人士更友好地使用协同办公工具，今天腾讯会议也宣布与腾讯公益慈善基金会共同发起无碍沟通公益梦想活动，用户参与腾讯会议、低碳会议等公益行动获得小红花，并捐出以支持该公益梦想，通过“一花一梦想”创新的公益形式，我们将面向2万名听障人士捐赠无障碍办公礼包，持续关注听障人士的用户体验，并提供相应的关爱服务。

在此，我们也希望有更多的厂商、公益组织和伙伴一起加入我们，让每一位听障人士都可以听清世界的声音。

谢谢大家！