京东深耕语音技术研究 4篇论文入选国际语音顶会INTERSPEECH 2020

从2017年全面向技术转型至今，京东不仅用技术重塑了零售的生态，更是突破了零售的边界，将技术全面拓展至数字科技、物流、健康等众多领域。然而，由于与零售密切相关，大多数消费者仅在购物、物流等环节体验到京东的技术进步。其实，在这些常见场景之外，京东的语音技术也已经拥有成熟的应用领域，例如京东智能客服和京东物流大件外呼，语音技术的相关研究也取得了重大进展，并获得国际认可。

备受全球关注的第21届国际语音通讯会议INTERSPEECH2020在上海召开。作为国际语音通讯协会（International Speech Communication Association，ISCA）主办的顶级国际会议，INTERSPEECH是国际公认的语音领域两大顶会之一。此次会议共接收有效论文投稿2140篇，录取1022篇，覆盖语音、信号处理、口语语言处理等多个方面。京东AI研究院共计4篇论文被收录其中，包括独立发表的3篇论文及与德克萨斯大学达拉斯分校联合发表的1篇论文，内容涵盖语音识别、语音增强、声纹识别、语音合成等多个技术方向的创新突破。

声源定位、增强和辨识是涉及到人机交互、语音增强、数字信号处理等的重要技术，在智能家居、智能安防等领域具有重要的应用价值。而在实际应用中，噪声与混响的存在常常会导致算法性能下降，尤其在室内环境中，混响、多声源混叠等干扰尤为明显。如何有效利用麦克风阵列及传统声学处理方法，和深度神经网络结合，提高复杂环境下的声源定位、增强和辨识任务的性能，具有重要的科学意义和应用价值。

针对声源定位和辨识问题，京东AI研究院在《Sound Event Localization and Detection Based on Multiple DOA Beamforming and Multi-task Learning》论文中提出了一种基于多方位波束形成和多任务学习的声音事件检测和定位方法，主要特点为利用传统声学信号处理为神经网络提供更为丰富的信息。具体而言，通过指向不同预定方位的固定波束形成，可提取各个方位的声源信号，并抑制该方位之外的干扰信号。该方法无需预先进行声源定位或掩蔽估计，即可获得差异化、多样化的声学空间表示。根据在DCASE2019声音事件检测和定位数据集上进行的评估，显示这个算法取得了最好的综合性能。

为了降低混响以增强语音，京东AI研究院与国际语音通讯协会主席John Hansen研究组进行了合作，和德克萨斯大学达拉斯分校共同发表了《SkipConvNet: Skip Convolutional Neural Network for Speech Dereverberation using Optimally Smoothed Spectral Mapping》，提出利用全卷积神经网络提升语音降混响，并提高语音识别和说话人识别的性能。基于“SkipConvNet”的降混响算法，用多个卷积网络替换UNet的每个跳层连接，为decoder供更为直观的信息表示。论文还提出了基于最优平滑功率谱估计的预处理步骤，以提高对复杂条件下语音功率谱的表达能力。实验结果表明，这一方法在语音客观质量评估上显著优于基线系统，并明显提升混响条件下的语音识别/说话人识别的评估指标。

语音识别及声学前端处理的技术提升为语音交互成为人机交互的重要入口提供了技术支撑。但只识别指令内容是不够的，真正的智能交互产生的基础是机器能识别、区分说话人的身份，这就需要依托声纹识别技术。

京东AI在《The JD AI Speaker Verification System for the FFSVC 2020 Challenge》一文中，基于FFSVC2020比赛提供的1100小时共计120个说话人的数据，京东提出了面向远场说话人识别的多套数据增强方案。首先，通过波束形成、通道交换和降混响等技术，我们将远场数据变换到近场；其次，通过估计FFSVC2020近场到远场数据的房间冲激响应以及仿真生成大量的房间冲激响应，我们增加卷积噪声以将近场数据变换到远场；最后，基于录制的大量的环境噪声，在近场数据上进一步叠加了加性噪声。本文详细测试了上述数据增强方案的性能，并通过实验结果验证系统性能可以得到大幅提升。

除了在语音识别技术能力上进行深入研究外，京东还在语音合成的推理速度上进行了更多探索。在《Efficient WaveGlow: An Improved WaveGlow Vocoder with Enhanced Speed》一文中，京东提出了Efficient WaveGlow框架。和传统的WaveGlow框架一样，Efficient WaveGlow采用归一化流作为网络框架，每一个流操作由一个affine coupling layer和可逆的1x1卷积层构成。通过对Efficient WaveGlow进行改进，京东实现了在没有明显的声音质量下降的情况下，实现CPU上推理速度6倍的提升以及P40显卡上推理速度5倍的提升。

京东语音技术能获得国际认可，与其对技术研发的重视密不可分。这些技术将进一步增强京东的智能语音能力。目前，京东智能语音技术已经在智能外呼机器人、客服语音机器人等电话交互场景中实现成熟应用。在技术的加持下，京东不仅会夯实在零售生态的实力与地位，还可以通过技术赋能金融、医疗、教育、健康等行业，为更多用户提供便利服务。