中国高校结合语音和面部数据让人工智能“察言观色” 准确率高达62%
2019-01-17 17:27:27爱云资讯711
一些人工智能研究人员长期以来的一个目标是,开发出一种系统,可以仅根据人的语音和面部抽搐来对人的情绪进行分类。像Affectiva这样的公司正在朝着这一方向发力。该公司最近推出了一款产品,可以通过扫描驾驶员的面部和声音来监控他们的情绪。但由于语言和肌肉运动的细微差别,仍存在相当大的挑战。
不过,中国科学技术大学的研究人员声称已取得进展。本周在预印本服务器Arxiv.org上发表的一篇论文中,他们描述了一个人工智能系统,该系统能够在流行基准上以最高水平的精度识别一个人的情感状态。
“自动情感识别(AER)是一项具有挑战性的任务,因为它具有抽象的概念和多种情感表达方式。”他们写道, “受到人类认知过程的启发,自然而然地在AER中同时利用音频和视觉信息......整个管道可以在神经网络中完成。”
该团队的AI系统的一部分包括音频处理算法,通过语音频谱图(声音频率随时间变化的视觉展示)作为输入,帮助整个AI模型回归与情感最相关的区域。第二个组件通过两个计算层运行人脸视频帧:一个基本的人脸检测算法和三个“最先进的”人脸识别网络“微调”,使它们与“情绪相关”。这是一个比起听起来更棘手的事情 - 正如论文的作者所指出的,并非所有的框架都对情绪状态有同等作用,因此他们不得不实施一种能够突显重要框架的注意机制。
在从所有四种面部识别算法中提取特征(即,可测量的特征)之后,它们与语音特征融合以“深度捕捉”它们之间的关联,用于最终的情绪预测。这是最后一步。
为了“教会”人工智能模型对情绪进行分类,该团队输入了AFEW8.0提供的653视频和相应音频片段。AFEW8.0是一个电影和电视节目数据库,用于EmotiW2018的音视频子挑战。它坚持自己的观点,在383个样本的验证集中,成功地从7个选项中对情绪进行分类——“愤怒”、“厌恶”、“恐惧”、“快乐”、“中立”、“悲伤”和“惊讶”——准确率约为62.48%。此外,研究人员证明其视频帧分析受音频信号的影响;换句话说,人工智能系统在进行预测时考虑了语音和面部表情之间的关系。
也就是说,当模型与“厌恶”、“惊讶”和其他“弱”表情或容易与其他情绪混淆的情绪作斗争时,模型倾向于表现出“明显”特征的情绪,如“愤怒”、“快乐”和“中立”。尽管如此,它的性能几乎与之前使用五种视觉模型和两种音频模型的方法相当。
“与最先进的方法相比,”研究人员写道,“[我们]提出的方法可以用单一模型获得可比较的结果,在多个模型上取得新的里程碑。”
相关文章
- 鸿蒙原生版百度地图新版上线,支持导航语音包、HiCar互联等重要功能!
- 联发科携手意腾科技,于CES 2025展出多元AI语音方案
- 【再携手】云知声xTCL,共铸新风空调语音交互新篇章
- 工作开窍后什么体验?职场老油条如何利用沸蛇AI语音鼠标搞定95%的工作
- 出门问问多模态大模型又添新备案!「序列猴子」语音大模型成功完成备案
- ChatGPT版本大更新!沸蛇AI语音鼠标,更适合国人的创作神器
- 语音空调新品上市,科龙睡眠空调重塑智能睡眠新体验
- WPS AI语音速记升级:AI一键总结,学习、工作、访谈更高效
- AI潮流下的办公“神器”选择,沸蛇AI语音鼠标真正实现效率翻倍
- 智慧办公新选择,沸蛇AI语音鼠标轻松全搞定
- 评测:沸蛇AI语音鼠标AS7,会思考的“搭子”才是办公利器
- 英伟达推出可创作音乐、修改语音的AI模型Fugatto
- 昆仑万维推出「天工大模型4.0」4o版(Skywork 4o),实时语音对话助手Skyo上线在即
- 丢掉键盘也能办公,沸蛇AI鼠标一键语音全搞定
- 阿里云通义智能语音技术助力听力熊打造领先的AI智能终端——用大模型陪伴青少年学习成长|看见新力量NO.139
- 火山引擎正式发布豆包.语音模型创业者加速计划