声网荣获亚太内容分发大会暨CDN峰会「音视频技术领航奖」
2022-08-29 21:00:10爱云资讯阅读量:1,130
8月25日,2022亚太内容分发大会暨CDN峰会在北京隆重开幕。本次大会由亚太CDN产业联盟、众视Tech主办,声网、金山云、阿里云、腾讯云、网宿科技、火山引擎、天翼云等众多云服务领域的头部企业共同参与。声网技术专家唐瀚也受邀参加视频云技术论坛,带来“声网极速直播场景技术拆解”的主题演讲。
极速直播填补低延时、强同步的轻互动直播方案空白
唐瀚介绍了声网的极速直播解决方案,他表示,“根据实时互动的强弱程度以及对延时的不同要求,声网将互动体验分为四个级别:强互动、中互动、轻互动、弱互动。强互动延时小于400ms,中互动延时在400-800ms之间,轻互动延时在800ms-3s之间,弱互动延时在3s以上。直播市场主流的直播解决方案主要集中在以声网互动直播为代表的“中互动”直播方案,以及传统CDN直播的“弱互动”直播方案。声网的极速直播则填补了轻互动的直播方案空白。”
声网极速直播开创了低延时、强同步的"轻互动"直播场景,并支持连麦。极速直播主要面向对文字、白板等消息互动的延时要求较高,或有低频音视频互动需求的直播场景,主播与观众端延时在1.5s-2s之间,相比传统CDN直播方案延时降低 80% 以上,同时直播间内90%的观众与观众间延时差异小于500ms,可满足电商直播、教育大班课、秀场直播、赛事直播、直播答题、一起看等观众需要强同步场景的需求。
随后唐瀚还从观众端同步性、视频分辨率提升、暗光增强、极速出图、低卡顿率、弱网对抗能力、实时质量监控等多个角度介绍了声网极速直播方案的技术优势。
引领技术创新 声网荣获“音视频技术领航奖”
本次大会,声网凭借在实时音视频行业的技术领导力与创新力还荣获了大会颁发的“音视频技术领航奖”,作为全球实时云行业的开创者与引领者,声网持续专注于打磨新的产品与技术,保持研发投入,不断精进自身的专业,以提升实时音视频的技术硬实力,同时也可以满足不同企业的场景创新需求。
1、技术创新赋能丰富场景玩法与体验:声网今年推出“3D空间音频”和“Lipsync(唇音同步)”两项分别应用于元宇宙等虚拟场景和语音社交场景中的前沿技术。3D空间音频通过纯软件算法方案,模拟头部球面区域立体声场,使用户在音频听感上具有空间感。当用户操作虚拟人物在虚拟场景里移动,可实现根据虚拟人物的面部朝向、音源朝向、远近距离与上下高度,呈现不同声音效果,完美模拟现实听觉感受。
声网 Lipsync 无需摄像头、无需面部表情捕捉技术,通过深度学习算法中的生成对抗网络,将中英文(或其他语种)发音的嘴型、面部表情智能关联起来,驱动人像模拟真人说话嘴型,支持2D人像图片和3D人像模型,在语聊房、互动播客、视频会议等场景中具有巨大的应用潜力。
此外,在今年火热的虚拟活动上,声网也实现了单频道高并发人数的技术突破。针对虚拟活动诸如大型会议、会展、演唱会等场景,声网推出 128 人超级互动频道,单个频道可支持多达 128 位用户同时发送音视频流,观众人数无限制,让房间内任何用户都可以随时开麦进行发言交流。
2、加大研发投入,持续提升音视频体验质量:今年声网持续加大研发投入,推出了 AI降噪、VQA、多倍实时超分等技术,进一步提升了实时音视频的体验质量。例如 AI降噪技术,兼顾了强降噪与高保真,可以在保证人声无损伤的前提下,更好地抑制噪声和混响,同时避免了丢字及多人讲话时语音被抑制的情况。在视频会议、语聊房、远程问诊、游戏语音等伴有复杂噪声的实时音视频互动场景中,AI降噪可以消除上百种突发性的背景噪声,带来更纯净的通话体验。
在实时互动场景中,视频画质是影响观众体验的关键指标,如何实时评价视频的画质一直是个行业难题。经过声网视频算法专家的持续钻研,今年正式推出了业内首个可运行于移动设备端的视频画质主观体验 MOS 分评估模型—声网 VQA (Video Quality Assessment)。VQA 是一套“评价主观视频质量体验”的客观指标,声网构建了大规模的视频画质主观评估数据库,并在此基础上训练了业内首个可直接在移动端运行的 VQA 模型,它利用深度学习算法实现对实时互动场景接收端视频画质主观体验 MOS 分的评估,解除了传统主观画质评估对人力评分的高度依赖,极大提高视频画质评估效率,使实时的视频质量评估成为可能。
另外,在视频画面质量的提升上,声网也推出了业内首个运行于移动端的多倍实时超分算法,以较小的算法计算量实现视频分辨率的三倍超分,有效增强视频画质,降低视频传输成本。多倍实时超分覆盖机型广,中低端机型也能实时处理,对CPU 以及 SDK 内存的消耗也很低,可以很好的运用在IoT平台的实时互动场景、带宽受限以及视频首帧需要快速清晰出图的实时互动场景。
目前声网已服务泛娱乐、IoT、教育、金融、医疗、企业协作等20+行业赛道,200+场景,而在全球RTE领域仍然在不断诞生更多的实时互动创新场景,作为全球领先的实时互动技术服务商,也需要保持对创新场景的洞察力,并不断精进自身的技术,在提升技术质量的同时也为开发者与客户提供更契合市场发展,更稳定、更高质的实时互动解决方案。
相关文章
- 声网 VoIP CallKit 上线 支持智能硬件与微信小程序实时通
- 声网钟声:分布式端边云结合将成为实时 AI 基础设施的
- 声网钟声:分布式端边云结合将成为实时 AI 基础设施的未来
- 声网荣膺金帆奖「年度优秀出海产品技术服务」
- 声网CEO赵斌:RTE将成为生成式AI时代AI Infra的关键部分
- 声网解读泛娱乐2024:行业趋势洞察,新动向展望
- 声网RTE2024泛娱乐出海专场:“AI+”带来泛娱乐出海新机会?
- 声网 AI x IoT 解决方案 构建智能硬件低延时语音交互体验
- 构建AI实时音视频互动 声网这套方案听、看、思、说样样精通
- 声网对话式AI解决方案上新 构建实时多模态AI交互
- 声网《读懂实时互动》新书发布 记录RTE的过去、现在及未来
- 声网4K 60帧超高清游戏直播,激活游戏社交互动新体验
- 声网北美出海观察:本土开发者稳居泛娱乐头部市场,国内出海以短剧为主
- 声网联合 Unity 中国正式发布 UOS Hello 为开发者提供一站式游戏语音服务
- 声网发布Linux Server SDK 支持大模型Python与Go语言
- 声网&小天才 实时字幕,嘈杂环境视频通话“听”得清