声网发布Linux Server SDK 支持大模型Python与Go语言
2024-07-29 12:23:58爱云资讯阅读量:1,050
AIGC 和 大语言模型 LLM 的快速发展正推动人工智能领域的进步和创新,LLM 作为 AIGC 的核心模块,其发展尤为引人注目。随着技术的不断进步,大语言模型的能力也不断进化,一方面,训练数据量与算力的提升,AI 的生成内容更精准、更智能;另一方面,大模型的交互方式,也从文本升级为音频、视频的多模态,可以支持人与AI的语音对话等。
在多模态大模型的趋势下,RTC成为了人与AI交互中的重要一环,越来越多的企业与开发者纷纷探索在大语言模型或者AI应用场景中快速集成高效的音视频能力,构建AI陪聊、AI口语老师等一系列场景。
对此,声网推出Linux Server SDK,支持当下大模型编程最主流的两类语言Python与Go,企业可基于声网Linux SDK,快速接入大模型,上线具备RTC传输能力的AI应用场景,如AI语音助手、AI口语老师、虚拟恋人、多人语音游戏等。
声网Linux Server SDK以API的形式提供了一系列的功能,例如Linux Server SDK for Go可支持连接管理、信令发送、音频订阅与推送、事件回调通知等,其中信令传输能力不仅可应用于创建DataStream数据流,并发送信令,也能应用在大模型中发送数据流消息,例如将TTS、STT和LLM的结果发送给客户端。
此外,Linux Server SDK还提供了使用时序的教程,从建立连接、订阅远端用户的音频、获取远端用户的音频数据、推送音频数据、发送文字信令、断开连接等不同流程的详细描述,帮助开发者快速上手。
声网LinuxServer SDK客户集成实践图
凭借在RTC行业日积月累的深耕细作,声网Linux Server SDK在RTC的低延时、抗弱网、跨国传输、并发等方面具备优秀的性能。
·低延时与全球部署:声网自研的SD-RTN™实时传输网络覆盖了全球200多个国家与地区,音视频的全球端到端延迟平均达到200ms。声网还通过优化网络传输协议和算法,进一步降低音视频传输的延迟。
·智能路由与抗弱网:针对网络环境的波动,声网的智能路由技术能够根据用户的网络状况自动选择最优的网络路径,确保通话的稳定性和流畅性。声网的抗弱网传输与抗丢包算法,结合网络探测、抗丢包技术、自适应jitter buffer、网络拥塞控制策略等,为用户在各种网络环境下提供流畅的互动体验。
·30000+终端机型适配:由于不同的设备可能对于语音处理效果产生影响,声网的RTC SDK支持30000+终端机型适配,中低端机型覆盖广,帮助大模型与客户解决了多设备兼容性的后顾之忧。
·并发性能:客户集成声网Linux Server SDK后可支持上百路的音视频并发。
·支持多频道多路流:声网SDK支持用户同时加入多个频道,同一时间可以在多个频道中接收和发布音视频流。
目前声网Linux Server SDK为Alpha版。相关文章
- 声网 VoIP CallKit 上线 支持智能硬件与微信小程序实时通
- 声网钟声:分布式端边云结合将成为实时 AI 基础设施的
- 声网钟声:分布式端边云结合将成为实时 AI 基础设施的未来
- 声网荣膺金帆奖「年度优秀出海产品技术服务」
- 声网CEO赵斌:RTE将成为生成式AI时代AI Infra的关键部分
- 声网解读泛娱乐2024:行业趋势洞察,新动向展望
- 声网RTE2024泛娱乐出海专场:“AI+”带来泛娱乐出海新机会?
- 声网 AI x IoT 解决方案 构建智能硬件低延时语音交互体验
- 构建AI实时音视频互动 声网这套方案听、看、思、说样样精通
- 声网对话式AI解决方案上新 构建实时多模态AI交互
- 声网《读懂实时互动》新书发布 记录RTE的过去、现在及未来
- 声网4K 60帧超高清游戏直播,激活游戏社交互动新体验
- 声网北美出海观察:本土开发者稳居泛娱乐头部市场,国内出海以短剧为主
- 声网联合 Unity 中国正式发布 UOS Hello 为开发者提供一站式游戏语音服务
- 声网发布Linux Server SDK 支持大模型Python与Go语言
- 声网&小天才 实时字幕,嘈杂环境视频通话“听”得清