显著提升万卡GPU训练性能,浪潮信息X400荣获“2024 DPU&AI Networking Awards“!
2024-08-22 15:40:42爱云资讯阅读量:6,530
随着AIGC的发展,大模型的参数量越来越大,如何借助 AI 网络将上千台AI 服务器系统互联,充分释放算力资源的全部潜力,加速 AI 大模型训练,成为 AIGC 时代的新挑战。此次获得"2024DPU &AI Networking Awards 创新引擎奖"的浪潮信息X400 AI Fabric专为AIGC场景打造,能够为用户构建可弹性扩展至524,288个GPU的超大规模AI系统,凭借AR自适应路由、端到端拥塞控制、亚毫秒级故障自愈等技术,性能提升至传统RoCE网络的1.6倍,实现了AI网络的超高吞吐量、高可扩展性和超高可靠性,极大提升大模型训练性能,大幅缩短训练时长并降低训练成本。
■ 端网协同,网络性能提升1.6倍:针对生成式AI场景下GPU之间会突发超高吞吐的通信特点,浪潮信息采用X400 + BF-3 SuperNICs的协同调度方式,通过自适应路由、报文保序、可编程CC等技术,实现交换机和网卡更紧密的配合,为AI大模型提供零丢包、无阻塞的全链路交换网络,机间互联性能高达400G,有效带宽从传统的60%提升到95%,性能提升1.6倍。同时,AI大模型训练的网络优化离不开NCCL通信库支持,X400 AI Fabric和InfiniBand一样,天然地与NCCL无缝衔接,能够为大模型提供顶尖的性能。
■ 灵活拓展、极致稳定,全力加速大模型训练:X400 超级 AI 以太网交换机凭借超高的端口密度以及弹性可拓展的能力,提供高性能、灵活可拓展的网络服务,支持大规模 AI服务器系统。其中,X400 AI Fabric在二层组网下,GPU服务器数量可达1024台,支持8,192张GPU卡,并可灵活拓展到三层组网,GPU服务器规模可达65,536台,最大支持GPU卡的数量可以达到524,288张。随着AI算力系统的规模不断攀升,对可靠性的要求越来越高,浪潮信息X400集成系统级的高可用技术,在硬件上独创IGE智能防护单元,对核心部件器件进行冗余备份,对关键硬件信号进行全面的监控和故障隔离,具有芯片级、系统级以及链路完整的监控,实时掌握AI节点间通信状态,实现对潜在的故障链路进行自动隔离,在上层应用无感的情况下实现故障自愈,全方位保障AI网络的极致稳定,降低大模型训练成本和周期。
■ 敏捷易用,部署周期从数周缩短到天:传统RoCE方案的网络建设中,交换机涉及一系列的拥塞控制配置,不仅配置繁琐,拉长部署周期,而且容易配置错误,导致训练性能下降。为此,X400超级AI以太网解决方案提供RTTCC拥塞控制算法,无需交换机的参与,避免在交换机上进行复杂的参数调优,即插即用,部署周期从数周缩短到天,加速业务上线,彻底解决调参复杂、配置困难等问题。
目前,X400超级AI以太网解决方案已经在互联网等行业实现测试应用。在大规模AI算力系统网络调度过程中,相比传统RoCE网络方案,性能提升1.6倍,带宽利用率超过95%,通信时延降低30%,并且在多租户AI Cloud场景中,NCCL通信性能提升1.5倍,同时,该方案通过其卓越的成本效益,助力客户大幅提高投资回报,实现成本与效益的完美平衡,为智算中心客户带来更快、更好、更省的网络业务体验。
相关文章
- 企业大模型应用开发提速 浪潮信息发布元脑企智EPAI一体机
- 浪潮信息Infinistor:高效运维引擎,驱动企业数据价值最大化
- 液气换热型液冷数据中心首个技术标准发布,浪潮信息牵头编制
- 浪潮信息:元脑企智EPAI助力金融大模型快速落地
- 阿里云、字节、浪潮信息、英特尔、电标院: OpenBMC是服务器固件大势所趋
- 显著提升万卡GPU训练性能,浪潮信息X400荣获“2024 DPU&AI Networking Awards“!
- 迎接车路云一体化!浪潮信息路侧计算单元RSCU,可在55度正常工作
- 来布科技数保保软件与浪潮信息云峦KeyarchOS完成澎湃技术认证
- 让服务器开机远离飞机起飞!浪潮信息首创3秒智能控温技术,降噪30.4%
- 浪潮信息赵帅:开放计算创新 应对Scaling Law挑战
- 33家区域ISP伙伴与浪潮信息签署战略合作协议
- 金融数据中心最大规模!浪潮信息InManage助力大行10万+IT设备统一管理
- 浪潮信息布局PCIe光互连技术:PCIe Gen5信号传输距离提升20倍
- 国内首款42kW智算风冷算力仓 浪潮信息与能投天府云联合发布
- 浪潮信息发布AIStation V5,全面支持大模型开发流程与高效算力调度
- Gartner: 全球服务器出货量上涨,浪潮信息市占率11.3%居全球前二