云天励飞推出全新云端推理加速卡X6000,夯实智算运营底座
2024-07-24 15:05:31爱云资讯阅读量:6,872
近期,云天励飞推出IPU-X6000加速卡。该产品具备256T算力、128GB显存容量、486GB/S显存带宽;采用C2C Mesh互联技术,可实现卡间高速互联,带宽达64GB/s,最大可实现64张卡的互联;可应用于语言、视觉、多模态等各类大模型的推理加速,目前已适配云天天书、通义千问、百川智能、Llama2/3等近10个主流大模型。IPU-X6000加速卡内置全国产工艺打造的大算力芯片DeepEdge200,该芯片采用D2D Chiplet技术,是基于DeepEdge10芯片平台打造的最新成果。DeepEdge10是云天励飞于2023年底正式发布的全国产14nm Chiplet大模型推理芯片。IPU-X6000单卡可实现130B参数量大模型推理,在执行70B参数量大模型推理时性能达11 tokens/s,有望在大模型推理领域逐步实现国产替代。
今年以来,大模型全面进入应用落地阶段,推理算力需求随之不断增长。根据IDC数据,预计到2026年中国数据中心用于推理的负载将达到62.2%。作为国内领先的人工智能企业,云天励飞不仅持续开展芯片、大模型等关键核心技术的自主研发工作,也一直持续推进大模型等创新技术的应用落地,在推理算力领域进行了完备的部署。今年云天励飞与德元方惠签署协议,提供总算力规模约4000 PFLOPS的AI训练及推理异构算力服务,预计未来3年将为云天励飞贡献约16亿的营收。云天励飞推出的X6000加速卡,专门针对大模型推理任务设计,打造了一系列符合大模型演进趋势的统一工具链,包括分布式并行策略、基于硬件的流水线排布、先进的量化策略、多机并行的编译机制等,在同等条件下能够做到推理性能更高、消耗成本更低。未来X6000将进一步支撑云天励飞智算运营业务,为行业带来更丰富的算力服务。
- 云天励飞论文入选ACL24:SPACE引擎引领大模型推理无损加速时代
- 云天励飞推出全新云端推理加速卡X6000,夯实智算运营底座
- WAIC 2024聚焦边缘AI:云天励飞引领大模型产业新篇章
- 16亿营收落地!云天励飞正式签署AI算力运营项目服务合同
- 大模型发展成果瞩目,云天励飞世安会引领公共安全从被动治理向主动预防转变
- 数字中国峰会:云天励飞大模型技术落地,加速智慧城市建设步伐
- 云天励飞助力深圳高级中学启用人工智能联合实验室,共绘智慧教育新篇章
- 科创板明星股云天励飞 具备芯片+算法+大数据全栈式能力
- 云天励飞与智慧互通(IICT)签署战略合作协议,推动新质生产力赋能智慧城市
- 南京市人民政府领导一行到访云天励飞,探讨低空经济发展
- 把大模型“装”进小盒子,云天励飞创新“AI+”路径
- 云天励飞收购岍丞技术,开辟“大模型+智能穿戴”新赛道
- 共创低空经济发展生态,云天励飞与珠海航展集团签订战略合作协议
- 云天励飞荣获年度最具投资价值人工智能企业
- 深圳市中小学人工智能研学公益展厅启动 云天励飞助力教育创新
- AI技术光芒四射!云天励飞发布国内首创14nm Chiplet大模型推理芯片