从芯片架构到算力单元,云天励飞“算力积木”展现国产芯片自研新突破
2024-09-22 16:49:53爱云资讯阅读量:424
2024全球AI芯片峰会(GACS 2024)近期在北京举行。本届峰会以「智算纪元 共筑芯路」为主题,全面展示AI芯片产业在算力、网络、存储、软件、系统及应用方面的前沿技术、最新成果与落地进程。
云天励飞副总裁、芯片产品线总经理李爱军受邀参加峰会,并在大会上介绍了“算力积木”AI芯片架构。
李爱军在演讲中提到,大模型的落地给边缘AI芯片带来全新挑战。
场景具有丰富性和碎片性的特点,用于边缘的大模型的参数量从1.8B到13B不等,不同场景应用对算力、内存、带宽的要求也不尽相同。因此,边缘AI芯片需要有很强的灵活性和扩展性,以满足不同大模型落地不同场景的需求。
在此背景下,云天励飞提出了“算力积木”AI芯片架构,让芯片能够像搭积木一样灵活组建、灵活扩展。
去年底云天励飞正式发布的DeepEdge10系列芯片就是采用“算力积木”架构设计的。
DeepEdge10系列芯片基于一个标准化的大模型计算单元打造,可实现1.8B大模型的实时高效推理。通过D2D Chiplet技术、C2C Mesh技术和C2C Mes Torus技术,云天励飞将标准计算单元像搭积木一样,封装成不同算力的芯片,可实现7B、14B、130B等不同参数量大模型在边缘端的高效推理。
在标准化算力单元方面,云天励飞也做了许多技术上的创新,以实现大模型在边缘端的高效推理。
一是设计了近存计算架构,可实现Transformer计算的超低延时。通过可编程路由引擎,可以实现高效分布式的并行计算。
二是通过自研的多Router协同机制,可以有效地提高大模型的参数数据响应速度,满足高效推理的需求。
三是在C2C Mesh Torus结构上,通过自适应Router结构,减少数据搬运次数,减少计算对带宽的需求。
通过上述技术创新,云天励飞实现了8×16个标准“算力积木”单元的Mesh Torus架构互联,可提供2048Tops统一管理智能算力、512GB统一寻址内存容量、3840GB/s统一调度内存带宽。
未来,云天励飞还会推出基于Mesh Torus架构的大模型边缘推理一体机:IPU X6000-Mesh 4U Server,以高峰值算力与突出的能效比支持大模型的单机部署,包括7B、70B、MoE等主流大模型的边缘侧推理部署。
云天励飞一直坚持走芯片自主研发路线,希望能够通过架构创新,在国产工艺上实现芯片性能的突破,为行业带来更高性价比的产品。
相关文章
- 从芯片架构到算力单元,云天励飞“算力积木”展现国产芯片自研新突破
- 云天励飞上半年业绩翻倍,边缘AI开辟智能行业新蓝海
- 云天励飞论文入选ACL24:SPACE引擎引领大模型推理无损加速时代
- 云天励飞推出全新云端推理加速卡X6000,夯实智算运营底座
- WAIC 2024聚焦边缘AI:云天励飞引领大模型产业新篇章
- 16亿营收落地!云天励飞正式签署AI算力运营项目服务合同
- 大模型发展成果瞩目,云天励飞世安会引领公共安全从被动治理向主动预防转变
- 数字中国峰会:云天励飞大模型技术落地,加速智慧城市建设步伐
- 云天励飞助力深圳高级中学启用人工智能联合实验室,共绘智慧教育新篇章
- 科创板明星股云天励飞 具备芯片+算法+大数据全栈式能力
- 云天励飞与智慧互通(IICT)签署战略合作协议,推动新质生产力赋能智慧城市
- 南京市人民政府领导一行到访云天励飞,探讨低空经济发展
- 把大模型“装”进小盒子,云天励飞创新“AI+”路径
- 云天励飞收购岍丞技术,开辟“大模型+智能穿戴”新赛道
- 共创低空经济发展生态,云天励飞与珠海航展集团签订战略合作协议
- 云天励飞荣获年度最具投资价值人工智能企业