IBM 发布光学技术关键突破,生成式AI迎来“光速时代“
2024-12-12 21:49:30爱云资讯阅读量:2,799
新的光电共封装技术或取代数据中心中的电互连装置,大幅提高AI 和其他计算应用的速度与能效
近日,IBM(纽约证券交易所代码:IBM)发布了其在光学技术方面的突破性研究成果,有望显著提高数据中心训练和运行生成式 AI 模型的效率。IBM研究人员开发的新一代光电共封装(co-packaged optics,CPO) 工艺,通过光学技术实现数据中心内部的光速连接,为现有的短距离光缆提供了有力补充。通过设计和组装首个宣布成功的聚合物光波导 (PWG),IBM 研究人员展示了光电共封装技术将如何重新定义计算行业在芯片、电路板和服务器之间的高带宽数据传输。
IBM optics module
今天,光纤技术已经被广泛用于远距离的高速数据传输,实现了"以光代电"来管理全球几乎所有的商业和通信传输。虽然数据中心的外部通信网络已经采用光纤,但其内部的机架仍然主要使用铜质电线进行通信。通过电线连接的 GPU 加速器可能有一半以上的时间处于闲置状态,在大型分布式训练过程中需要等待来自其他设备的数据,导致高昂的成本和能源浪费。
IBM 研究人员发现了一种将光学的速度和容量引入数据中心的新方法。在其最新发表的一篇论文中,IBM 展示了其全球首发、可实现高速光学连接的光电共封装原型。这项技术可大幅提高数据中心的通信带宽,最大限度地减少 GPU 停机时间,同时大幅加快 AI 工作速度。该创新将实现以下新突破:
降低规模化应用生成式 AI 的成本:与中距电气互连装置相比,能耗降低 5 倍以上,[1]同时将数据中心互连电缆的长度从 1 米延长至数百米。提高 AI 模型训练速度:与传统的电线相比,使用光电共封装技术训练大型语言模型的速度快近五倍,从而将标准大语言模型的训练时间从三个月缩短到三周;用于更大的模型和更多的 GPU,性能将获得更大提升。[2]大幅提高数据中心能效:在最新光电共封装技术的加持下,每训练一个 AI 模型所节省的电量,相当于 5000 个美国家庭的年耗电量总和。[3]IBM 高级副总裁、IBM研究院院长Dario Gil 表示:"生成式AI需要越来越多的能源和处理能力,数据中心必须随之升级换代,而光电共封装技术可以帮助数据中心从容面向未来。随着光电共封装技术取得突破,光纤电缆将大幅提升数据中心的数据传输效率,芯片之间的通信、AI工作负载的处理也会更高效,我们将进入一个更高速、更可持续的新通信时代。"
比现有芯片间通信带宽快 80 倍
得益于近年芯片技术的进步,芯片上可以容纳更多、更密集的晶体管;比如,IBM 的 2
纳米芯片技术可在单一芯片上植入 500
多亿个晶体管。光电共封装技术旨在扩大加速器之间的互连密度,帮助芯片制造商在电子模组上添加连接芯片的光通路,从而超越现有电子通路的限制。IBM
的论文所述的新型高带宽密度光学结构和其他创新成果,比如,通过每个光通道传输多个波长,有望将芯片间的通信带宽提高至电线连接的80 倍。
与目前最先进的光电共封装技术相比,IBM 的创新成果可以使芯片制造商在硅光子芯片边缘增加六倍数量的光纤,即所谓的"鬓发密度 (beachfront density)"。每根光纤的宽度约为头发丝的三倍,长度从几厘米到几百米不等,可传输每秒万亿比特级别的数据。IBM 团队采用标准封装工艺,在 50 微米间距的光通道上封装高密度的聚合物光波导 (PWG),并与硅光子波导绝热耦合。
论文还指出,上述光电共封装模块采用50微米间距的聚合物光波导,首次通过了制造所需的所有压力测试。这些模组需要经受高湿度环境、-40°C 至 125°C 的温度以及机械耐久性测试,以确保光互连装置即使弯曲,也不会断裂或丢失数据。此外,研究人员还展示了 18 微米间距的聚合物光波导技术:将四个聚合物光波导设备堆叠在一起,可以实现多达128 个通道的连接。
IBM 持续引领半导体技术研发
面对日益增长的 AI
性能需求,光电共封装技术开创了一条新的通信途径,并可能取代从电子到光学的模块外通信。这一技术突破延续了IBM
在半导体创新方面的领导地位,包括全球首个 2 纳米芯片技术、首个 7 纳米和 5 纳米工艺技术、纳米片晶体管、垂直晶体管 (VTFET)、单芯片
DRAM 和化学放大光刻胶等。
该项目的设计、建模和模拟工作在美国纽约州奥尔巴尼完成,其原型组装和模块测试则由位于加拿大魁北克省布罗蒙的IBM实验室承接,后者是北美地区最大的芯片组装和测试基地之一。
[1] 从每比特 5 微焦降至不到 1 微焦。
[2]数据基于使用行业标准 GPU 和互连装置对 700 亿参数大语言模型的训练。
[3]数据基于使用行业标准 GPU 和互连装置对超大型大语言模型(如 GPT-4)的训练。
相关文章
- IBM陈旭东:以再次入选世界互联网大会“精品案例“为契机,IBM将继续深耕中国、携手共创AI生产力
- IBM陈旭东:企业级AI无法“即插即用“,规模化应用关键在于认知、人才和数据
- IBM调研:技术高管全情投入生成式 AI,但管理层对IT基础服务的信心减弱
- 加速AI规模应用,释放企业新质生产力,IBM中国企业级AI巅峰论坛成功举办
- 借IBM watsonx之力,拥抱AI为先的未来
- IBM推出生成式 AI 网络安全助手,打造更高效的威胁检测和响应服务
- IBM 发布《2024年数据泄露成本报告》:企业数据泄露成本创新高,AI和自动化成为“数据保卫战“突破口
- 图灵新智算采用IBM watsonx平台及AI软件,构建全能AI平台
- IBM专家观点:企业需破除AI应用迷思,“与数据对话“将重塑企业运营模式
- IBM陈旭东:携手IBM加速 AI 规模化应用,解锁企业新质生产力
- 微软和IBM宣布加强网络安全领域的合作:助力安全运营现代化,降低云身份安全风险
- IBM陈旭东:2024年是AI应用扩展之年,企业需“三步走“将数据转化成创新源泉
- 中国开源软件推进联盟携手IBM发布《可信赖的企业级生成式AI白皮书》
- 从华为数亿联袂IBM,看千万级外脑为何深受企业界青睐?
- IBM watsonx为美国高尔夫球大师赛提供生成式AI球迷体验
- IBM咨询与高测股份达成长期合作,助力光伏行业细分冠军企业变革转型