昇思多维混合分布式并行技术，助力伙伴快速复现Llama 3.1-405B大模型

摘要：10倍级调优效率、分钟级任务恢复！昇思助力千亿模型快稳训练

基于昇腾AI大集群，运营商伙伴基于昇思MindSpore AI框架成功实现了Llama3.1-405B大模型的训练。数据显示，本次模型训练性能与原生方案持平，训练效率及稳定性显著提升，展示了昇腾AI处理器与昇思AI框架软硬结合的强大能力。

本次联合创新，是运营商伙伴联合昇思首次在超大规模集群上，快速打造基于昇思MindSpore版本的开源千亿稠密大模型，且实现适配后模型原生、训练效率提升。

根据公开报道，Llama3.1-405B原生训练耗时持续54天，累计发生419次故障，平均每3小时产生一次，模型训练耗时长、稳定性要求高，如何优化训练性能、提升执行效率，同时提升稳定性，成为加速模型训练、提升模型精度的关键。面向训得快、训得稳等需求，昇思MindSpore提供了大模型开发套件、多维混合分布式并行、断点续训等能力，支持Llama3.1-405B又快又稳训练。

一、10倍级调优效率提升，任务拉起快、分布式配置策略便捷

MindSpore Transformers大模型开发套件支持一键YAML配置多维并行切分策略，使用开发的套件的训练组件，相较业界其他产品更简洁易用，快速在超大集群上拉起千亿稠密模型任务，提升计算的调度效率。

同时，套件封装轻量接口调用分布式并行接口，使用数据并行、模型并行、流水线并行、细粒度多副本并行、序列并行等多种策略混合，配合offset参数调整模型切分策略，实现模型切分的计算与内存负载均衡，解决内存瓶颈问题，最大化昇腾硬件性能释放，结合LazyInline等特性，提升内存复用效率。此外，依托计算通信多流水并行、运行时流水异步调度，算子融合等多种加速优化特性，进一步提升模型性能。

此外，MindSpore的内存复用技术进一步优化了资源使用，降低了重复计算的比例，使得大规模训练更加高效。

模型的调试调优依托MindSpore提供的Dryrun模拟功能，实现单卡仿真集群分布式策略选择。训练时在离线的单卡场景进行模型训练的内存瓶颈分析、并行策略调优，无需占用超大集群，并将单卡模拟的分布式策略直接映射到超大集群应用，在小时级时间尺度上调试出接近极致性能的405B并行策略配置，相对于传统的大集群上直接调优，效率提升10倍以上，同时，降低开发者选择分布式并行策略门槛，节省大量硬件资源及时间成本。

二、20分钟内实现任务恢复：断点续训与编译缓存技术

面对千亿参数模型在超大集群的频繁中断问题，昇思MindSpore通过编译缓存技术，打造确定性CKPT，支持断点续训，以小时级颗粒度进行任务保存，减少中断时训练进度的丢失。断点续训显著缩短了故障情况下任务重新拉起的耗时，断点续训自故障发生至新训练出loss时间跨度缩至20分钟内，大幅减少了长时间任务中断后重新启动的等待时间。

未来，昇思MindSpore将携手更多伙伴，在自主创新的软硬件基础平台上，原生孵化、适配支持更多全球范围的主流模型，加速使能大模型创新，推动AI应用落地。