百川智能发布一站式解决方案,助力企业“多、快、好、省”落地大模型
2024-10-31 22:44:51爱云资讯阅读量:3,282
这是一套“工具丰富、响应快速、效果显著、成本低廉”的一站式解决方案,它包含了全链路优质通用训练数据、Baichuan4-Turbo和Baichuan4-Air两款模型,以及全链路领域增强工具链。该方案能够帮助企业以最低的成本实现效果最佳的私有化部署。
此外,我们的解决方案还支持企业将专有数据与我们的全链路优质通用训练数据混合使用,对Baichuan4-Turbo和Baichuan4-Air两款模型进行调优和性能增强,从而实现了高达96%的多场景可用率。
企业多元场景可用率高达96%,位居行业首位
众所周知,尽管大模型具备良好的泛化能力,但由于每个企业都有自身独特的专业知识和应用场景,直接应用通用模型无法达到理想效果,必须对模型进行定制化优化使其适应特定领域和场景需求,而优化后模型在多场景下的可用率是评估其价值的关键标准。
此前行业的主流做法是将企业专有数据和通用数据混合定向调优、增强通用模型。但受限于诸多因素,企业很难获得与原模型高度匹配的通用训练数据,因此即便经过调优,模型也有很大概率会失去通用性,变成无法应对多个场景的专用模型。
为解决这一关键难题,我们将自用的优质预训练数据、SFT微调数据、强化学习中的通用训练数据,以及自研的超参自动化搜索和调优技术、数据动态自适应配比技术等统一封装,打造了一套全链路优质通用训练数据方案。
由于Baichuan4-Turbo、Baichuan4-Air 都是我们自研的模型,所以这些优质通用训练数据与两款模型的数据分布高度一致,在此基础上,再结合超参动态搜索和自适应配比等算法,与企业私有数据混合微调,两个模型多场景下的可用率得到了极大提升,在金融、教育、医疗等场景下的专业细分任务的平均可用率高达 96%,位居行业首位。
Baichuan4-Turbo部署成本、Baichuan4-Air推理成本均为行业同梯队最低
除了效果之外,企业在应用大模型的过程中考虑的另一个重要因素便是成本,其中既有部署成本,又有推理成本。并且不同场景阶段,企业对模型性能和成本的要求各不相同。为更好满足行业用户的多样化需求,我们对两个模型进行了差异化定位。
Baichuan4-Turbo——探索复杂场景:文本生成、知识问答、多语言处理、数据分聚类等核心能力均有显著提升,其中信息摘要总结能力大幅提升了50%;
只需2卡4090的算力即可完成部署;
推理成本只有Baichuan 4的15%;
相较Baichuan 4首Token速度提升51%、Token流速提升73%;Baichuan4-Air——经过验证的较大规模流量的场景:效果与Baichuan 4基本持平;
推理成本仅为Baichuan 4的1%;
百万Token只需0.98元;
相较Baichuan 4首Token速度提升77%、Token流速提升93%;值得一提的是,Baichuan4-Air 是我们的首个MoE(Mixture of Experts)模型,它首创了PRI(Pyramid、Residual、Interval)架构。
与标准的MoE架构相比,Baichuan4-Air保持了MLP(多层感知机)和Attention(注意力机制)的内部结构不变,仅对混合专家MLP层的配置方式进行优化,通过合理配置专家数量和激活策略,能够更好地平衡计算负载,减少计算量,提高推理速度。
在相同训练数据下,Baichuan4-Air不仅时效率更高,性能也大幅领先于GPT4-style、Mixtral-style结构的MoE模型。
Baichuan4-Air的时效率对比测试效果图
全链路领域增强工具链简单易用,覆盖模型部署全流程企业在部署模型过程中还面临着专业算法人才稀缺,模型调优技术门槛高等阻碍。面向这些痛点,我们打造了简单易用的全链路领域增强工具链,集成了数据抓取、数据清洗、数据增强、模型训练、模型评测、模型压缩和模型部署等诸多工具,企业可以根据自身需求自由选择相应工具,对模型进行加密部署和训练。此外,我们还通过大量适配工作解决了不同硬件的适配问题,目前能够高效适配英伟达4090/A/H系列、华为昇腾、寒武纪、高通、MTK、天数等多种主流芯片。部分参与内测的客户,对我们的一站式解决方案十分认可并给予了高度评价。华胜天成表示,Baichuan-MoE模型能同时处理多种复杂任务,在保持高质量输出的同时,系统响应时间比之前快了近50%。得益于MoE的高效架构,在业务量增长20%的情况下我们的运营成本仅增加了5%。新致软件表示,百川的工具包极大地优化了我们的大模型开发流程,不仅支持处理我们的专有数据,还能将其与百川的高质量通用数据混合在一起训练。经过这样训练出来的模型,效果提升显著。信雅达表示,Baichuan4-Turbo仅需2张4090就能运行,大大降低了我们的硬件投入。部署Baichuan4-Turbo以来,我们的客户满意度提升了15%,运营效率提高了近30%。目前我们已经服务了数千家客户, 包括北电数智、完美世界游戏、爱奇艺、 360集团、生学教育、爱学堂等各行业的领军企业,并且与信雅达、用友、软通动力、新致软件、达观数据、华胜天成等多家行业生态伙伴,以及华为、中科曙光等硬件厂商,中国移动、中国电信、中国联通等运营商达成合作,携手构建百川大模型生态。