华为携手景联文科技发布面向AI数据湖的数据工程联合解决方案

2025-03-25 11:36:13爱云资讯2635

近日,在2025年华为中国合作伙伴大会上,华为携手景联文科技发布面向AI数据湖的数据工程联合解决方案。该方案基于端到端高效、可靠、共享、易管理的AI数据湖,旨在将海量多模态数据资源高效转化成高质量AI算料,为行业智能升级注入充沛的数据动能。

景联文科技CEO刘云涛

“AI-ready的前提是Data-ready,大模型的好坏取决于数据的好坏。高质量数据集的供给是AI行业化落地的关键要素,也是促进数据要素繁荣交易的根基。”景联文科技CEO刘云涛强调,“精准全面的数据治理能力,结合可靠高效的数据基础设施,在智能化升级中不可或缺。”

普遍来说,面向AI的数据需要经历三大环节,即:从海量原始数据提炼为结构化数据集,然后经标注成为语料集,最终构成知识库、支撑模型训练及业务应用。在这个过程中,当下正面临多重挑战:

首先,数据拥有方动力不足:大部分数据持有者缺少便捷安全的数据汇聚托管系统,普遍陷入“不愿、不敢、不会”的困境,数据共享壁垒高筑。

其次,语料开发难:原始数据种类多、格式杂、时效高,如文本、图像、音视频等多模态原始数据,增加了语料处理的复杂性。同时,行业专用语料往往包含大量特有的垂类知识、表达方式,加剧了精准标注的难度。

最后,数据可信流动难:数据作为风险资源,如果在流通中缺少端到端安全管控,则易遭受被篡改、被扩散的风险。此外,区域间数据基础设施发展程度不均,且兼容性和互操作性不足,导致数据跨域流通效率低下。

景联文科技与华为强强联合,依托景联文科技深耕多年的数据工程能力、以及华为数据存储行业领先的技术优势,推出面向AI数据湖的数据工程联合解决方案:

全流程数据工程:景联文科技Solar Data平台采用AI Agent理念,与全闪数据湖存储紧密协同,支持异构数据的高效加工,实现对30+格式的自动或半自动化清洗、解析、预处理、特征提取与初步分析,并基于AI预标注与专业手工标注结合,最终整合为高质量的数据产品,全流程效率提升70%。

数据流通与资源调度:通过华为DME(Omni-Dataverse)全局文件系统,结合可信数据空间,实现多源数据无缝归集,让全局数据可视、可管、可流,保障数据交换过程的可信、可证、可控。基于华为DCS的统一资源调度,实现Solar Data平台计算、存储、网络等资源的弹性服务与统一管理。并通过ModelEngine AI使能工具链框架,实现高效模型编排与应用对接,加速数据集开发进程。

先进数据底座:基于华为OceanStor Pacific分布式存储底座建设统一数据底座,在先进介质、协议互通、负载优化、分布式并行客户端等领域软硬协同创新,打造业界领先的高密绿色数据基础设施,助力海量数据更持久地存储、更高效地访问。

华为数据存储将持续深化与业界伙伴的合作,携手促进AI时代应用生态的蓬勃壮大,秉持“以数据为中心”的产业理念,发挥数据在数字经济的核心驱动力作用。

相关文章

人工智能技术

更多>>

人工智能公司

更多>>

人工智能硬件

更多>>

人工智能产业

更多>>
关于我们|联系我们|免责声明|会展频道

冀ICP备2022007386号-1 冀公网安备 13108202000871号

爱云资讯 Copyright©2018-2024