边缘AI的成长烦恼，英特尔牵起人工智能小手攀向巅峰

只要留心一下身边，就能发现AI的无处不在。走进商场中的咖啡面包店，店长的小电脑里不时便会收到AI做出的对于补货、清洁的提示。走进工厂生产线中的质检环节，AI正在通过一双慧眼对于商品是否存在瑕疵进行扫描。

边缘AI如同一名刚刚学会做应用题的小学生，开始在不同的工作岗位上，依据自身的题库，对一道道问题给出自己的解。然而，也如同每个人从小学到大学的历程，边缘AI也正在经历着成长的烦恼。

边缘AI成长的烦恼

例如开篇提到的工厂生产线质检案例就面临着训练样本不足的问题。在做产品质量检测过程中，最有效的样本正是带有缺陷的样本，但这类样本在产线上出现的概率却很小。如何在较少样本的情况下实现有效训练，得到有效的模型更新，正是当下面临的挑战之一。

数据保护在近期更是被很多人所关注，如何在保护隐私的情况下利用如联邦学习这类新技术实现数据融合，再利用融合的数据实现模型的进一步训练同样是需要解决的问题。又比如当数据处在运行状态，暂时被存储在内存中时，如何实现保护，使其与其他应用之间有一个安全边界，也同样是需要关注的问题。

在汽车领域，自动驾驶对于模型的即时更新诉求正在愈发强烈。原因就在于汽车厂商此前利用大数据训练的模型与实际驾驶时所面对的路况存在差异，造成模型泛化能力有限。最有效的解决方法就是要让边缘AI对于模型拥有二次修正能力，可以不断重新训练。

“以自动驾驶为例，它所代表的正是边缘人工智能发展的下一个趋势——边缘训练。”英特尔中国区网络与边缘事业部首席技术官、英特尔高级首席 AI 工程师张宇博士在近期2023中国国际服务贸易交易会·中国智能产业论坛主题演讲中表示。他认为边缘AI有三个发展阶段：边缘推理、边缘训练、边缘AutoML。

成长的三阶段

边缘AI的当下正处于推理向训练迈进的阶段。张宇博士开玩笑地表示称：“当下的人工智能一半是人工，一半是智能。”

原因在于如今的人工智能，无论是在边缘侧还是数据中心，人在人工智能中都扮演了一个非常重要的角色。尽管运用了极大的算力与数据去训练一个网络模型，但是模型结构需要人为进行预先设定。

第二阶段边缘训练也往往称之为增量训练，即边缘AI在已有训练集的基础上，能够通过新增样本集实现增量训练。如同人类通过不同阶段学校的学习，以及大脑的成长，将不仅仅只是根据固有题库来做题，还开始具备了举一反三的能力，能够在实践的过程中，来实现能力提升。

当下很多AI应用，实际上都处在开放的状态，而非闭环，也就是说在训练完模型以后用于推理，推理的结果并不能马上就进行反馈，对模型进行二次更新。

这就意味着边缘AI的最终目标便是实现AutoML，该阶段下网络模型能够感知人的意图，选取适宜的样本集训练模型，将训练结果推送到训练阶段进行相应操作。如同进入大学时代，学生将开始强调具备自主学习能力，为后续一生的探索打下重要基础，可以自主选择课题，进行资料查找，并撰写论文。

“如果把攀登高峰比喻为人工智能不同阶段的话，实现边缘推理只是意味着站在山脚，能实现边缘训练只是到达半山腰，站到山顶是真正实现AutoML的时刻。”张宇博士这样形容。

如同攀登一座高峰，或许汽车领域目前展现出的需求似乎是走出一段山谷前所看到的鞍部曙光。技术的发展也正在给出边缘AI演进的暗示，张宇博士认为共有三个关键要素，将推动AI的成长。

助推“快乐”成长

三个重要因素分别是：算力、数据、人工智能技术。算力将能够支撑越来越复杂的网络模型，数据让模型能够得到一个可以使用的训练结果，包括人工智能理论在的关键技术则起到了底层支撑引导的作用。

“我觉得这三个因素应该是相辅相成、缺一不可的，尤其是目标达到第三个阶段。”张宇博士在接受采访时表示。

尽管目前人工智能还主要依赖于1990年人工智能高潮时便使用的卷积运算原理。但在算力和数据上已经近年来突破不断，助推了人工智能的发展。

例如从超算排名上看，当1994年首次出现该榜单时，每妙算力为1000多亿次。今年最近一次排名中，人类的超算能力已经达到了E级，即每秒浮点运算速度达到百亿亿次。和1994年相比，实现了百万倍以上的算力提升。

边缘侧的算力同样提升明显，今年发布的第四代至强可扩展处理器，包含了高级矩阵扩展技术AMX，可直接对矩阵计算进行加速，无需进行项目拆解，无论是进行人工智能推理还是训练，相比上代都实现了10倍的提升。

数据增加的背后则意味着人类在通讯和存储能力上的提升。最直观的变化正是存储磁盘容量在快速提升，以及接口传输能力的突飞猛进。

英特尔在今年推出的Gaudi 2处理器就是一个很好的例证，不仅能提供大量的算力，还同时提供通讯能力。在近期MLPerf公司针对业界主流大模型的评测中，Gaudi 2成为全球唯二能提供针对大模型训练极佳性能的产品。于此同时，Gaudi 2还拥有21个10万兆内部互连以太网接口(ROCEv2 RDMA)、96GB HBM2E高带宽内存(总带宽2.4TB/s)。“对于大模型的平台，它的能力要从计算、存储和通讯能力进行综合考虑。”张宇博士称。

英特尔除了在算力、数据上通过硬件性能的升级，推动边缘AI快速成长外，还正在通过软件的方式实现“快乐”成长。

例如OpenVINO能够帮助开发人员实现边缘AI的快速部署与适配。开发人员可以选用一些人工智能框架，在框架上利用自己的训练集设计网络模型，最终形成一个模型的数据文件，该文件通过OpenVINO可以实现快速转化，跟硬件进行适配、部署。OpenVINO还包含模型开发器与推理引擎两个关键组件，让开发人员的应用只需一次开发，便能利用OpenVINO的适配能力在不同硬件平台实现部署，极大降低软件开发成本，进一步减少边缘AI的成长烦恼。

或许边缘AI正像是一位刚刚在校园考出几个不错成绩的孩子，它有成长的烦恼，更有无限的可能，因为它还有很长的成长之路，令人充满遐想的巅峰时刻。英特尔正牵起它的小手，一道迈出一步又一步。