高通推出AI推理加速器“Cloud AI 100”系列 2020年将高速AI带至云端

高通进军云端AI加速器市场

卷积神经网络和其他人工智能（AI）技术在过去十年中对处理器领域的影响是不可避免的。几乎所有处理器制造商、软件供应商都渴望投资开发AI方面的新功能，并实现升级突破。

在这十年开始时，一个完全没有存在的市场在过去几年中成为研究和收入的中心，并且已经有一些处理器供应商已经建立了自己的市场地位。

人工智能的这个现代时代仍处于早期阶段，市场尚未找到上限；数据中心继续批量购买AI加速器，并且该技术的部署也越来越多地在消费者处理器中出现。在许多人认为仍在争夺的市场中，全球的处理器标记正在试图弄清楚它们如何成为一代中最大的新处理器市场之一的主导力量。简而言之，人工智能“淘金热”正在全面展开。

人工智能“淘金热”吸引了科技界各个角落的关注。其范围从GPU和CPU公司到FPGA公司，定制ASIC芯片等等。但在人工智能的所有这些方面，最有利可图的市场是这个层次结构的顶端市场：数据中心。由于运营商希望购买大量的分立处理器，因此数据中心市场是扩展性的、昂贵的，并且仍在实现跨越式发展。

而现在，最后一位坐在数据中心AI市场旁边的巨头终于采取行动了——高通正以激进的方式进入人工智能加速器市场。高通公布了他们的第一款分立式专用AI处理器，即Qualcomm Cloud AI 100系列。该公司专为人工智能市场而设计，并以高通公司承诺成为一个广泛的软件堆栈为后盾，希望到2020年将自己打造成为人工智能加速器的主要供应商之一。

Cloud AI 100系列加速器基于7纳米芯片工艺，将于2020年推出产品，样片预计将在今年晚些时候向客户公布。这款芯片的目标是根据数字化的语音或图片数据流分析来制定决策。

高通高管基斯·克里辛（Keith Kressin）表示，这不是手机处理器的简单改版。据外媒报道，高通声称Cloud AI 100的峰值性能是Snapdragon 855和Snapdragon 820的3-50倍，与传统的FPGA相比，它的推理速度提高了约10倍。此外，Cloud AI 100的运算性能可以远超100 TOPs，不过高通并未透露不同精度下的峰值。

Qualcomm Cloud AI 100架构：专用推理ASIC

高通正在为数据中心市场开发一系列AI推理加速器。虽然不是一个从上到下的计划，但这些加速器将采用各种外形和TDP，以满足数据中心运营商的需求。在这个市场中，高通公司希望凭借在市场上提供最高效的推理加速器而获胜，其性能远高于目前的GPU和FPGA领跑者。

首先，这些新部件将采用7纳米工艺制造——可能是台积电以性能为导向的7纳米HPC工艺。该公司将提供多款芯片，但目前尚不清楚它们是否实际设计了多个处理器。而且，这是一个全新的设计，从头开始；所以它并没有说Snapdragon 855的所有AI体位都被放大了。

事实上，最后一点可能是最重要的。虽然高通公司今天没有为加速器提供架构细节，但该公司已经明确表示这是一款AI推理加速器，仅此而已。它没有被称为AI训练加速器，也没有被称为GPU。它只是被用于AI推理——有效地执行预训练的神经网络。

高通公司的声明非常强烈地指出基础架构是人工智能推理ASIC——类似谷歌的TPU系列——而不是更灵活的处理器。当然远非第一家专门为AI处理而构建ASIC的厂商，但其他AI ASIC要么专注于低端市场，要么留作内部使用（谷歌的TPU再次成为主要的例子），高通公司正在谈论将AI加速器出售给客户以供数据中心使用。而且，相对于竞争对手而言，他们所谈论的内容更像ASIC，而不是类似GPU的设计，每个人都期望在2020年从领先的英伟达（NVIDIA）和积极的新人英特尔中脱颖而出。

Qualcomm的Cloud AI 100处理器设计如此专注于AI推理，这对其性能潜力至关重要。在处理器设计范围内，架构师可以灵活平衡效率；芯片越接近固定功能ASIC，它就越有效。正如GPU如何在CPU上实现AI性能的巨大飞跃一样，高通希望在GPU上做同样的事情。

当然，问题在于更具固定功能的AI ASIC正在放弃灵活性。无论是处理新框架，新处理流程还是全新神经网络模型的能力还有待观察。但高通公司将在这里进行一些重要的权衡，最重要的问题是这些是否是正确的权衡，以及整个市场是否已为数据中心规模的AI ASIC做好准备。

同时，高通公司必须解决的另一个技术问题是Cloud AI 100系列，这是他们第一个专用的AI处理器。不可否认，每个人都必须从某个地方开始，而在高通的情况下，他们希望将他们在人工智能方面的专业知识转化为数据中心的人工智能。该公司的旗舰Snapdragon SoC已经成为一股不可忽视的力量，高通公司认为他们在高效设计和信号处理方面的经验将使公司在这方面占据重要地位。

无论是公司的庞大规模，他们都能够迅速提高产量。虽然这并没有帮助他们对抗NVIDIA和英特尔这两大竞争对手——这两者都可以分别在台积电及其内部晶圆厂扩大规模——但它使得高通公司在无数小型硅谷初创公司中也有明显的优势，这些初创公司也在追求AI ASIC方面的突破。

为什么要竞逐数据中心推理市场？

除了技术方面的考虑之外，今天宣布的另一个重要因素是高通公司追求AI推理加速器市场的原因。简而言之，答案就是利润和金钱。

对人工智能推理市场最终规模的预测差别很大，但高通公司认为到2025年数据中心推理加速器市场可能会达到170亿美元。如果事实证明这是真的，那么它将代表一个相当大的市场。否则高通会错过。一个可以完全与当前芯片制造业务相媲美的产品。

此处值得注意的是，这显然是推理市场，而不是整个数据中心推理+训练市场。这是一个重要的区别，因为虽然培训也很重要，但培训的计算要求与推理有很大不同。虽然可以使用相对低精度的数据类型——如INT8（有时更低）——执行准确的推理，但目前大多数培训需要FP16或更多。这需要一种非常不同类型的芯片，特别是当我们谈论ASIC时，而不是像GPU那样更通用的东西。

这也可以扩展到规模：虽然训练神经网络可能需要大量资源，但只需要完成一次。然后它可以多次复制到推理加速器的农场。因此，与培训一样重要的是，潜在客户只需要比具有培训功能的处理器更多的推理加速器。

与此同时，尽管该公司没有明确表示，但很明显高通公司正打算取消市场领导者NVIDIA，即使在这些早期，他们已经用AI处理器建立了一个小型帝国。目前，NVIDIA的Tesla T4、P4和P40加速器构成了数据中心AI推理处理器的支柱，数据中心收入整体上证明对NVIDIA来说非常有利可图。因此，即使整个数据中心市场没有像预期的那样增长，它仍然会非常有利可图。

高通还不得不提防来自英特尔的威胁，英特尔公开表达了他们自己的人工智能市场计划。该公司有几个不同的AI计划，从低功耗Movidius加速器到最新的Cascade Lake Xeon可扩展CPU。然而，对于高通公司闯入的特定市场赛道而言，最大的威胁可能是英特尔即将推出的Xe GPU，这些GPU将来自该公司最近重建的GPU部门。与高通一样，英特尔也在力争赶超NVIDIA，因此人工智能推理市场正面临着激烈的竞争与演化，没有一个巨头希望自己在这场角逐中落败而归。

冲刺终点线？

除了高通公司的雄心外，在接下来的12个月左右，公司的重点将是收获和组建第一批客户。要做到这一点，该公司必须表明它对Cloud AI 100系列所做的事情是认真的，它可以在硬件上提供，并且它可以与竞争对手的软件生态系统的易用性相匹配。这一切都不容易，这就是为什么高通公司现在需要开始，远远超过商业货运开始的时间。

虽然高通公司多年来一直对服务器和数据中心市场抱有各种各样的梦想，但描述这些努力的最礼貌的方式可能是“过于雄心勃勃”。例如，高通公司的Centriq系列基于ARM的服务器CPU，该公司推出在2017年大张旗鼓地宣布，只有整个项目在一年内崩溃。除了Centriq的优点外，高通公司仍然是一家主要针对芯片制造方面的移动处理器和调制解调器的公司。因此，为了让数据中心运营商投资Cloud AI系列，高通公司不仅需要为第一代提供一个伟大的计划，而且还要为未来几代人制定计划。

这里的结果是，在年轻的、不断增长的推理加速器市场中，数据中心运营商更愿意尝试新的处理器而不是CPU。因此，我们没有理由相信Cloud AI 100系列无论如何都不能取得适度的成功。但高通公司要说服其他仍然谨慎的数据中心运营商，高通公司的产品值得投入如此多的资源。

与此平行的是等式的软件方面。到目前为止，NVIDIA成功的很大一部分就是他们的人工智能软件生态系统。这本身就是他们十年前的CUDA生态系统的扩展，到目前已经让GPU竞争对手AMD陷入困境。高通方面的优势是，最流行的框架，运行周期和工具已经建立，TensorFlow、Caffe2和ONNX这些是它布局中的“大目标”。这就是为什么高通公司承诺提供广泛的软件堆栈，因为它可以做到这一点。但高通公司确实必须在这一方面加快速度，因为他们的软件堆栈实际运行的程度可以决定整个项目的成败。高通需要提供良好的硬件和良好的软件才能在这里取得成功。

但至少目前，高通公司今天发布的公告仍是一个“预告片”，还有很长的路要走。该公司制定了一项雄心勃勃的计划，旨在闯入日益增长的人工智能推理加速器市场，并提供与开放市场上其他任何产品不同的处理器。虽然这中间的过渡将会是一个挑战，高通公司对推理加速器市场的需求却只增不减。它是能够为其开发处理器的能力。以及它们如何能够避免陷入其先前服务器处理器计划的那种失误。

最重要的是，高通不会简单地采用推理加速器市场：它们将不得不为它而战。这是NVIDIA失去的市场，英特尔也在关注它，更不用说来自GPU厂商，FPGA供应商和其他ASIC厂商的所有小型厂商。任何和所有这些都可以在新兴技术的年轻市场中快速上升和下降。因此，虽然它还差不多一年，但2020年正在迅速成为人工智能加速器市场的第一场大战。

高通高管基斯·克里辛（Keith Kressin）表示，该公司将使用其在移动领域的技术专长，并借助其利用最新制造技术设计芯片的能力。而这款芯片的关键特征在于能耗效率。这个市场到2025年的规模预计可达170亿美元。