麦肯锡：AI硬件为半导体公司带来新机遇 计算、内存和网络获得最大价值

在过去的几十年里，软件一直是高科技的明星，原因很容易理解。通过定义这个时代的改变游戏规则的创新——PC和移动电话，技术堆栈的架构和软件层实现了几项重要的进步。在这种环境下，半导体公司处境艰难。尽管他们在芯片设计和制造方面的创新使下一代设备成为可能，但他们只从技术堆栈中获得了一小部分价值——大约20%到30%用于个人电脑，10%到20%用于移动设备。

但随着人工智能(AI)的发展，半导体公司的情况可能会有所不同。人工智能通常定义为机器执行与人类思维相关的认知功能的能力，例如感知、推理和学习。许多人工智能应用程序已经获得了广泛的关注，包括管理我们家庭的虚拟助手和跟踪罪犯的面部识别程序。这些不同的解决方案以及其他新兴的AI应用程序有一个共同特征：依赖硬件作为创新的核心推动因素，尤其是逻辑和存储功能。

这一发展对半导体销售和收入意味着什么?哪些芯片对未来的创新最重要?为了回答这些问题，我们回顾了当前的AI解决方案以及支持它们的技术。我们还研究了整个技术堆栈中半导体公司的机会。我们的分析揭示了价值创造的三个重要发现：

AI可以让半导体公司从技术堆栈中获取40%到50%的总价值，这代表了他们几十年来的最佳机会。

存储将实现最高增长，但半导体公司将在计算、内存和网络方面获得最大价值。

为了避免过去限制价值获取的错误，半导体公司必须采取新的价值创造战略，专注于为特定行业或“微观垂直行业”提供定制的端到端解决方案。

通过牢记这些信念，半导体领导者可以创建一个新的人工智能路线图。本文首先回顾了他们将在技术堆栈中发现的机会，重点关注AI对数据中心和边缘硬件需求的影响(与自动驾驶汽车等设备一起发生的计算)。然后研究计算、内存、存储和网络中的特定机会。本文还讨论了帮助半导体公司在AI市场中获得优势的新策略，以及他们在计划下一步时应该考虑的问题。

AI技术堆栈将为半导体公司带来许多机会

自20世纪50年代出现以来，AI取得了重大进展，但最近发生了一些最重要的发展，因为开发人员创建了复杂的机器学习(ML)算法，可以处理大型数据集，“从经验中学习”，并随着时间的推移而改进。最大的飞跃出现在2010年代，因为深度学习(DL)的进步。深度学习是一种可以处理更广泛数据的ML，需要人工操作员进行更少的数据预处理，并且通常可以产生更准确的结果。

要了解AI为半导体公司创造机会的原因，请考虑技术堆栈(图1)。它由9个独立的层组成，支持AI应用程序的两个活动：培训和推理。当开发人员试图改进培训和推理时，他们经常遇到与硬件层相关的障碍，包括存储、内存、逻辑和网络。通过提供下一代加速器架构，半导体公司可以提高计算效率或促进通过内存和存储传输大型数据集。例如，AI的专用内存带宽是传统内存的4.5倍，因此更适合处理AI应用程序所需的大量数据。这种性能的提升是如此之大，以至于许多客户更愿意支付专用内存所需的更高价格(每GB大约25美元，标准内存大约8美元)。

人工智能以数据中心和优势将为半导体带来大部分收入

随着硬件作为人工智能的差异化因素，半导体公司将发现对现有芯片的更大需求，但他们也可以通过开发新技术获利(图表2)。我们创建了一个模型来估计这些AI机会将如何影响收入，并确定AI相关芯片是否会构成未来需求的重要部分。

我们的研究显示，与AI相关的半导体在未来几年内每年将增长约18%，比非AI应用中使用的半导体的速度高5倍(图表3)。到2025年，人工智能相关的半导体可能占所有需求的近20%，这将转化为约670亿美元的收入。数据中心和边缘都将出现机遇。如果这种增长按预期实现，那么半导体公司的定位将从人工智能技术堆栈中获得比以前创新所获得的更多价值，大约占总数的40%到50%。

人工智能将推动存储的大部分增长，但创造价值的最佳机会在于其他领域

然后，我们进一步分析了半导体厂商在计算、内存、存储和网络方面的具体机会。对于每个领域，我们都研究了硬件需求在数据中心和边缘的演变情况。我们还量化了除网络之外的每个类别的预期增长，其中与AI相关的价值捕获机会对于半导体公司而言相对较小。

计算

计算性能依赖于中央处理单元(CPU)和加速器 - 图形处理单元(GPU)、现场可编程门阵列(FPGA)和专用集成电路(ASIC)。由于每个用例都有不同的计算要求，因此最佳的AI硬件架构会有所不同。例如，与自动驾驶或财务风险分层的应用相比，路线规划应用对处理速度、硬件接口和其他性能特征有不同的需求(图表4)。

总体而言，到2025年，对计算硬件的需求将增加约10%至15%(图表5)。在分析了超过150个DL用例之后，考虑了推理和培训要求，我们能够确定架构最有可能在数据中心和边缘获得优势的(图6)。

数据中心使用情况。大多数计算增长将来自云计算数据中心对AI应用程序的更高需求。在这些位置，GPU现在几乎用于所有培训应用程序。我们预计它们很快就会开始失去ASIC的市场份额，直到2025年计算市场在这些解决方案之间平均分配。随着ASIC进入市场，GPU可能会更加定制化，以满足DL的需求。除了ASIC和GPU之外，FPGA在未来的AI培训中也将扮演一个小角色，主要用于必须快速进入市场或需要定制的专业数据中心应用。

因此，CPU现在约占市场的75%。随着DL应用的发展，它们将被ASIC所取代。同样，我们预计计算市场将出现几乎相等的份额，其中CPU占2025年需求的50%，ASIC占40%。

边缘应用。大多数边缘训练现在发生在笔记本电脑和其他个人计算机上，但更多设备可能开始记录数据并在现场培训中发挥作用。例如，在石油和天然气勘探期间，使用的钻头会生成与油井地质特征相关的数据，可用于训练模型。对于加速器，培训市场目前在CPU和ASIC之间平均分配。然而，在未来，我们预计内置在芯片系统的ASIC将占需求的70%。 FPGA将占需求的约20%，并将用于需要大量定制的应用程序。

在推理方面，大多数边缘设备现在都依赖于CPU或ASIC，以及一些应用程序，例如需要GPU的自动驾驶汽车。到2025年，我们预计ASIC将占边缘推理市场的70%左右，GPU占20%。

内存

AI应用程序具有高内存带宽要求，因为深度神经网络中的计算层必须尽快将输入数据传递到数千个内核。需要内存 - 通常是动态随机存取存储器(DRAM) - 存储输入数据、权重模型参数，并在推理和训练期间执行其他功能。考虑一个被训练的模型来识别猫的形象。识别过程中的所有中间结果 - 例如颜色、轮廓、纹理 - 需要存储在内存中，因为模型会对其算法进行微调。鉴于这些要求，AI将为内存市场创造一个强大的机会，其价值预计将从2017年的64亿美元增加到2025年的120亿美元。

也就是说，由于算法设计的效率，例如略微降低的精度，以及行业放松中的容量限制，内存将看到三个加速器类别的最低年增长率，大约5%到10%。

大多数短期内存增长将来自数据中心对运行AI、ML和DL算法所需的高带宽DRAM的需求增加。但随着时间的推移，对边缘AI内存的需求将会增加，例如，联网汽车可能需要更多的DRAM。

当前内存通常针对CPU进行了优化，但开发人员现在正在探索新的体系结构。吸引更多兴趣的解决方案包括：

高带宽内存(HBM)。该技术允许AI应用程序以最大速度处理大型数据集，同时最小化功率要求。它允许DL计算处理器通过称为硅通孔(TSV)的快速连接访问三维存储器堆栈。谷歌和英伟达等AI芯片领导者已采用HBM作为首选内存解决方案，尽管它的成本是传统DRAM每千兆字节的三倍，此举表明其客户愿意为昂贵的AI硬件付费以换取性能提升。

片上存储器。对于DL计算处理器，在DRAM或其他外部存储器源中存储和访问数据所花费的时间，比同一芯片上的存储器多100倍。当谷歌设计张量处理单元(TPU)，一个专门用于AI的ASIC时，它包含足够的内存来存储芯片上的整个模型。Graphcore等初创公司也在增加片上存储容量，通过一种能最大限度提高人工智能计算速度的新架构，将其提升到普通GPU的1000倍左右。对于大多数应用而言，片上存储器的成本仍然过高，芯片设计人员必须应对这一挑战。

存储

AI应用程序生成大量数据 - 每年大约80EB，预计到2025年将增加到845EB。此外，开发人员现在在AI和DL培训中使用更多数据，这也增加了存储需求。这些转变可能导致从2017年到2025年每年增长25%至30%，这是我们调查的所有领域中最高的增长率。作为回应，制造商将增加存储加速器的产量，价格取决于供应与需求的同步。

不同于传统存储解决方案倾向于在不同的用例中采用一刀切的方法，AI解决方案必须适应不断变化的需求，而这些解决方案取决于应用程序是用于培训还是推理。例如，AI培训系统在改进算法时必须存储大量数据，但AI推理系统仅存储可能在将来培训中有用的输入数据。总体而言，AI培训的存储需求高于推理。

存储的一个潜在颠覆是新形式的非易失性存储器(NVM)。新形式的NVM具有介于传统存储器(如DRAM)和传统存储(如NAND闪存)之间的特性。它们承诺比DRAM更高的密度，比NAND更好的性能，以及比两者更好的功耗。这些特性将支持新应用，并允许NVM替代其他应用中的DRAM和NAND。这些形式的NVM目前市场规模很小，未来两年的收入约为10亿至20亿美元，但预计到2025年其收入将超过100亿美元。

NMV类别包括多种技术，所有这些技术在存储器访问时间和成本方面都不同，并且都处于不同阶段。磁阻随机存取存储器(MRAM)具有最低的读写延迟，具有超过五年的数据保留和出色的耐用性。但是，它的容量扩展是有限的，使其成为一种昂贵的替代方案，可用于频繁访问的缓存而不是长期数据保留解决方案。电阻式随机存取存储器(ReRAM)可能会垂直扩展，使其在扩展和成本方面具有优势，但它具有更慢的延迟和更低的耐用性。相变存储器(PCM)适合两者之间，3D XPoint是最著名的例子。在更广泛采用之前，耐久性和错误率将是必须克服的关键障碍。

网络

AI应用程序在培训期间需要许多服务器，并且数量会随着时间而增加例如，开发人员只需要一台服务器来构建初始AI模型，需要不到100台服务器来改进其结构。但是使用真实数据进行培训——逻辑上的下一步——可能需要几百个。自动驾驶模式要求超过140台服务器在检测障碍物时达到97%的准确率。

如果连接服务器的网络速度很慢(通常是这种情况)，它将导致培训瓶颈。尽管目前大多数提高网络速度的策略都涉及数据中心硬件，但开发人员正在研究其他选项，包括可以将数据路由到不同方向的可编程交换机。此功能将加速最重要的培训任务之一：无论何时更新模型参数，都需要在多个服务器之间重新同步输入权重。使用可编程开关，几乎可以立即进行重新同步，这可以将训练速度提高2到10倍。最大的性能提升将来自使用最多服务器的大型AI模型。

改善网络的另一个选择是在服务器中使用高速互连。这项技术可以使性能提高三倍，但它的价格也要高出约35%。

半导体公司需要针对AI市场的新战略

很明显，机会无处不在，但半导体公司并不能保证成功。为了获取他们应得的价值，他们需要专注于针对特定行业的端到端解决方案(也称为微垂直解决方案)、生态系统开发，以及远远超出改进计算、内存和网络技术的创新。

客户将重视微垂直的端到端解决方案，从而获得强大的投资回报

AI硬件解决方案仅在与技术堆栈的所有其他层兼容时才有用，包括服务层中的解决方案和用例。半导体公司可以采取两条途径来实现这一目标，还有一些已经开始这样做了。首先，他们可以与合作伙伴合作开发用于行业特定用例(例如石油和天然气勘探)的AI硬件，以创建端到端解决方案。例如，Mythic开发了一种ASIC，以支持医疗保健和军事行业中图像和语音识别应用的边缘推断。或者，半导体公司可以专注于开发人工智能硬件，以实现广泛的跨行业解决方案，就像英伟达开发GPU一样。

所采用的路径将因细分行业而异。对于内存和存储播放器，解决方案往往在微观垂直上具有相同的技术要求。相比之下，在计算中，AI算法要求可能会有很大差异。自动驾驶汽车中的边缘加速器必须处理依赖于云的语言翻译应用程序的大量不同数据。在这种情况下，公司不能依赖其他参与者来构建与其硬件兼容的堆栈的其他层。

积极参与生态系统对成功至关重要

半导体公司需要创建一个软件开发者生态系统，通过提供具有广泛吸引力的产品来选择他们的硬件。作为回报，他们将对设计选择产生更大的影响。例如，喜欢某种硬件的开发人员将在构建应用程序时将其作为起点。然后他们将寻找与其兼容的其他组件。

为了帮助将软件开发人员纳入其生态系统，半导体公司应尽可能降低复杂性。由于现在有比以往更多类型的AI硬件，包括新的加速器，参与者应该提供简单的界面和软件平台功能。例如，英伟达为开发人员提供计算统一设备架构，一种可与多种编程语言协同工作的并行计算平台和应用程序编程接口(API)。它允许软件开发人员使用支持统一计算设备架构的GPU进行通用处理。

在具有重要战略意义的行业领域，英伟达还提供定制的软件开发套件。例如，为了帮助开发自动驾驶汽车的软件，英伟达创建了DriveWorks，这是一个带有现成软件工具的套件，包括对象检测库，可以帮助应用程序解释汽车自动驾驶时摄像头和传感器的数据。

随着开发人员社区对某些硬件架构的偏好不断增强，半导体公司的知名度将大幅提升，从而获得更好的品牌认知度。他们还将看到更高的采用率和更高的客户忠诚度，从而产生持久的价值。

只有为最终用户增加真正价值的平台才能与大型高科技参与者的综合产品竞争，例如谷歌的TensorFlow，ML和DL模型和算法的开源库。 TensorFlow支持谷歌的核心产品，如谷歌翻译，也有助于公司巩固其在AI技术堆栈中的地位，因为TensorFlow兼容多个计算加速器

创新至关重要，参与者必须奋力一搏

许多想要启用AI创新的硬件厂商专注于改进计算过程。传统上，该策略涉及通过内存、存储和网络创新提供优化的计算加速器或简化计算和数据之间的路径。但是硬件参与者应该跨越这些步骤，并通过升级来寻求其他形式的创新。例如，智能手机上用于安全认证的基于人工智能的面部识别系统，是由专用软件和三维传感器实现，该三维传感器投射数千个不可见的点以捕获用户脸部的几何图。由于这些点比摄像机的数百万像素更容易处理，因此这些认证系统只需几分之一秒即可完成，并且不会干扰用户体验。硬件公司还可以考虑传感器或其他创新技术如何实现新兴的AI用例。

半导体公司现在必须明确自己的人工智能战略

在人工智能领域率先行动的半导体公司将更有可能吸引并留住客户和生态系统合作伙伴，这可能会阻止后来者在市场上取得领先地位。随着主要的科技公司和初创企业现在都在人工智能硬件领域展开独立努力，未来几年，押注的机会窗口将迅速缩小。现在要制定一个强有力的战略，他们应该关注三个问题:

在哪里大展拳脚?制定重点战略的第一步涉及确定目标行业微观垂直市场和人工智能用例。在最基本的层面上，这包括评估不同垂直领域的机会大小，以及AI解决方案可以消除的特定痛点。在技术方面，公司应该决定是将重点放在数据中心的硬件上，还是放在边缘。

怎么行动?在向市场推出新的解决方案时，半导体公司应采用合作伙伴的思维模式，因为他们可能通过与特定行业的老牌企业合作获得竞争优势。他们还应该确定哪种组织结构最适合他们的业务。在某些情况下，他们可能希望为所有行业创建专注于某些功能(如R&D)的组。或者，他们可以让团队专门选择微垂直领域，让他们发展专业技能。

什么时候行动?许多公司可能会试图进入AI市场，但跟风的成本很高，尤其是DL应用程序。此外，随着行业采用特定的AI标准并期望所有参与者都遵守这些标准，进入壁垒将会增加。虽然快速进入可能是某些公司的最佳方法，但其他公司可能希望采取更加谨慎的方法，即随着时间的推移慢慢增加对特定微观领域的投资。

AI和DL革命为半导体行业提供了几十年来创造价值的最佳机会。 硬件可以成为决定先进应用是否进入市场并引起关注的差异化因素。 随着人工智能的发展，硬件需求将转变为计算、内存、存储和网络，这将转化为不同的需求模式。 最好的半导体公司将了解这些趋势并追求创新，帮助将AI硬件提升到一个新的水平。 除了有利于他们的盈利外，他们还将成为人工智能应用改变世界的驱动力。