AI芯片混战谁能寻衅英伟达？｜半导体行业不雅观察_英伟_芯片

我准备写一篇预测未来一年的AI芯片，以及英伟达如何应对寻衅的文章，但我很快意识到，文章要比我预期的要长得多。
由于有很多内容要先容，我决定把文章分为3个部分。

第1部分：简介，以及剖析想要寻衅英伟达的大公司：英特尔、AMD、谷歌、赛灵思、苹果、高通。

第2部分：创业公司与中国公司，以及他们可能扮演的角色。

第3部分：英伟达抵御潜在竞争对手的策略。

1简介

在过去五年中，英伟达将其数据中央业务发展成为一个代价数十亿美元的巨子，却从未碰着过一个像样的竞争对手。
这是一个惊人的事实，在我的影象中，这在当今的科技天下是无与伦比的。
这种快速增长的动力紧张来自对人工智能（AI）和高性能打算（HPC）的快速GPU芯片的需求。
英伟达首席实行官Jensen Huang喜好评论辩论深度学习领域的“寒武编年夜爆发”，特殊指的是神经网络算法创新的快速步伐。
我们将在第3部分中谈论这对英伟达的意义，但我选择借用这个观点作为本系列的标题。
我们正处于环球许多大型和小型公司的专业AI芯片爆发的门口。
三年前，芯片初创企业险些不可能得到风险投资。
而现在，有数十家资金充足的寻衅者在为人工智能构建芯片。

图1：英伟达将新型神经网络的爆炸式发展比作生命首次涌现寒武纪时期。

去年，英伟达和IBM 达到了打算的顶峰，他们宣告为天下上最快的超级打算机——美国能源部橡树岭国家实验室（ORNL）的Summit超级打算机（约95%的性能归功于英伟达的Volta GPU）供应动力。
只管这是一项令人难以置信的造诣，但许多人开始疑惑，对付英伟达来说，全体童话故事能否持续下去。

图2：美国能源部橡树岭国家实验室的Summit超级打算机是当现代界上最快的打算机。

根据最新的季度报告，英伟达数据中央收入同比增长58％至7.92亿美元，占公司总收入的近25％。
在过去4个季度中，这一数字总计为28.6亿美元。
如果该公司能保持这种增长，到2019年，数据中央的收入将达到45亿美元。
这听起来像天国，或者至少是地球上的天国，对吧？

毫无疑问，英伟达在其强大的可扩展架构愿景的推动下，打造出了卓越的产品。
英伟达现在拥有一个由软件、大学、初创企业和互助伙伴组成的强大和自我坚持的生态系统，这些伙伴使它成为自己创建的新天下的主人。
虽然有些人会认为，这生平态系统创造了一条不可超出的护城河，但乌云现在正涌如今地平线上。
潜在的威胁来自英特尔、谷歌、AMD以及数十家美国和中国的初创企业，它们都被炙手可热的人工智能所吸引。

到目前为止，在我看来，竞争紧张是小打小闹。
竞争对手已经发布了几十项声明，但我非常确信，除了谷歌之外，没有一家公司实际上从英伟达的金库中得到了任何收入。
让我们看看目前的竞争格局，看看2019年将会是什么样子。

大型寻衅者

只管《纽约时报》统计有40多家初创公司进入了这一领域，但让我们现实一点：只有少数公司才能真正在这个市场上取获胜利（比如收入超过10亿美元）。
在深度神经网络的演习方面，考虑到英伟达的产品、安装根本和无处不在的生态系统的强大，英伟达很难被击败。
然而，目前规模相称小的推理市场终极将超过演习市场的总收入。
与演习不同，推理不是单一的市场。
它由云端和边缘的大量数据类型和干系的优化深度学习算法组成，每种算法都具有特定的性能、功耗和延迟哀求。
此外，在推理市场中没有巨无霸，纵然在英伟达声称拥有领导地位的汽车市场也是如此。
由于这些缘故原由，推理是大多数新进入者紧张或最先关注的领域。
让我们看看那些正在争夺席位的大公司。

谷歌

最早证明专用芯片（称为ASIC，或特定于运用的集成电路）可以对抗更可编程、更通用的用于深度学习的GPU的公司之一是谷歌。
巧合的是，谷歌可能是英伟达最大的客户之一。
正如我之前所述，谷歌现在已经发布了四款“Tensor Processing Units”（TPU），这些芯片和电路板可以加速云中的深度学习演习和推理处理，最近还用于边缘云。
谷歌的TPU用于演习和处理深度神经网络的性能相称可靠，每块芯片每秒可供应多达45万亿次操作（TOPS）。
比较之下，英伟达的Volta最高可达125 TOPS。
谷歌最初的两个TPU实际上是供内部利用和吹嘘的，但Google现在将它们作为一种做事供应给其在Google Compute Cloud上的云客户。

只管TPU无疑对谷歌的人工智能举措起到了推动浸染，但它们做事于谷歌内部利用案例（当然，这是一个相称大的市场）之外的市场却是故意受到限定的。
TPU只能用于演习和运行谷歌TensorFlow AI框架; 你不能用它来演习或运行用Apache MxNet或PyTorch构建的AI（这两个是Facebook和微软支持的快速增长的AI框架）。
它们也不能用于GPU占主导地位的非AI HPC运用。
此外，你不能购买TPU用于企业或政府数据中央和做事器中的内部打算。
但谷歌并不介意这统统，由于它认为TPU和TensorFlow对其人工智能的整体领导地位具有计策意义。
针对硬件进行优化的软件和针对软件进行优化的硬件可以构建强大而持久的平台。

TPU的更直接的影响可能是验证ASIC观点可以作为GPU的替代方案，至少对潜在的投资者来说是这样。
一家深度学习芯片初创公司的首席实行官和我分享了这样的经历：在谷歌宣告其TPU之后，风险成本开始自由流动。
他随后筹集到了数亿美元。

谷歌一贯长于从英伟达在GPU技能大会（常日是在3月份）上发布的可预测的声明中抢得一些风头，我不会惊异于看到谷歌今年再次亮相，或许会带来一款性能数据引人瞩目的7纳米TPU产品。

亚马逊网络做事公司（Amazon Web Services）也不甘掉队，公司去年秋日宣告，它也正在构建一个用于推理处理的定制ASIC。
然而，该芯片仍在开拓中，公司没有分享任何有关设计或可用性的细节。

英特尔

图3：前Nervana首席实行官Naveen Rao领导着英特尔的AI产品开拓，并且对公司的计策透明化。

这变得有点繁芜了，由于英特尔是大公司，同时在做很多事情，虽然英特尔打算在“2019年末”与Nervana芯片竞争人工智能演习和推理，但它意识到，推理将成为一个更大的市场，并有非常强大的影响力。
除了Xeon CPU（最近更新后，推理性能得到显著提升）之外，英特尔还收购了MobileEye和Movidius，分别用于汽车和嵌入式推理处理。
我看过这两种设备的演示，它们确实令人印象深刻。
英特尔还投资了一个名为DB2OpenVino的Run-Anywhere软件栈，它许可开拓职员在任何地方进行演习，然后在统统英特尔处理器上进行优化和运行，非常令人惊艳。

在拉斯维加斯举行的CES会议上，英特尔透露，它正在与Facebook就Nervana神经网络处理器（NNP-I）的推理版本密切互助，这令人惊异，由于许多人预测Facebook正在开拓自己的推理加速器。

与此同时，英特尔副总裁兼人工智能产品总经理Naveen Rao在Twitter上分享说，NNP-I将是一个SOC（片上系统），在英特尔10纳米晶圆厂制造，并将包括IceLake x86核心。
Rao表示，这将是英特尔未来的一个共同主题，可能是指未来用于台式机和条记本电脑的X86/GPU芯片，类似于AMD的APU。

在演习方面，英特尔最初的操持是在收购Nervana一年后的2017年发布一款名为“Lake Crest”Nervana NNP的产品。
然后它拖到了2018年……终极，公司决定重新开始。
这不太可能是由于Nervana完成的第一部分不好，相反，英特尔意识到，该器件的性能不敷以大幅超过英伟达和它添加到Volta和后续GPU中的TensorCores。
我想，当英伟达公布它在7nm工艺上制造的任何令人惊艳的新产品时，我们将再次看到相同剧本的上演，但这有些想太远了。

高通和苹果

为了完全起见，我将这两家公司包括在内，由于它们都专注于在手机（以及高通的物联网设备和自动驾驶汽车）上供应令人印象深刻的人工智能能力。
当然，苹果专注于iPhone的A系列CPU和支持手机AI的IOS操作系统。
随着手机成为语音和图像处理领域的人工智能推理的主导平台，这两家公司拥有大量可以用来确立领导地位的IP（只管华为也在大力推动人工智能，我们将在第2部分先容）。

AMD

在过去的三年里，AMD一贯在努力让它的AI的软件事情室正常运转。
我2015年在那里事情时，如果不启动Windows，你乃至不能在Linux做事器上运行它的GPU。
从那时起，公司已经取得了长足的进步，ROCm软件和编译器简化了从CUDA的迁移，MlOpen(不要与OpenML稠浊)加速了芯片上的数学库。
然而，目前AMD的GPU仍旧至少比英伟达V100的AI版本掉队一代，而且V100已经靠近两年的历史了。
AMD如何在7 nm上与英伟达 TensorCores竞争仍有待不雅观察。

赛灵思

毫无疑问，可编程逻辑器件（FPGA）的领先供应商赛灵思在2018年的表现非常出色。
除了宣告7nm的下一代架构外，它还在微软、百度、亚马逊、阿里巴巴、戴姆勒奔驰等公司的设计中取得了重大胜利。
在人工智能推理处理中，FPGA比ASIC有明显的上风，由于它们可以为手头的特定事情动态地重新配置。
当底层技能正在快速变革时，这一点非常主要，就像人工智能的情形一样。
例如，微软展示了它的FPGA（现在来自赛灵思和英特尔）如何在深度神经网络中对特定层利用1位、3位或险些任何精度的数学打算。
这可能就像呆子一样，但这可以大大加快处理速率并减少延迟，同时利用更少的功率。
此外，即将推出的赛灵思7nm芯片称为Versal，它具有AI和DSP引擎，可加速特定运用程序的处理，同时具有可适配的逻辑阵列。
Versal将在今年的某个时候开始发货，我认为它可能会改变推理处理的游戏规则。

2初创公司

这是关于人工智能芯片市场状况，以及2019年将会发生什么的三篇文章中的第二篇。
今年将是新芯片和基准之战的盛宴，领头的是我在第一篇博客中提到的大公司（英特尔、谷歌、AMD、赛灵思、苹果、高通），此外，还有数十家硅谷初创公司和中国独角兽的估值超过10亿美元。
在这一节中，我将先容西方和中国最著名的初创公司，或者至少是呼声最高的初创公司，中国政府正致力于打造本土的人工智能芯片家当。
我们将从Wave开始，它彷佛是第一个将芯片用于演习的公司。

Wave Computing

Wave Computing经历了一个多事的2018年，它推出了第一个数据流处理单元，收购了MIPS，创建了MIPS Open，并将它的第一个早期系统交付给了一些幸运的客户。
虽然Wave架构有一些非常有趣的特性，我将在这里深入磋商，但是我们正在等待大规模实际事情负载的客户体验信息。

Wave不是连接到做事器的加速器；它是用于图形打算的独立处理器。
这种方法有优点也有缺点。
从好的方面来说，Wave不会受到GPU等加速器中存在的内存瓶颈的影响。
从悲观的方面来看，安装Wave设备将是一次叉车式升级，须要完备更换传统的X86做事器，并且会成为所有做事器制造商的竞争对手。

我不期待Wave在单个节点上供应优于英伟达的结果，但是它的架构设计得很好，而且公司已经表示，它该当很快就能得到客户的结果。
请连续关注！

图1：Wave出货的系统是根据从上图展示的4节点“DPU”板构建的。

Graphcore

Graphcore是一家资金雄厚（投资3.1亿美元，目前估值为17亿美元）的英国独角兽创业公司，拥有天下一流的团队。
它正在构建一种新颖的图形处理器架构，其内存与其逻辑位于同一芯片上，这将使实际运器具有更高的性能。
这个团队在很长一段韶光里一贯在挑逗它将要发布的新产品。
去年4月，它“险些准备好上市”，而该公司去年12月的最新信息表明，它将很快开始生产。
它的投资者名单颇为引人瞩目，个中包括红杉成本、宝马、微软、博世和戴尔科技。

我已经理解了Graphcore的架构，它看起来相称引人瞩目，从边缘器件扩展到用于数据中央的演习和推理的“Colossus”双芯片封装。
在最近的NeurIPS活动上，Graphcore展示了它的RackScale IPU Pod，它在一个有32个做事器的机架上供应了超过16 petaflp的性能。
虽然Graphcore常常声称它的性能将是同类最佳GPU的100倍以上，但我的打算结果与此不同。

Graphcore表示，一个4“Colossus”GC2（8芯片）做事器供应500 TFlops（每秒万亿次运算）的稠浊精度性能。
单个英伟达V100可供应125 TFlops，因此从理论上讲，4个V100应供应相同的性能。
与往常一样，问题在于细节，只有对代码进行重构以实行TensorCore实行的4x4矩阵乘法时，V100峰值性能才可用，Graphcore架构奥妙地避免了这一限定。
更不用说V100价格昂贵，且耗电量高达300瓦。
此外，Graphcore支持片上互连和“处理器内存”（片上存储器）方法，这可能会带来超出TFlops基准测试所暗示的精良运用性能。
在一些神经网络中，如天生性对抗网络（GAN），内存是瓶颈。

再次强调，我们将不得不等待真实的用户用实际运用结果来评估此架构。
只管如此，Graphcore的投资者名单、专家名册和超高的估值见告我，这可能是一个好东西。

图2:GraphCore展示了处理ImageNet数据集的这张非常酷的图片。
这种可视化可以帮助开拓职员理解他们的演习处理花费了处理周期中的哪些部分。

Habana Labs

去年9月，以色列初创公司Habana Labs在第一届人工智能硬件峰会上宣告，它已准备好推出第一款用于推理的芯片，并以创记录的性能运行卷积神经网络进行图像处理，这令许多人感到意外。
结果显示，在Resnet50图像分类数据库中，该处理器每秒分类15,000张图像，比英伟达的T4赶过约50％，功耗仅为100瓦。
2018年12月，Habana Labs的最新一轮融资由英特尔风险投资（Intel Venture Capital）领投，WRV Capital、Bessemer Venture Partners和Battery Ventures跟投，该公司的融资也由此前的4500万美元增加了7500万美元。
最近的资金将部分用于其名为“Gaudi”的第二款芯片的流片，该芯片将专注于演习市场，据称可扩展到1000多个处理器。
在这个竞争激烈的领域，Habana Labs表现出很多希望。

其他初创公司

我知道天下上有40多家公司在制造用于人工智能演习和推理的芯片。
我创造大多数公司都在做大略的FMA（浮点乘法累加）和稠浊精度数学（8位整数，16位和32位浮点数），我对此并不惊异。
这种方法相对随意马虎构建，也会得到一些随意马虎摘到的果实，但与英伟达、英特尔等大公司以及少数几家开拓酷炫架构的初创公司（如Wave和GraphCore）比较，这无法供应持久的架构上风。
以下是几家引起我把稳的公司：

Groq：由从事TPU事情的前Google员工创立，有统治天下的年夜志。
Tenstorrent：加拿大前AMD员工创立，目前仍处于保密阶段。
我只能说其CEO的愿景和架构给我留下了深刻的印象。

ThinCi：印度公司，专注于边缘器件和自动驾驶汽车，与三星和Denso建立了互助伙伴关系。

Cerebras：由包括Andrew Feldman在内的前SeaMicro（AMD子公司）员工领导，目前仍处于深度“隐身”模式。

Mythic：一家采取独特方法进行边缘推理处理的创业公司，类似于非易失落性存储器上的仿照处理；该当在2019年推出芯片。

中国公司

中国一贯在努力探求一条摆脱对美国半导体依赖的道路，而人工智能加速器可能供应它一贯寻求的出口。
中国中心政府制订了2030年培植万亿美元人工智能家当的目标，自2012年以来，投资者已经向初创公司投入了超过40亿美元。
美国国会称这是一场人工智能武备竞赛，由于中国企业和研究机构在推动创新方面较少考虑阻碍西方进步的隐私和伦理问题，美国科技行业可能会掉队。

Cambricon（寒武纪科技）和SenseTime（商汤科技）可能是最值得关注的中国人工智能公司，但边缘AI领域Horizon Robotics这样的公司值得关注。
此外，请密切关注像百度、华为、腾讯和阿里巴巴这样的大型互联网公司，它们都在人工智能软件和硬件方面进行了大量投资。

寒武纪科技是一家估值25亿美元的中国独角兽公司，已经发布了第三代人工智能芯片。
该公司声称，在低功耗条件下，它可以比英伟达V100供应大约30%的性能上风。
寒武纪科技还向客户发卖IP，并为华为麒麟970移动芯片组供应人工智能硬件。

商汤科技或许是估值最高的人工智能初创公司，它最出名的是在中国各地推广智能监控摄像头。
这些摄像头的数量超过1.75亿台，个中包括其他公司生产的摄像头。
商汤科技在喷鼻香港成立，最近一轮融资数额达6亿美元，由阿里巴巴领投。
据多家媒体宣布，这家初创公司目前的估值为45亿美元。
商汤科技与阿里巴巴、高通、本田、乃至英伟达等大公司建立了计策互助伙伴关系。
该公司现在拥有一台超级打算机，运行大约8000个（可能是英伟达供应的）GPU，并操持再建造5台超级打算机来处理数百万个摄像头采集的面部识别数据。

3英伟达

既然我已经震荡了所有持有英伟达股票的人，并把希望带给了那些花很多钱购买英伟达GPU的人，那么让我们现实地看看英伟达如何在一个竞争激烈得多的市场中保持其领导地位。
我们须要分别研究演习和推理市场。

来自Nervana的历史课

首先，让我们看看英特尔在Nervana方面的履历。
在被英特尔收购之前，Nervana声称它的表现将比GPU至少赶过10倍。
然后，在通往胜利的路上发生了一件有趣的事情：英伟达的TensorCores让每个人都感到惊异，它强于Pascal不是2倍，而是5倍。
接着，英伟达又在NVSwitch上更加努力，构建出了性能惊人的8 GPU DGX-2做事器（售价40万美元，相称昂贵），击败了大部分（或许全部）竞争对手。
与此同时，英伟达的CuDNN库和驱动程序的性能险些翻了一番。
它还构建了GPU云，使得利用GPU就像单击和下载优化的软件堆栈容器一样大略，可以用于大约30个深度学习和科学事情负载。
因此，正如我在之前的文章中所分享的那样，英特尔承诺的10倍性能上风消逝了，而承诺在2019年末推出一款Nervana新芯片现在不得不回到设计阶段。
基本上，英伟达证明了，在一个虚拟车库中，有着坚实履历和技能储备的1万多名工程师可以赛过50名聪明的工程师。
任何人都不应该感到惊异，对吧？

给一万名工程师一个大沙盒

现在，快到三年到2019年。
再一次，竞争对手声称他们的芯片有10倍乃至100倍的性能上风，而这统统都还在开拓中。
英伟达仍拥有一万名工程师军队，并与环球顶尖的研究职员和终端用户保持着技能互助关系。
现在，他们都在为英伟达的下一代7nm芯片献技，在我看来，这基本年夜将使该公司的产品从“带AI的GPU芯片”转变为“带GPU的AI芯片”。

图1：英伟达的DGX-2超级打算机用连接在NVSwitch上的16 V100 GPU供应了2 peta-ops的AI性能。

英伟达工程师须要为公司的下一代产品添加多少额外的逻辑区域？虽然下面的剖析很大略，但它可以有效地构建对这个关键问题的答案。

让我们从第一款貌似具有出色性能的ASIC开始，即谷歌TPU。
我看到剖析说每个谷歌TPU芯片大约是2-2.5B个晶体管。
Volta V100在12nm制造工艺中拥有大约21B晶体管。
它是台积电可以制造的最大芯片。
随着英伟达从12nm迁移到7nm，芯片可以包含大约1.96（1.4x1.4）倍的晶体管。
因此，从理论上讲，如果英伟达不添加任何图形逻辑（当然不太可能），它将会有其余200亿个晶体管可以利用，大约是全体Google TPU逻辑量的十倍。
假设我的逻辑部分占去2倍。
在这种情形下，英伟达工程师仍旧有5倍的逻辑可用于新AI功能。
现在，所有这统统都假设英伟达将全力追求性能，而不去降落本钱或电力。
不过，在演习市场上，这正是用户所须要的：缩短演习韶光。
关于英伟达可能供应什么，有很多想法，包括处理器内存和更多版本的tensorcore。

我的不雅观点是，英伟达毫无疑问拥有足够的专业知识和可用的芯片空间来进行创新，就像它在tensorcore上所做的那样。
我和许多有趣的AI芯片初创公司谈过，但我最尊敬的那些公司见告我，他们没有低估英伟达，也不认为他们被困在GPU的思维模式中。
英伟达DLA和Xavier，一个ASIC和一个SOC，分别证明了英伟达可以创建各种各样的加速器，而不仅仅是GPU。
因此，这些初创公司的CEO中有许多人决定不采取英伟达的办法，而是首先关注推理。

我认为英伟达在演习方面不会长期处于劣势。
它的问题可能是芯片本钱高，但在演习方面，客户会买单。
此外，在推理方面，英伟达的Xavier是一款令人印象深刻的芯片。

寒武编年夜爆发有益于可编程性

让我们回到寒武编年夜爆发的不雅观点。
英伟达精确地指出，我们正处于算法研究和实验的早期阶段。
一个在处理方面做得很好的ASIC（比如用于图像处理的卷积神经网络）可能（而且险些肯定会）在处理方面做得很糟糕（例如，GAN、RNN或尚待发明的神经网络）。
这里是GPU可编程性与英伟达的研究职员生态系统相结合的地方，如果英伟达能够办理即将涌现的内请安题，那么GPU可以相称快地适应一种新的神经网络处理办法。
通过利用NVLink创建一个由8个GPU和256 GB高带宽（HBM）内存组成的网状构造，英伟达已经以高昂的代价显著降落了内存容量问题。
我们将不得不等待它的下一代GPU来理解它是否以及如何办理延迟和带宽问题，这些问题须要的内存大约是HBM的10倍。

推理战役

正如我在本系列的第1部分中所写的那样，对付推理领域，现在不存在巨无霸，边缘和数据中央推理市场是多样化的，并准备快速增长，但我不得不疑惑，从利润率的角度来看，大规模推理市场是否会是一个特殊有吸引力的市场。
毕竟，在未来的大宗商品市场上，由于许多公司都在争夺把稳力和销量，利润率可能相称微薄。
有些推理很大略，有些则非常困难。
后一个市场将保持较高的利润率，由于只有配备了CPU、Nervana、GPU、DSP和ASIC等并行处理引擎的繁芜SOC才能供应自动驾驶所需的性能。
英特尔的Naveen Rao最近在twitter上发布称，Nervana推理处理器实际年夜将是一个采取Ice Lake CPU内核的10nm SOC。
英伟达已经率先将Xavier SOC用于自动驾驶，而赛灵思也将在今年晚些时候采取类似的方法把Versal芯片用于自动驾驶。
任何走在这条道路上的创业公司都须要有以下两点：a)非常好的“性能/瓦特”值，b)创新路线图，使他们保持领先于大宗商品。

结论

总之，我要重申以下几点：

显然，关于这个主题有很多内容要先容，而我只是触及了皮毛！
感谢您花韶光阅读本系列文章，我希望它具有启示性和知识性。