作者：Matt Hurd
机器之心编译
参与：Panda
在如今深度学习大爆发的同时，干系的硬件平台也在百花齐放，既有英伟达和谷歌这样的科技巨子，也有地平线机器人和 Graphcore 等创业公司——它们都各自提出了自己的办理方案。近日，多家公司的技能顾问 Matt Hurd 在其博客上揭橥了一篇全面评点各种神经网络硬件平台的长文，机器之心对本文进行了编译先容。
这是我几周前做的一个传统的 90 年代风格的性别识别神经网络的很好的隐蔽节点。
一个大略的性别识别器网络中的 90 年代风格的隐蔽节点图像
我的女儿正在参加她的 B Comp Eng 的一门课程，这是她的演出学位之后要拿的学位。由于不在同一座城市，以是我想我也容许以看看她的作业，同时供应一点帮助。不出所料，她不须要也不想要我的帮助。老父亲一辈的男人阐明不是必需的。只管如此，玩一玩 Bec 挂在脸上的数据却很故意思。Bec 自己的性别识别网络在馈送给演习后网络的她自己的 14 张照片中的 13 张上都表现良好。很好。
我进入这一领域较晚，在 90 年代早期开始把韶光花在神经网络上。作为悉尼 Bankers Trust 的一位职业交易员，我利用了各种各样的软件，个中包括轻微有点贵的来自 NeuroDimension 的图形工具，它还可以为嵌入（embedding）天生 C++ 代码。它有一个并行端口复制保护加密狗，这很让人痛楚。那时候我刚从大学毕业，加入了一个名字不断变来变去的团队——从环绕联结主义到适应性方法再到数据领悟。我更喜好开源，并且不再利用 NeuroDimension。我将 Stuttgart 神经网络仿照器（SNNS）移植到了新的微软操作系统 Windows NT（OS/3 early alpha）中，然后就这样成了那个接口的支持职员。SNNS 代码写得很洒脱，而且有很混乱的静态全局变量，但对付一个白人来说，它的效果相称赞。
我的科学硕士项目是一种类似级联干系（cascade correlation）的神经网络 Multi-rate Optimising Order Statistic Equaliser（MOOSE：多速率优化顺序统计均衡器），可用于日内的 Bund（国库债券产品）交易。MOOSE 曾经是为获取高速的 LEO 卫星旗子暗记（McCaw 的 Teledesic）而设计的一点成果，后来在从 LIFFE 迁移到 DTB 时将目标转向了 Bund。作为一家投资银行的职业交易员，我可以购买很好的工具。我有那时候天下上最快的打算机：一个 IBM MicroChannel dual Pentium Pro 200MHz 处理器外加带有几 MB RAM 的 SCSI。在 1994 年那会儿，将 800,000 个数据点输入到我的 C++ stream/dag 处理器中看上去就像是黑邪术。有限差分方法让我可以做许多 O(1) 增量线性回归这样的运算，以得到 1000 倍的加速。那时候这看起来已经很好了。现在，你的手机都能嘲笑我的大方向。
那时候，在神经网络领域有很多研究。倒不是说它有过人的生产力，只是由于有用。读到 Lindsay Fortado 和 Robin Wigglesworth 的 FT 文章《Machine learning set to shake up equity hedge funds》中 Eric Schmidt 关于机器学习和交易的意见，还真有点让人高兴：
Eric Schmidt 是谷歌母公司 Alphabet 的实行董事长，他上周对一众对冲基金经理说他相信在 50 年内，所有交易都会有打算机解读数据和市场旗子暗记。
「我期待涌如今交易方面做机器学习的创业公司，看看我描述的这种模式识别能否比数据剖析专家的传统线性回归算法做得更好。」他补充说，「我这个行业内的许多人都认为这注定将成为一种新的交易形式。」
老朋友 Eric，我在 90 年代早期就已经迟到了，你真是有点后知后觉。
好吧，现在情形已经不同了。我喜好思考它，并喜好将神经网络的这次新复兴称为感知时期（The Age of Perception）。这并不是智能，只是善于模式而已。它仍旧无力应对措辞歧义。它还要一些韶光才能理解基本的代价和观点，从而形成深刻的金融理解。
深度学习既被浮夸了，也被低估了。这不是智能，但会有助于帮我们实现智能。一些人将其浮夸为将会给我们带来替代人的类人机器的人工智能打破。我们仍旧还受困于知识以及用于推理的大略文本中的歧义。我们还有很长的路要走。相对大略的方案算法和启示式方法以及基于神奇的深度学习的视觉、声音、文本、雷达等等的感知能力将会带来深刻的影响，就像是每个人和他们的狗现在理解的那样。以是我叫它「感知时期」。就彷佛是我们口袋里的超级打算机溘然有了眼睛，并且快速适应了真实天下所带来的闪光性致盲。
深度学习将会带来巨大的影响，并且将会改变这颗行星上全人类的生活办法。但我们低估了其对我们的危险。不，我们不会和能激起或寻衅我们最深刻的思想的深度图灵对话者约会——还不会。这将不可避免地到来，但在可见的未来里还不可见。借助语音、文本和 Watson 那样的数据库的智能代理可以实现非常前辈的 Eliza，但不会更前辈了。自动化运输、食品生产、建筑、帮忙家事将会极大地改变人们的生活办法和不动产的代价。
除了这些泛泛之谈，本文的目的是网络一些关于芯片的思想见地——它们驱动着当前的神经网络革命。个中很多见地都不是最为激动民气的，但这对我来说是一个有用的磨炼。
神经网络硬件
与 20 年前比较，本日的神经处理方法并没有很大不同。深度更多的是一个品牌，而不是一项差异。激活函数已经得到了简化，以更好地适配硬件。紧张的成功之处在于我们有了更多数据，对如何初始化权重、处理许多层、并行化和提升鲁棒性也有了更好的理解，个中要用到像是 dropout 这样的技能。1980 年的 Neocognitron 架构与本日的深度学习器或 CNN 并没有显著差异，但 Yann LeCun 让它具备了学习能力。
在 90 年代那会儿也有很多神经硬件平台，比如 CNAPS（1990），它带有 64 个处理单元和 256kB 内存，可以在 8/16 位条件下达到 1.6 GCPS 的速率（CPS 是指每秒连接次数/ connections per second）或在 1 位条件下达到 12.8 GCPS 的速率。你可以在《神经硬件概述（Overview of neural hardware）》[Heemskerk, 1995, draft] 中读到 Synapse-1、CNAPS、SNAP、CNS Connectionist Supercomputer、Hitachi WSI、My-Neupower、LNeuro 1.0、UTAK1、GNU（通用神经单元/General Neural Unit）Implementation、UCL、Mantra 1、Biologically-Inspired Emulator、INPG Architecture、BACHUS 和 ZISC036。
阅读地址：https://pdfs.semanticscholar.org/5841/73aa4886f87da4501571957c2b14a8fb9069.pdf
好吧，东西还真多，但实际上还打消了软件和加速器板/CPU 组合，比如 ANZA plus、SAIC SIGMA-1、NT6000、Balboa 860 协处理器、Ni1000 识别加速器硬件（英特尔）、IBM NEP、NBC、Neuro Turbo I、Neuro Turbo II、WISARD、Mark II & IV、Sandy/8、GCN（索尼）、Topsi、BSP400（400 微处理器）、DREAM Machine、RAP、COKOS、REMAP、通用并行神经打算机（General Purpose Parallel Neurocomputer）、TI NETSIM 和 GeNet。其余还有一些仿照和稠浊仿照的实现，包括英特尔的电气式可演习仿照神经网络（801770NX）。你懂我要表达的意思了，那时候的东西还真是多。
这在 1994 年迎来了一次爆发：
乐不雅观的摩尔定律见告我们，TeraCPS 即将实现：
「未来十年，微电子很可能将连续主导神经网络实现的领域。如果进展和过去进步得一样快，那就意味着神经打算机的性能将会增长大约 2 个数量级。因此，神经打算机将会靠近 TeraCPS（10^12 CPS）的性能。由 100 万个节点（每个节点有大约 1000 个输入）组成的网络可以达到大脑的打算速率（100-1000 Hz）。这将能为实验合理巨大的网络供应良好的机会。」
由于 Minsky 和 Papert 对隐蔽层的禁绝确大略概括，打击了 Rosenblatt 的感知器梦想并终极导致了他不幸的去世亡，神经网络研究遭遇了第一个冬天，研究资金被残酷地撤销了。1995 年，又有另一次神经网络冬天正在进行中，只管那时候我实在并不知道。作为温水锅里的一只田鸡，我没有把稳到正在加热。第二个冬天的紧张缘故原由是缺少激动民气的进展，让人们普遍感到无聊了。
到了 2012 年，多亏了 Geoffrey Hinton 的冬季生存技能，多伦多大学基于 AlexNet 开拓的 SuperVision 在 ImageNet 处理上实现了极大的提升，第二个神经网络冬天也由此闭幕了。之后谷歌的 LeNet Inception 模型在 2014 年冲破了它的记录。以是据我估计，感知时期始于 2012 年。将它记在你的日历里面吧，五年已经由去了。
谷歌在几千台普通机器上进行了出色的并行 CPU 有损更新研究。吴恩达教授和他的朋友们让数十台 GPU 就能完成数千台 CPU 的事情，从而让规模化成为了可能。因此，我们从须要很好的帮助的神经处理前景中解放了出来。好吧，或多或少吧，现在最前辈的网络有时候须要数千台 GPU 或专用芯片。
更多数据和更多处理能力是个中的关键。让我们进入本文的重点，列出一些感知时期大数据之战中的一些关键平台：
英伟达的 GPU
这一家是很难被降服的。来自大型视频处理市场的收益驱动着巨大的规模经济。新款英伟达 V100 带有一种新的 Tensor Core 架构，速率可达 15 TFlops（单精度/SP）或 120 TFlops（浮点精度，个中带有 FP16 的乘法和 FP32 的累加或加法，非常适宜机器学习）。英伟达在它们的 DGX-1 中装入了 8 块打算卡，速率可达 960 Tensor TFlops.
AMD 的 GPU
在机器学习领域，AMD 一贯是英伟达的追赶者。即将发布的 AMD Radeon Instinct MI25 有希望达到 12.3 TFlops（SP）或 24.6 TFlops（FP16）。如果你把英伟达的 Tensor Core 也算进来，则 AMD 完备无力竞争。英伟达设备的带宽 900GB/s 也是 AMD 484GB/s 的两倍。
谷歌的 TPU
谷歌原来的 TPU 比较于 GPU 有很大的领先，并帮助 DeepMind 的 AlphaGo 赢得了与李世石的围棋大战。据描述，原来的 700 MHz TPU 有 95 TFlops 的 8 位打算能力或 23 TFlops 的 16 位打算能力，同时功耗仅有 40W。这可比当时的 GPU 快得多，但现在掉队于英伟达的 V100；但在单位功耗的打算能力上，TPU 并没掉队。据称新的 TPU2 是一款带有 4 块芯片的 TPU 设备，速率可达到 180 TFlops 旁边。每块芯片的性能都翻倍了，达到了 45 TFlops 的 16 位打算能力。你可以看到与英伟达 V100 的差距正在变小。你没法买到 TPU 或 TPU2。谷歌正在通过它们的云供应这些 TPU 做事，包含 64 台设备的 TPU pod 速率高达 11.5 PetaFlops。TPU2 上巨大的散热片解释了一些缘故原由，但市场正在发生变革——从单独的设备转向了设备的组合以及将这些组合以云的形式供应。
Wave Computing
Wave 之父澳洲人 CTO Chris Nicol 博士的成果斐然，领导开拓了 Wave 的 Compute Appliance 中的异步数据流处理器（asynchronous data flow processor）。几年前，Metamako 的创始人 Charles Thomas 在加州大略先容了我和 Chris 认识。他们俩都曾在 NICTA 研究过无时钟异步。这两人都很出色。
我不愿定 Wave 的设备最早是不是针对机器学习设计的，但在他们的 3RU appliance 上运行 TensorFlow 的速率可以达到 2.9 PetaOPS/s，这实在了不起。Wave 将他们的处理器称为 DPU，一个 appliance 有 16 个 DPU。Wave 利用了他们称之为粗粒度可重构阵列（CGRA：Coarse Grained Reconfigurable Array）的处理元素。我还不清楚 2.9 PetaOPS/s 的速率对应多少位宽。根据他们的白皮书，其 ALU 可以实行 1 位、8 位、16 位和 32 位打算：
「算术单元是分区的。它们可以并行实行 8 位运算（完美适用于 DNN 推理）以及 16 位和 32 位运算（或以上的任何组合）。也可以实行一些 64 位运算，而且可以利用软件扩展到任意精度。」
关于其 appliance 中的 16 个 DPU，还有一些额外的信息：
「Wave Computing DPU 是一种包含了 16384 PE 的 SoC，它们被配置成了一个 32×32 集群的 CGRA。它包含了 4 个 HMC（Hybrid Memory Cube）第二代接口、一个 PCIe 第三代 16 通道接口和一个用于 SoC 资源管理的嵌入式 32 位 RISC 微掌握器。这款 Wave DPU 可以在没有主机 CPU 时自动实行。」
对付 TensoFlow 指令：
「Wave DNN Library 团队为 TensorFlow 等事情流程中所利用的常见 DNN 函数创建了预编译的可重新定位的 kernel。它们可以被组合到 Agent 中并且可以被实例化成机器，以构建大型的张量数据流图和 DNN kernel。」
「……一个可与 TensorFlow、CNTK、Caffe 和 MXNet 等机器学习事情流程交互的 session 管理器，可作为用于演习和推理的事情器过程（worker process）。这些事情流程可为事情器过程供应张量的数据流图。在运行时，Wave 的 session 管理器会剖析数据流图并将这些软件智能体放置到 DPU 芯片中，然后将它们连接起来以构建数据流图。这些软件智能体会被分配用于输入缓冲和本地存储的全局内存区域。CGRA kernel 的静态实质和分布式的内存架构可以让一个性能模型准确估计智能体的延迟。session 管理器可利用该性能模型来在智能体之间插入 FIFO 缓冲，这有助于 DPU 中通信和打算的重叠。这个可变智能体支持穿过全体图的数据流的软件流程，从而可以进一步增加并发性和性能。这个 session 管理器可以监控数据流图运行时的性能（通过监控卡顿、缓冲区下溢出和/或上溢出），并且可以动态地调节 FIFO 缓冲区的大小以实现吞吐量的最大化。在附加了 DPU 的处理器中，有一个分布式运行时管理系统会在运行时安装和卸载数据流图的一些部分，从而平衡打算和内存的利用量。这种在数据流打算机中的数据流图上的运行时重新配置还是有史以来第一次。」
是的，我也以为非常酷。这个平台的惊人之处是它在架构方面比 FPGA 更加粗粒度，因此灵巧性更低，但却很可能表现更好。非常故意思。
KnuEdge 的 KnuPath
在 2016 年 6 月时我在 Twitter 上谈过 KnuPath。那往后他们的产品页面却失落踪了。我不愿定他们要把那 1 亿美元如何用到他们的 MIMD 架构上。那时候他们向我这样描述的：每个 ASIC 中有 256 个微型 DSP（即 tDSP）核以及一个 ARM 掌握器，适用于 35W 包络中的稀疏矩阵处理。
它的性能未知，但他们把自己的芯片与一款当时的英伟达芯片进行了比较，那时候他们说实现了 2.5 倍的性能。我们知道英伟达现在凭借 Tensor 内核已经提速了十倍以上，以是 KnuEdge 还要努力才能跟上节奏。MIMD 或 DSP 方法必须要得到非常好的效果才能在这一领域霸占一席之地。韶光会给我们答案。
英特尔的 Nervana
Nervana Systems 曾经除了开拓他们的 Nervana Engine ASIC，还开拓着一种 GPU/软件方法，后来英特尔收购了这家公司。性能比较方面还不清楚。英特尔也在方案通过一个 Knights Crest 项目将其集成到 Phi 平台中。NextPlatform 认为其 2017 年在 28nm 节点上的目标是在某个位宽的运算速率达到 55 TOPS/s。英特尔还安排一个 NervanaCon，将在 12 月份举办，以是那时候我们大概将能看到他们的第一批成果。
地平线机器人
这家中国创业公司正在研发一种大脑处理单元（BPU：Brain Processing Unit）。余凯博士是正规军出身，由于他曾是百度深度学习研究院的卖力人。今年早些时候，一段 YouTube 视频演示了基于 Arria 10 FPGA 的 BPU 仿真：https://youtu.be/GI9U9lUFaDo。目前关于这一平台的公开还很少。
Eyeriss
Eyeriss 是 MIT 的一个项目，开拓出了一款具有出色原始性能表现的 64nm ASIC。在 AlexNet 上，这款芯片的速率大约是英伟达 TK1 的一半。其上风在于借助于其行固定（row stationary）方法，仅须要一个 278mW 的可重新配置加速器就能实现这样中规中矩的性能。赞。
Graphcore
去年 Graphcore 拿到了 3000 万美元的 A 轮融资，以开拓他们的智能处理单元（IPU： Intelligence Processing Unit）。他们的网站还短缺细节，只是给出了一些亮眼的事实，比如多于 14000 个独立的处理器线程和大于 100 倍的内存带宽。根据 NextPlatform 宣布的零散信息，其在一块芯片上具有多于 1000 个真实内核，并且采取了定制的互连办法。它的 PCIe 板具有一个 16 个处理器的元件。听起来彷佛是数据流。抛开公关的辞吐，这个团队确实有很强的背景，而且投资者也不并不傻，以是就拭目以待吧。
Tenstorrent
Tenstorrent 是加拿大多伦多的一家小创业公司，它流传宣传在深度学习的效率上实现了一个数量级的提升，和大多数公司一样，还没有什么公开的细节，但该公司入选了 Cognitive 300 榜单。
Cerebras
Cerebras 值得一提，由于它得到了 Benchmark 的支持，而且其创始人是 SeaMicro 的 CEO。它彷佛已经融资 2500 万美元了，而且仍旧处于隐身模式。
Thinci
Thinci 正在美国萨克拉门托开拓视觉处理器，并且在印度也有员工。他们流传宣传即将推出他们的第一款硅芯片 Thinci-tc500，而且已经开始进行标准评测和赢得客户了。但除了「统统都并行处理」之外，我们所知甚少。
Koniku
Koniku 的网站正在倒计时，现在还有 20 几天。我已经等不及了。他们没有融到多少钱，而看过它们在福布斯上的这个视频之后（https://goo.gl/VA1PJx），你很可能也不得不相信他们，但你也无法预见究竟会如何。利用生物细胞肯定是不一样的。听起来就像是一个科研项目，但他们这样说：
「我们是一个企业。我们不是一个科研项目。」下周将在维也纳的 Pioneers Festival 上揭橥演讲的 Agabi 这样说，「本日有些需求是硅所不能知足的，而我们可以通过我们的系统供应。」
Koniku 供应的核心是所谓的神经元壳（neuron-shell），这家创业公司称其内部可以掌握神经元彼此通信的办法，加上一种正在申请专利的电极，就可以在神经元上读写信息。所有这些都可以装在一个 iPad 大小的设备里，他们还希望能在 2018 年之前将其减小到一枚五美分硬币大小。
Adapteva
Adapteva 是我最喜好的一家小技能公司，正如你在之前文章《Adapteva tapes out Epiphany-V：一款 1024 核 64 位 RISC 处理器》：https://goo.gl/6ZH7JP。去年年底时 Andreas Olofsson 拿出了他的 1024 核芯片，我们都等着看它的性能表现。Epiphany-V 有用于深度学习的新指令，我们必须要看看这种带有 64MB 片上内存的更少内存掌握器的设计是否具有得当的扩展能力。Andrea 的设计和构建的出色效率可能能让我们真正包袱得起这种芯片，以是让我们希望它有良好的表现吧。
Knowm
Known 研究的是 Anti-Hebbian and Hebbian（AHaH）可塑性和忆阻器。这里有篇覆盖这一主题的论文《AHaH 打算：从 Metastable Switches 到 Attractors 到机器学》：https://doi.org/10.1371/journal.pone.0085175。这对我来说有点太高等了。大略看了看，我看不出这项技能和胡言乱语的差异，但看起来确实科学味道十足。我须要亲眼看到才能相信。神经忆阻式处理器（neuromemristive processor）的思想是很有趣的。我早上确实须要一个好的盛行术语。
Mythic
Mythic 的一款电池驱动的神经芯片具有低 50 倍的功耗。目前还看不到太多真正的细节。这款芯片大约纽扣大小，但大多数芯片不都这样吗？
「Mythic 的平台能在纽扣大小的芯片上供应桌面 GPU 的性能。」
大概这又是一款适宜无人机和手机的芯片，很可能被用在手机中，也可能被打消在外。
高通
手机显然是机器学习硬件的一大用武之地。我们希望能够识别狗的品种、花朵、树叶、癌症痣、翻译标识、理解口语等等。我们口袋里的超级打算机乐意用上它能得到的所有帮助，以便能迈入感知时期。高通一贯以来都在鼓捣机器学习，推出了 Zeroth SDK 和 Snapdragon 神经处理引擎（NPE）。这种 NPE 显然在高通所用的 Hexagon DSP 上效果良好。
Hexagon DSP 已经远远不止是一个非常广泛的并行平台了，Yann LeCun 已经证明高通和 Facebook 正在互助开拓一种更好的方法，拜会 Wired 的文章《业界 | 谷歌 TPU 之后还有高通，人工智能芯片竞赛已经展开》：
「最近，高通已经开始制造实行神经网络的专用芯片，这条来自 LeCun，由于 Facebook 正帮助高通开拓机器学习干系技能，以是他对高通的操持很理解；高通技能副总裁 Jeff Gehlhaar 证明了这个项目，他说：『在原型设计和开拓方面，我们还有很长的路要走。』」
大概我们很快就会看到 Kryo CPU、Adreno GPU、Hexagon DSP 和 Hexagon Vector Extensions 之外的其它东西。对付这一领域的创业公司来说，和高通的机器学习竞争将会困难无比。
Pezy-SC 和 Pezy-SC2
这两者是 Pezy 开拓的 1024 核和 2048 核处理器。Pezy-SC 1024 核芯片可以驱动 2015 年 Green500 超级打算机榜单的前三名的系统。Pezy-SC2 是现在已经开始供应的后续芯片，我在 6 月份也做过关于它的演讲，但干系细节还很少，不过仍旧很吸引人：
「PEZY-SC2 HPC Brick：单个机箱中有 32 个带有 64GB DDR4 DIMM（2.1 PetaFLOPS（DP））的 Pezy-SC2 模块卡，速率可达 6.4 Tb/s.」
不知道 2048 个 MIMD MIPS Warrior 64 位核的机器能做到什么？在 6 月份的 2017 年 Green500 榜单中，一个英伟达 P100 系统拿到了头把交椅，而排名第 7 的是一个 Pezy-SC2 系统。以是看起来这款芯片还活着，但干系细节却很少。Motoaki Saito（齊藤元章）当然值得一看。
Kalray
只管做了很多承诺，但 Kalray 的芯片还没有超过 256 核，我在 2015 年的一篇文章就谈到：https://goo.gl/pxqn7Z。Kalray 宣扬自己的产品说是适宜嵌入式自动驾驶汽车运用，但我以为其目前产品架构的形式并不是一种完美的 CNN 平台。Kalray 有一个 Kalray Neural Network（KaNN）软件包并且流传宣传有比 GPU 更好的效率，在芯片上能实现高达 1 TFlop/s 的速率。
随着即将到来的产品更新，Kalray 的神经网络财富可能还会提升，就在这个月 Kalray 完成了新一轮 2600 万美元的融资。他们新的 Coolidge 处理器估量将在 2018 年年中上市，它会带有 80 或 160 个核，其余还有 80 或 160 个为视觉和深度学习优化的协处理器。
这在他们的多于 1000 核的方法上有了很大的改变，而我认为这是最明智的。
IBM TrueNorth
TrueNorth 是 IBM 的神经形态 CMOS ASIC，是与 DARPA 的 StNAPSE 项目一起开拓的。
这是一种单个芯片设计上的多核处理器网络，具有 4096 个核，每个核仿照 256 个可编程的硅「神经元」，统共就超过了 100 万个神经元。其余，每个神经元还有 256 个可编程的「突触」，旗子暗记可以在这些突触之间通报。因此，可编程突触的总是超过了 2.68 亿（2^28）。在基本构建模块方面，它的晶体管数量为 54 亿。由于存储、打算和通信都是在这 4096 个神经突触核中各自处理的，以是 TrueNorth 避开了冯·诺依曼架构的瓶颈，而且能效非常高，功耗为 70 mW，大约是传统微处理器的功率密度的万分之一。（来自维基百科）
IBM 之前还在批评脉冲神经网络（spiking neural network）无法适配深度学习，现在 IBM 开拓了一种在 TureNorth 上运行 CNN 的新算法。
这些神经元不会在每个周期内都放电，脉冲神经网络中的神经元必须逐渐积累它们的电势，然后才能放电……深度学习专家普遍认为脉冲神经网络在深度学习上没有效率——至少和卷积神经网络比起来是这样。Facebook 人工智能研究院主任和深度学习先驱 Yann LeCun 曾经批评过 IBM 的 TureNorth 芯片，由于它紧张支持脉冲神经网络……
……这种神经形态芯片不会太激动民气，由于它们看重的脉冲神经网络在深度学习领域并不受欢迎。
为了让 TrueNorth 芯片很好地契合深度学习，IBM 不得不开拓了一种新算法，让卷积神经网络可以在这款神经形态打算硬件上很好地运行。这种组合方法实现了 IBM 所谓的「靠近当前最佳」的分类准确度，实验涉及了视觉和语音寻衅赛方面的 8 个数据集。在最好的情形下，它们的准确度达到了 65% 到 97%。
当只利用一块 TrueNorth 芯片时，它只在这 8 个数据集中的 1 个数据集上超越了当前最佳的准确度。但如果利用多达 8 块芯片，IBM 的研究者可以极大提升这款硬件在深度学习寻衅上的准确度。这使 TureNorth 可以在个中 3 个数据集上媲美或超越当前最佳的准确度。
这个 TureNorth 测试也做到了每秒处理 1200 到 2600 视频帧。这意味着单个 TureNorth 芯片就能实时检测来自多达 100 个同时事情的相机的数据的模式……（来自 IEEE Spectrum）
TrueNorth 的功率效率非常出色，以是非常值得考虑。
Brainchip 的脉冲神经元自适应处理器（SNAP：Spiking Neuron Adaptive Processor）
SNAP 不能做深度学习，这只是一个源于好奇心的项目，还没有实际落地成 CNN 工程办理方案，至少现在还没有。如果你想探索这条路，IBM 的随机相变神经元（stochastic phase-change neurons）彷佛更故意思。
苹果的神经引擎（Neural Engine）
到底会不会有？彭博社宣布称这会是一款次级处理器，但没有什么细节信息。对苹果来说，这不仅是一个主要领域，而且也有助于与高通的竞争。
其它
1. 寒武纪（Cambricon）——中国科学院在芯片上投入的 140 万美元。它是一个用于神经网络的指令集架构，具有数据级的并行、自定义向量/矩阵指令、片上 scratchpad memory。流传宣传速率是 x86 CPU 的 91 倍，是 K40M 的 3 倍，且峰值功率仅有 1%，即 1.695W。参阅这两篇论文：
Cambricon-X：一个用于稀疏神经网络的加速器： http://cslt.riit.tsinghua.edu.cn/mediawiki/images/f/f1/Cambricon-X.pdf
Cambricon：一个用于神经网络的指令集架构 s：http://dl.acm.org/citation.cfm?id=3001179
2. 前谷歌员工创立的 Groq Inc.，大概是另一种 TPU？
3. Aimotive：https://aimotive.com/
4. Deep Vision 正在开拓用于深度学习的低功耗芯片，大概这两篇创始人的论文能供应一点线索：
Convolution Engine: Balancing Efficiency & Flexibility in Specialized Computing [2013]：http://csl.stanford.edu/~christos/publications/2013.convolution.isca.pdf
Convolution Engine: Balancing Efficiency and Flexibility in Specialized Computing [2015]：http://csl.stanford.edu/~christos/publications/2015.convolution_engine.cacm.pdf
5. DeepScale
6. Reduced Energy Microsystems 正在开拓用于 CNN 推理的低功耗异步芯片。据 TechCrunch 宣布，REM 是 Y Combinator 第一个 ASIC 领域的风险投资。
7. Leapmind 也很忙。
FPGA
微软已经站队 FPGA 了。Wired 这篇文章说得很好：《深度 |《连线》长文揭秘微软 Project Catapult：人工智能时期押注 FPGA》。
「Bing 霸占着天下上 20% 的桌面搜索市场和 6% 的移动手机市场，在 Bing 上，这个芯片能帮助 Bing 适应新品种的人工智能：深度神经网络。」
我对这种方法也有些兴趣。赛灵思和英特尔（收购了 Altera）的 FPGA 是很强大的引擎。赛灵思自然流传宣传他们的 FPGA 是对 INT8 最好的，他们的一份白皮书里面包含了下面的幻灯片：
这两家供应商都很支持利用他们的 FPGA 做机器学习：
Xilinx - Acceleration Zone：https://goo.gl/KheG5W
Intel FPGA OpenCL（https://goo.gl/S62fMA）和 Solutions（https://goo.gl/zkYyXB）
只管 FPGA 单位功耗的性能是很出色的，但这些供应商的更大型的芯片的售价却永劫光以来都高得吓人。赛灵思的 VU9P 在 Avnet 上的售价超过 5 万美元。
探求价格和能力之间的平衡点是 FPGA 的紧张难题。
FPGA 方法的一大上风是可以用来制订一些非常出色的架构决策。比如如果由于 HBM，你想在板上 DRAM 压缩并且实时地解压，然后希望借此改进你的内存的浮点数据流，如果你足够努力，你能找到办理方案。参阅《用于基于 FGPA 的高性能打算的浮点数值数据流的带宽压缩（Bandwidth Compression of Floating-Point Numerical Data Streams for FPGA-Based High-Performance Computing）》：http://dl.acm.org/citation.cfm?id=3053688。
这种动态的架构敏捷性（architectural agility）很困难，险些无法用其它任何方法实现。
架构选择太多可能也是一个问题，但我自己还是挺喜好这个问题的。这篇论文很不错《利用 TILT 减少 Soft Scalar CPU 和定制硬件之间的性能差距（Reducing the Performance Gap between Soft Scalar CPUs and Custom Hardware with TILT）》：http://dl.acm.org/citation.cfm?id=3079757，个中研究了定制硬件和 FPGA 处理器（带有基于 FPGA 的水平微编码的打算引擎）的性能差距，这让人想起了古老的 DISC 和很多个月前的离散指令集打算机（discrete instruction set computer）。
谁是赢家？
在这样的竞争中，预测谁是赢家是傻瓜的举动。高通凭借其手机市场的主导地位，可以轻松进入赢家榜单。苹果不管做什么都会成功的。英伟达的 V100 有 Tensor 单元，也基本上赢了。我不愿定我能否看到谷歌的 TPU 在无休止的长期硅谷竞赛中幸存下来，只管目前它的性能很出色。我很喜好 FPGA 方法，但我也不禁想他们该当以远远更低的价格发布 DNN 版本，这样才不会被大众忽略。英特尔和 AMD 会做自己的协处理器。由于所有紧张玩家都参战了，以是个中很多都会支持标准的工具包，比如 TensorFlow，这样我们就不必太在意规格了，关心基准就可以了。
在更小型的玩家中，我很喜好而且支持的是 Adapteva 方法，我认为他们的内存架构可能并不适宜 DNN。我希望我错了。
Wave Computing 可能是我继 FPGA 之后最喜好的方法。他们的全体异步数据流方法是非常棒的。REM 彷佛也在做类似的事情；但我认为他们可能太迟了。Wave Computing 能否在面对所有竞争对手时连续保持领先吗？大概只要他们的异步 CGRA 有一个实质上风，就可以。只管我不愿定他们是否只要 DNN 上的成功，由于他们的技能有更加广泛的运用能力。
神经形态脉冲处理器大概现在暂时可以忽略，但也可以保持关注，由于它们有很大的功耗上风。量子打算反正会让所有这些都稍逊风骚。IBM 的 TrueNorth 可能会是个例外，由于它不仅能实行脉冲网络，还能有效地运行 DNN。
