本日我们来聊一聊华为的昇腾AI处理器。首先我们来大略说一下为什么须要人工智能芯片。那么对付近年来人工智能技能的打破性发展，业界普遍认为有三个紧张的推动力量，一个是海量数据的产生和累积；一个是理论算法的创新；还有一个便是打算技能的变革。那么数据、算力和算法这三点是相互结合，缺一不可的。如果我们把人工智能技能的发展比作是一个正在起飞的火箭，那么大数据便是它的燃料，算法和理论便是用来掌握它的翱翔轨迹和姿态，打算技能则是它持续爆发的引擎。那么为了让这个火箭飞得更高，飞得更远，我们就须要不断的获取更多的数据，并且不断的创造和改进我们的算法模型和理论。来对这些数据进行更有效的处理、剖析和利用。此外，我们还要不断的升级打算的能力，从而在更短的韶光内处理更多的数据。那么承载这统统发展最主要的根本便是芯片，特殊是人工智能芯片。
接下来，我们重点看一下人工智能专用芯片，特殊是华为的昇腾AI处理器的干系技能内容。聊一聊昇腾系列处理器的一些技能特点，包括硬件架构、软件架构，以及环绕这个昇腾处理器构建的生态系统的一些内容。
首先，我们来看一下昇腾AI芯片的硬件架构。这里说的昇腾AI 处理器实在有两个，一个是2018年发布的昇腾310，它紧张针对的是推理运用；另一个是2019年发布的针对演习运用的昇腾910。值得把稳的是，作为人工智能专用芯片，它们都是为了特定的领域进行设计和深度优化的。这也是像昇腾这样的专用芯片，差异于CPU、GPU这些通用芯片的最紧张的方面。那么在AI系统中，又连续分成演习和推断这两个过程。
比如昇腾910紧张针对的便是在云真个AI演习运用，以是芯片的性能，也便是算力的大小，便是它优化的重点。因此它利用7纳米工艺进行制造。FP16算力可以达到256TFLOPS, INT8算力高达512 TOPS，同时支持128通道的全高清视频解码。这些性能呢实在都超过了同期间的GPU，比如英伟达的V100。那么为了实现这么高的算力，它最高的功耗是310瓦和GPU基本处于一个量级。比较之下昇腾310针对的是推理场景，紧张是运用在移动端。
以是这就须要对性能和功耗进行一定的平衡。由于我们基本不可能在支配智能摄像头，无人驾驶车辆，或者是我们的手机或者手表里， 放一个有几百瓦功耗的AI芯片，同时对付一些边缘打算的场景，对芯片利用本钱的限定，以及芯片本身的实时性、安全性等等也都是主要的考虑成分。以是结合这些需求呢，昇腾310采取的是12纳米工艺进行制造，最大的功耗仅为8瓦。那么在性能方面，它的FP16算力达到了8TFLOPS，INT8算力可以达到16 TOPS，同时也集成了16通道的全高清视频解码器。那么这些在边缘打算领域实在已经是很高的算力了。
现在很多芯片的构造实在都因此片上系统的形式进行设计和开拓的。我们拿蛋糕举个例子。也便是在一个盒子里装了很多不同的小蛋糕，而不是直接做一个特殊大的蛋糕。比如每个小蛋糕都可以分别做，还可以做不同的口味、大小，末了呢整合在一起就行了，这样既节省了制作的韶光，也降落了制作的风险和本钱。那么同样的华为昇腾AI芯片，它的实质也是一个片上系统。在芯片上有很多不同的模块，也便是前面说的这些小蛋糕组成的。他们有的卖力数据存储，有的卖力接口和通信，有的负任务务的调度和掌握。当然还有最主要的便是卖力AI运算的这些打算核心。
那么从硬件构造来看昇腾AI芯片，最紧张的特点便是它的AI核心采取了华为自研的达芬奇架构。包括昇腾910和昇腾310。实在都是利用了基于达芬奇架构的AI核心。总体来说，达芬奇架构可以分为三个紧张的组成部分，分别对应数据的打算、存储和掌握。那么拿这个打算单元来说，它可以实行标量、向量和张量三种根本的运算。比如张量运算便是专门用来加速AI运用中的矩阵运算。它也就叫做所谓的3D Cube 单元，它可以用一条指令完成两个16乘16的矩阵的相乘运算。
那么除了芯片的硬件构造之外，同样非常主要的便是芯片编程的方法和软件架构的设计和实现。英伟达GPU之以是在人工智能领域大放异彩，并且得到非常广泛的运用,GPU芯片的性能提升固然主要。但是更主要的是，它推出了成熟且易用的编程框架CUDA。比较之下FPGA的编程难度极大，这也在很大程度上限定了FPGA的广泛利用。那么对付这种AI专用芯片,昇腾AI处理器也供应了一个多层的软件栈和开拓工具链，来帮助开拓者更好的利用昇腾。通过软件的多样性，也能在很大程度上填补专用芯片灵巧性不敷的劣势。
这个软件栈可以分为4层，最底下的是处理器的打算资源。比如前面提到的AI核心、CPU，还有卖力数字视觉的打算模块等等；再往上是一些标准的加速库，卖力给硬件输出算子层面的任务，此外还有任务调度器和一些预处理的模块；然后再往上便是框架层，顾名思义它便是用来调度和管理深度学习框架，并且天生离线模型用的。值得把稳的是昇腾AI处理器不仅支持主流的深度学习框架，还支持华为自研的名叫MindSpore的深度学习框架。那么通过MindSpore的深度学习框架产生的神经网络模型，可以直接运行在昇腾AI芯片上，而无需进行硬件的适配和转换，这就极大的提升了开拓效率。这个软件栈的末了一层便是运用层，它的抽象程度最高，封装集成了很多专用领域的打算引擎，比如针对打算机视觉，还有针对措辞笔墨处理的算法封装等等。用户也可以直接拿过来进行调用。那么除了这几个大的逻辑层次之外呢，昇腾的软件栈还供应了一个完全的开拓工具链MindStudio ，包括编译、调试、性能剖析、模型转换等等。
先容了硬件架构和软件栈，我们还须要末了一个大的环节来完玉成部生态的闭环，那便是供应结合软硬件的系统级办理方案。这个实在是一个目前芯片界的发展趋势。那么不管你是CPU、GPU、FPGA，还是像这样的AI专用芯片，实在都是在遵照这个规律进行发展。大略来说呢，便是芯片公司不仅要供应牛逼的芯片，除此之外他们还须要供应好用的软件和开拓工具。 就像前面先容的软件栈，再然后呢，你最好还要供应完全的参考设计以及软硬件系统，让大家拿过来就能用。同样的昇腾也供应了一系列的硬件产品。从最小的加速模块到推理或者是演习用的加速卡，再到专用的做事器，乃至是由多个做事器阵列组成的打算集群，这样也构建了一个涵盖终端边缘以及云打算产品的产品组合，使得用户可以根据自身的实际须要选择得当的硬件产品。这个也便是华为所说的全场景覆盖。
末了来总结一下本日的紧张内容。我们从硬件、软件和生态三个角度先容了华为的昇腾AI芯片。我们还深入的磋商了华为自研的达芬奇架构以及MindSpore 深度学习框架的一些技能特点。同时我们也看了一些业界的发展趋势，也便是以硬件为根本，通过软件扩展灵巧性和易用性。然后环绕软硬件去打造系统级的办理方案，并且由此构建一个完全的生态系统。
