本日MLPerf基准同盟公布了第一批AI芯片的推理测试结果，对来自19个公司机构的594种芯片在各种自然措辞和打算机视觉任务中的表现进行了审核。
来自中国、以色列、韩国、英国和美国的公司纷纭提交了测试结果，这些公司包括：阿里巴巴、戴尔EMC、谷歌、浪潮、英特尔、英伟达、米兰理工大学、高通和腾讯等等。
测试内容
MLPerf推理测试v0.5分为5个基准，涵盖了图像分类（ResNet50），目标检测（ResNet34）和机器翻译（GNMT）等任务。
进一步完善的问题是，所有基准都供应了四种方案：单流模式（一个客户端利用一个源）、多流模式（一个客户端利用多个源）、做事模式（实时、每秒关注一次查询）和离线模式（不受实时限定的做事器）。
这些模式将测试分解为客户端和做事器两个部分。
MLPerf推理基准用于衡量演习过的神经网络在不同量级的设备（物联网、智好手机、PC、做事器）、各种运用（自动驾驶、NLP、打算机视觉）上处理新数据的速率。
测试结果类似于PC硬件上的性能天梯图，覆盖了性能差异4个数量级，功耗差异3个数量级的设备，范围从嵌入式设备和智好手机到大型数据中央系统。
国产芯片夺冠
在所有测试的芯片中，英伟达在四种方案中均取得了单加速器最佳成绩。
在MobileNet-v1、ResNet-50 v.1.5、GNMT等5个任务中，英伟达图灵架构的芯片在做事器、离线两个模式下具有最佳性能。
令人把稳的是，前不久阿里平头哥发布的AI推理芯片“含光800”在多项基准测试中得到单芯片性能第一。
含光800参加了适用于图像分类任务的Resnet50 v1.5基准测试，在四个场景都取得了单芯片第一的成绩。
离线模式测试的是芯片推理的最大吞吐量，最能磨练芯片的打算、存储、通信等基本功。含光800的成绩为69306.60 IPS，单芯片性能是谷歌TPU v3的8.5倍、Nvidia T4的12倍。
关于MLPerf
MLPerf是业内首套衡量机器学习软硬件性能的通用基准，由图灵奖得主David Patterson联合谷歌和几所著名高校于2018年发起。
MLPerf基准同盟现有50多家成员，包括谷歌、微软、Facebook、阿里巴巴等企业和斯坦福、哈佛、多伦多大学等高校。
今夏，MLPerf已经发布了AI演习测试基准，近日发布的MLPerf Inference v0.5是其公布的第一个AI推理测试基准。
MLPerf推理测试结果：https://mlperf.org/inference-results/
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态
