对付快速发展的AI视觉来说，一个非常主要的根本便是AI芯片。随着落地规模越来越大、场景越来越丰富，对AI视觉芯片也提出了更高哀求。哪类芯片更受欢迎？紧张落地哪些场景？能够办理哪些行业痛点？本文梳理了18家本土厂商的AI视觉芯片及干系运用，试图剖析出一些技能和落地趋势。
渐成主流的三大AI视觉方案
根据运用方向来看，市情上的AI视觉方案可以大略划分为三大类：低功耗AI视觉方案、AI IPC模组方案、AI算力盒子。
第一，随着端侧智能需求越来越兴旺，低功耗AI视觉方案在迅速发展，紧张运用品类有手机、智能门锁、智能门铃、家用AI摄像机等等。这些方案采取电池供电办法，因此对功耗哀求非常高，使得低功耗AI视觉方案成为主流的运用。
面对越来越高的场景繁芜度和图像质量哀求，传统ISP图像处理技能已近瓶颈。随着参数库逐渐弘大，调试加倍困难，开拓周期逐步拉长，画质提升的投资收益率也越来越低。此时，画质技能与AI技能的深度领悟至关主要。利用AI算力深度学习海量场景和数据，智能调优繁芜参数，输出算法模型赞助图像处理，使图像质量打破传统ISP极限。AI与传统ISP的结合趋势在手机中非常突出，并且也在走入泛安防领域。
第二，随着AI视觉运用在泛安防场景落地加速，传统安防的人脸识别、人形检测、入侵侦测等技能需求已经向消费场景渗透，网络摄像头（IP Camera）设备越来越趋向高清化、智能化。
IPC设备本身有一定的开拓门槛，须要浩瀚技能支持。而AI IPC模组由于自带运用算法，常日支持多种无线接入办法，且SDK便于用户二次开拓，因此比较受欢迎。这类方案相比拟较成熟，进入了大批量出货阶段。
第三，AI算力盒子是AI和边缘打算结合的设备，可实现端侧和边缘系统中的高性能打算和AI性能。
随着端侧智能需求提升，数据量也水涨船高，这类“盒子”设备越来越受到市场欢迎，它们每每具备丰富的功能拓展性，包括以太网、USB等接入功能，方便接入各种传感器和外设，如连接摄像头进行图像采集等，支持HDMI显示或CAN工业总线等，支持Wi-Fi、4G/5G通信，从而实现视觉识别+数据处理/剖析的一站式掌握，让数据的传输、处理更高效，一定程度上推动了AI从云真个下沉运用。
五类AI视觉芯片大PK
剖开这些方案内部，AI视觉主芯片可以大略区分为GPU、CPU/集成GPU、带NPU的SoC、FPGA、以及RISC-V架构芯片等。这些芯片分别面向不同的运用和用户类型，也各自呈现出不同的发展趋势。
个中，基于GPU的开拓板可能是许多用户刚开始AI开拓时就打仗到的，比如NVIDIA TX2或Nano，AMD的APU SoC等。这类产品最大的上风是生态完善，不论是Tensor Flow、Caffe、PyTorch哪种框架，或是哪种AI库，运行起来都很流畅，开拓体验也比较好。
第二类CPU/集成GPU，紧张针对中低算力需求的运用，只需已有的CPU或是集成GPU就可以知足。上风在于整体硬件本钱更低，且方案成熟；缺陷便是算力不足大，不能支持太大的AI模型。
第三类是带NPU的SoC，已经越来越成为AI视觉主芯片的一大趋势，它们将NPU与主处理器集成在一起，可知足中高算力需求。这方面的代表有海思3519AV100、Hi3559A，瑞芯微RK3399Pro、RK1808等。由于是单芯片，硬件本钱也适中，寻衅紧张在于模型的量化支配方面，以及模型支配工具的成熟度，紧张依赖于芯片厂商成熟的工具链支持。
除了这类单芯片设计，市情上还有一类神经打算加速棒产品，例如Intel Movidius、瑞芯微等都供应这类产品，可以通过USB插到板卡上供应运算能力。但是这类方案须要进行相互之间的数据传输，对付整体的方案设计、硬件的稳定性等都有一定寻衅。
第四类基于FPGA的主控芯片，紧张知足对实时性哀求较高的运用，比如自动驾驶/赞助驾驶、工业级运用等。寻衅在于开拓难度，涉及一些自研AI加速FPGA逻辑，须要底层的加速设计和量化方案设计，以及相应的转换、编译。
第五类是RISC-V架构的芯片，近两年得到了较大的发展。比如嘉楠基于双核64位RISC-V架构+ISP图像处理器的K510、全志科技最新推出的ARMCortex-A7+RISC-V协处理核的多目异构AI视觉芯片V853、晶视智能基于平头哥的双核RISC-V IP+TPU+ISP的AI视觉芯片等。
由于须要进行图像处理，这类芯片每每须要采取RISC-V主处理器+ISP或是Arm CPU+RISC-V协处理器的异构形式，以应对更大的算力需求和更高的图像处理性能。
新老国产芯片厂商猛攻AI视觉赛道
OPPO马里亚纳X影像处理芯片
自研DSA架构，个中包含多个IP：有自研NPU IP—MariNeuro、自研ISP IP—MariLumi、自研MIPI接口IP、Arm掌握IP，以及自主设计的双层内存系统等。MariLumi紧张进行图像旗子暗记的降噪和HDR处理，MariNeuro紧张卖力AI降噪算法加速，自研MIPI用于对接各种图像传感器，包括OPPO和Sony定制的传感器，Arm掌握IP紧张用于I/O口掌握等，双层内存架构用于内部数据搬运。
vivo AI-ISP影像芯片
vivo最近宣告新一代自研影像芯片由传统ISP架构升级到了AI-ISP架构，可实现 1.3 万亿 bit /s的数据吞吐速率，16.3 Tops/w能效比，夜景视频降噪效果提升 20%。
基于AI-ISP架构改造，vivo新一代自研芯片实现了三大打破：第一、片上内存单元的升级，带来了每秒1.3万亿bit的数据吞吐速率，拥有了强大的算力保障。第二、AI打算单元的升级，带来超高能效比，DLA加速器的峰值能效比达到每瓦16.3 万亿次运算。第三、图像处理单元的升级，提升了AI-NR降噪、HDR影调领悟、MEMC插帧等算法效果。
MediaTek天玑9000
MediaTek天玑9000在影像技能方面比较有代表性，采取Imagiq 790 ISP，处理速率最高可达90亿像素/秒，据称险些是竞争对手的3倍。集成了第 5 代 APU（APU590）旗舰级 AI 处理器，性能和能耗表现比较上代均提升 400%。以 GPU+APU 协同事情，平衡功耗与画质需求。通过游戏 AI 低负载技能，GPU 只需更低的渲染资源花费，就能得到靠近原生高分辨率的画质，起到提升游戏画质同时降落功耗的浸染。短视频也是目前最受用户喜好的重点运用之一，APU590 可为抖音带来 2K 超分视频体验，画面清晰度可提升 18%，让 2K 短视频高清视觉体验触手可及。
爱芯元智
爱芯元智先后推出了AX630A、AX620A、AX620U、AX170A两代四颗端侧、边缘侧AI视觉感知芯片。AX630A针对聪慧城市、聪慧交通等密集场景，以暗光图像视频处理能力和20路1080p 30fps的解码能力为紧张卖点；AX620A则更强调这些场景下知足电池运用方案的低功耗上风，兼顾IoT、智能运动相机、手机等运用处景。
Pre ISP芯片AX170A今年3月通过手机客户验收，正式进入商用阶段，落地消费领域。这是一颗影像专用AI处理芯片，最高算力28.8TOPS，独立DDR带宽最高可达8.5GBps，可对4K 30fps（每秒传输帧数）影像实时画质优化，合营主控芯片可实现超级夜景视频和暗光拍摄功能，完成4K夜景视频的预览和拍摄。
海思
在暗光场景，海思综合利用8级3D降噪和多光谱领悟多种技能供应暗光成像品质。个中8级3D降噪技能利用8级滤波器进行降噪处理，它可以在空域滤波过程中同时实现图像去噪和增强，以及在时域滤波过程中稠浊两种不同的韶光模式。8级3D降噪技能还包含两个用于细节增强的IE模块和一个锐化模块，可以在实现更强的去噪的同时，保留并增强更多的图像细节。而多光谱领悟则通过红外补光，在ISP将可见光、850nm、940nm等常见光谱领悟，在不增加光污染的同时，终极使图像效果达到暗光全彩，细节纹理丰富，过曝区和非过曝区准确处理。
此外，市情上还有搭载海思Hi3559A等芯片的AI算力盒子，这款芯片深耕于高性能影像处理，通过DSP可以加速视频解码，且拥有NNIE来增援深度学习神经网路，可以做到影像大解析度的剖析以及高速的资讯交互传输，适宜聪慧安防及聪慧零售等干系影像视觉AI运用。
国科微
国科微2015年进入安防IPC领域，正逐步构建安防前后端全系列布局。基于新一代AI ISP引擎，国科微最新推出高端IPC SoC GK7608。面对夜间彩色成像难题，GK7608引入 “黑白彩色双光领悟”技能，无需补充白光，在夜晚仍可得到光彩鲜艳的图像，为客户供应高质量的低噪全彩方案。GK7608搭载高算力双核NPU实现多个神经网络并走运算，可运用到200个人/车的高密度场景，肃清高密度场景盲区。
顺应智能化和超高清发展趋势，NVR芯片必须支持更多的接入路数，具备更高的清晰度、集成智能剖析能力。国科微NVR SoC GK7618可同时解码24路1080P30 视频，集成多核处理器和图像剖析处理器，支持后端多种智能算法运用，供应高性能、智能化、易开拓的NVR方案。
瑞芯微
瑞芯微三大类视觉芯片包括聪慧视觉方案RV1126和RV1109、AIoT平台RK3568、边缘打算高性能平台RK1808和RK399Pro，可知足不同场景的算力需求。
基于自研的ISP 2.0技能及NPU性能，RV1126及RV1109适用于智能网络摄像头IPC、电池IPC/智能门铃、门禁/闸机、聪慧屏摄像头及车载视觉等运用处景。RK3568紧张面向网络视频录像机（NVR&XVR）、云终端、物联网网关、智能闸机/门禁等领域。采取四核A55架构CPU，G52 GPU；内置NPU，可供应1T算力。内置独占的ISP图像处理器，支持8M处理能力，强大的HDR，支持畸变纠正、去雾、噪点肃清等功能。RK3399Pro和RK1808是瑞芯微第一代内置有NPU的高性能人工智能处理器，算力3T，运用于各种对算力有较高哀求的嵌入式智能产品。
君正
视觉AI运用协处理器T02拥有8T打算能力，全速运行情形下功耗1.5W，可以搭配各大平台实现视频构造化——车牌、车型、人脸、人形，完成检测及剖析，用于安然城市、电力、学校等多种安防项目中。
最新一代智能视频SoC芯片T31系列采取22纳米工艺，拥有1.8G主频，最高支持500万25帧。可在设备端集成君正的系列深度学习算法，包括深度学习的人形、人脸、车牌的检测和识别。相较于传统的CV算法，君正深度学习算法在繁芜环境如遮挡、大角度等场景下更准确，办理了CV算法的痛点，赋能端级AI，紧张运用包括智能门铃、HIVE智能卡片机、热成像与人脸识别一体机等。
全志
全志科技最新发布了V853多目异构AI视觉芯片产品，采取三核异构设计，包括Arm Cortex-A7主核、RISC-V协处理核与AI NPU。个中，Arm Cortex-A7主核可适应于兼容各种运用开拓调试，RISC-V协处理核重点卖力各种传感器场景，提高实时相应速率，AI NPU则专表明决繁芜多变的视觉检测识别场景，其检测识别帧率相较于传统CPU办法可最少提升20倍以上。三核异构办理了传统单核面对繁芜视觉场景体验不佳的痛点问题。这款芯片已进入量产阶段，多个目标细分市场客户正在进行产品方案开拓和优化事情，不久即将面市。
嘉楠
勘智K510是嘉楠公司推出的第二代AI边缘侧推理芯片，供应高性能的图像及语音处理能力。K510-CORE是核心模组，板载一颗K510芯片，CPU采取双核64bit RISC-V架构，K510搭载自主研发的第二代神经网络处理器KPU2.0，采取打算数据流技能，算力较上一代提升3倍同时降落功耗。板载内存为512MB LPDDR3@1600MHz。支持两路MIPI串行图像输入和一起DVP并行图像输入，支持1路MIPI图像输出。可用于工业/专业相机、3D识别模组、考勤门禁门锁智能终端、AI教诲开拓板/机器人等。
云天励飞
云天励飞嵌入式视觉AI大脑芯片DeepEye1000是一款异构多核视觉剖析SoC芯片，内嵌自定义指令集神经网络处理器，可广泛用于摄像机以及数字城市、新零售等场景。
针对机器人市场，云天励飞基于DeepEye1000打造了Mini PCIe AI加速卡，能够快速知足机器人厂商对现有产品和方案智能升级的需求。运用云天励飞DeepEye1000的厂商不仅能够直接应用云天励飞自研的上百种打算机视觉算法，也能够通过云天励飞的开放的工具链，搭载自研或第三方厂商的算法。
亿智电子
亿智电子SH系列AI芯片，支持基于深度神经网络的指尖识别、笔墨识别(OCR)、手势识别、人形跟踪、人脸检测、人脸识别、骨骼剖析等智能算法，为智能云台、扫译笔、消费和办公场景摄像头供应AI算力。SV系列AI芯片紧张面向视像安防场景，集成人脸识别、口罩识别、支持红外测温等功能，实现无打仗式测温、考勤、鉴权等功能，广泛运用于考勤门禁、AI-IPC等。
在汽车电子领域，SA系列的AI芯片集成高等驾驶赞助系统(ADAS)、驾驶员行为监控(DMS)、盲区检测(BSD)等智能算法，运用于AI行车记录仪、智能部标机、电子后视镜、智能车载摄像头等智能车载电子产品。
清微智能
清微智能TX510是一款面向IoT设备的超低功耗视觉处理芯片，基于可重构打算架构，内置3D引擎支持AlexNet、GoogleNet、ResNet、VGG等主流神经网络，可实现人脸识别、物体识别、手势识别、目标跟踪等功能。清微智能的可重构技能通过实现“软件可编程、架构能变换”的能力，在同等功耗下具有更强算力，并具有低本钱、运用开拓简便等特色。
TX510芯片的AI算力为1.2T(Int8)/9.6T(Binary)，峰值功耗小于450mW，启动韶光小于200ms，AI有效能效比达5.6TOPS/W。支持3D构造光，支持3D活体检测、红外活体检测、可见光活体检测等，可以抵御照片、视频等二维攻击，面具等三维攻击。可广泛运用于智能安防、金融支付、机器人、航空航天等多种领域。
雄迈
XM530BX0-LP1 是一款多功能高效的网络视频处理器芯片，包含了雄迈第三代ISP处理技能，比较传统的ISP除了功能，还支持透雾、宽动态、以及RGB-IR等新一代特色。同时该芯片还支持H.264/H.265，MJPEG等视频、图像压缩编码及视频传输，能够高效地完成图像编码及传输。ISP图像处理具有最大300W 像素(20481536)图像处理能力，支持bayer图像输入，支持MIPI CSI接口输入。可方便运用于视频监控，网络处理等方面的运用。
知存科技
WTM8000系列是一款针对视频增强处理的存算一体AI处理芯片，可实现基于AI的各种视频增强处理，包括物体识别、分类检测，以及视频增强等算法，适应于各种高能效繁芜边缘打算场景；能为视频显示供应4K/8K@60/120FPS 的插帧、超分、HDR宽动态和降噪能力；能为AI-ISP供应4K@60FPS的高能效NPU及高清视频增强能力，例如HDR宽动态、降噪处理等。 WTM8000系列产品通过3D IC领悟高能效存内打算与前辈逻辑工艺，实现高算力、低功耗与高性价比 的AI办理方案。
晶视智能
晶视智能CR182x系列芯片采取平头哥RISC-V C906内核，是一款定位于泛安防市场的轻智能AI视觉芯片。该芯片具备0.5 TOPs算力，支持2路MIPI或者DVP视频输入，最大分辨率28801620@30fps，内置DDR以及百兆MAC PHY。这款芯片除了采取双核RISC-V，还集成了晶视智能自研的TPU、ISP，在9X9平方毫米的小封装尺寸上供应双摄+屏显+内建DDR的紧凑设计。
酷芯微电子
酷芯AR9201以自研ISP边缘端芯片技能加视频解码器完成高清图片和影像传输，支持超低延时基带芯片补足5G通讯、CPU算法调度和4颗DSP处理全向视觉避障信息，集通信、图传、避障、算法调度于一体。
针对无人机运用，酷芯端侧AI SoC芯片包括影像视觉和机器视觉功能，用于目标检测、识别、剖析、跟踪、三维重修等。目前，酷芯影像及智能视觉处理芯片已历经一代AR9201、二代ARD33和AR9341，将在未来发布三代AR9521和AR9541。
地平线
地平线朝阳3系列AIoT芯片有朝阳3M和朝阳3E两个型号，分别应对不同AI算力的需求。朝阳3系列能够接入4到8路摄像头，摄像头分辨率可支持最高1200万像素，硬件支持多摄像头之间的精确同步，也可支持对付摄像头进行校正，内置的高性能ISP，可以进行高效能的图像处理，得到清晰、高质量画质，再加上高性能低带宽的特性，朝阳3系列能够支持智能NVR、DVR在车载里面的环视，以及各种常见的视觉运用。
智能驾驶芯片方面，地平线产品也是由视觉处理向多传感器数据领悟方向发展。征程5芯片可实现传感器领悟，算力/功耗达到96TOPS/20W。
写在末了
AI催生了新的视觉运用，也颠覆了传统的视觉设备。
由于AI的涌现，处理器架构已经发生了翻天覆地的变革，把算法和处理器进行联合优化已经成为主要趋势。跨界阵营的扩大，也将连续延伸AI视觉运用的多样化功能，创造出更多更为贴近用户需求的产品。
据Counterpoint数据，2023 年由 SoC 驱动的具有专用AI核心的智好手机的比例估量将超过75%，而 2020 年时这个数字仅约为 35%。未来 1-2 年，独立的 AI 核心不仅会利用在旗舰机、高端机上，还会在主流机、入门机中得到大量遍及。
智能家居方面也值得期待。视觉和传感交互的运用有望成为语音之后智能家居新的增长点，智能家居设备将向多模态交互发展，进一步催生可移动性产品的发展。更多的智能家居细分场景以及单品点位将持续爆发，尤其是环绕安全需求的单品与系统，将会更加具有前瞻性与打破性。
在工业领域，AI视觉已被誉为工业之“眼”，正逐步代替人眼，深度赋能智能制造。同时，在汽车智能化的趋势下，AI视觉也已经环绕舱内智能、ADAS等运用展开竞争。
我们已经进入了海量数据爆发的时期，端边云协同的AI视觉家当正在形成，这对算力、算法、数据、模型等又提出了新的哀求。AI视觉已经在工业、消费、泛安防等领域逐步实现商用代价，未来也将连续在更多领域步入规模化落地运用，国产AI芯片也将迎来新的发展机遇。
