汽车ISP的“去留”之谜_图像_暗记

以手机行业为例，除了高通等SoC芯片自带ISP外，近年来，不少手机厂商也都在自研高性能ISP，目的是增加手机拍照的效果，从而树立品牌差异化。

不过，高通也表示，这种情形不会持续多久，很快都会被自家的新技能替代。
比如，高通通过对最新一代骁龙8 Gen1芯片中的ISP进一步优化，单颗摄像头最高可支持2亿像素。

在汽车行业，同样存在摄像头和ECU/域掌握器上的SoC两端内置ISP的状态。
而不管是CMOS、独立ISP、AI芯片还是SoC厂商，都在争夺ISP的制高点。
而CMOS+ISP是传统汽车级摄像头的主流配置。

但这种情形正在发生改变。

范例的案例，便是Mobileye从EyeQ4到EyeQ5的升级。
传统智能摄像头前视一体机模式更多是仰仗摄像头侧的初始图像处理，而进入多摄像头的域掌握器时期，ISP迁移至高算力SoC的趋势已经明确。

比如，Mobileye最新发布的三款芯片中，EyeQ6H和EyeQ Ultra都搭载了Arm最新一代ISP（Mali-C78AE），而单独用于前视摄像头的EyeQ4M升级版EyeQ6L则没有搭载ISP。

众所周知，ISP图像处理器紧张利用硬件构造完成图像传感器输入的图像视频源RAW格式数据的前处理，可转换为多种格式，还可以完成图像缩放、自动曝光、自动白平衡、自动聚焦等事情。

这意味着，ISP承担了非常主要的任务并直接后端图像处理的性能“天花板”。
过去，在智能驾驶领域，ISP的调优技能含量极高，除了一些第三方工具，ISP工程师起到关键的浸染，涉及算法能力、硬件知识和编程能力。

而对付智能驾驶系统来说，基于摄像头的视觉感知准确性仍旧是一个巨大的寻衅。
一些专业机构指出，目前，行业内视觉ADAS系统开拓仍旧依赖于对ISP的人工调教，这种方法可能须要几个月的韶光，并且须要工程师有非常深厚的专业知识，很多时候依赖于主不雅观判断。

实际上，特斯拉仍在大量招聘图像质量调教工程师，主要的职责便是调教图像旗子暗记处理器（ISP）和相机参数，担保在各种光照条件下得到最佳质量的图像。

按照Arm公司的说法，未来很长一段韶光内，ISP须要同时为驾驶员和系统供应图像处理能力。
比如，在低速环视/周视、电子后视镜等运用处景，人机交互仍是紧张诉求。

这家公司是在2016年通过收购成像技能开拓商Apical进入汽车ISP赛道，并在一年后推出针对汽车领域运用的首款ISP：Mali-C71，像素吞吐量1.2GPixels/秒，最多可同时支持四个4K分辨率的摄像头，并许可配置多个ISP来协同事情知足多摄像头需求。

背后的驱动力，来自于降落赞助驾驶系统的BoM本钱。

比如，R-Car Gen3是瑞萨在2018年推出的汽车打算平台，个中，入门级的R-Car V3M就内置了图像旗子暗记处理 (ISP) ，支持前视及环视“卫星”（拿掉ISP）摄像头配置，并通过SoC对CAN-FD、Flexray 和以太网总线的支持，降落BoM本钱。

而在摄像头侧，传统摄像头都是RAW方案，须要搭配独立的ISP利用，现在则越来越多集成为SoC方案，实际上背后是CMOS厂商对ISP的争夺战。

比如，豪威科技在2019年推出的OX01F10（集成CMOS和ISP的SoC），支持高达120dB，达到ASIL-B安全级别。
今年初，该公司又推出全新OX03D SoC，从100万像素升级到300万像素分辨率。

OX03D4C搭载了一个全集成图像旗子暗记处理器（ISP），能够实现140dB的高动态范围（HDR），此外还采取了下一代色调映射算法，并拥有业界领先的LED闪烁抑制（LFM）功能，估量今年第四季度将实现量产。

类似的ISP二合一车规级CMOS图像传感器也正在成为市场的主流，比如，CMOS图像传感器国产供应商思特威科技，在去年也推出了片上ISP二合一图像传感器SC120AT，可对RAW图数据进行优化处理并输出优质的YUV 422格式视频影像。

与此同时，在大算力SoC方面，芯片厂商也在加紧提升ISP的性能。

由于基于域掌握器的多感知数据（前）领悟趋势明确，各家芯片厂商都在考试测验如何帮助客户实现全面覆盖各种道路、交通场景，针对不同光芒、景象等驾驶环境，在动态多变的繁芜驾驶条件下，充分发挥摄像头性能，确保数据准确严谨，使成像达到最优效果。

比如，今年2月，自动驾驶主流算力平台供应商英伟达与诚迈科技正式签署互助协议，授权后者为智能驾驶干系客户供应基于NVIDIA DRIVE Orin及Xavier等系统级芯片产品的量产级别ISP（图像旗子暗记处理）做事。

而作为大算力SoC的紧张IP核供应商，Arm还在全新一代Mali-C78AE ISP开拓的性能指标高下足了功夫。
除了可以处理四个实时摄像头或十六个虚拟摄像头的图像数据，还增加了硬件安全机制与软件诊断功能，可以防止或检测出单个摄像头中存在的传感器故障等问题。

实际上，ISP的其余一条发展路线，则是增加AI处理能力，同时也是提升SoC的ISP处理能力。
这也是为什么此前在手机行业，很多厂商选择自研，便是由于高通的嵌入式ISP性能不敷。

比如，安霸在今年初推出了全新AI图像旗子暗记处理器（AISP），利用神经网络技能来增强硬件ISP集成到SoC中的图像处理能力，可以在极低的照度和最小的噪声下实现低光下的彩色成像，比主流ISP性能提升10到100倍，并具有更自然的颜色再现和更高的动态范围处理能力。

从本钱角度来说，AISP把全色夜视作为关键卖点，更好的低光性能和HDR可以减少系统对外部照明条件的依赖，同时可以利用更低本钱的摄像头。

同时，整套系统可以实现在不同光照条件之间的无缝切换，包括白天、夜晚和高动态范围场景；此外，可以实现与安霸的CVflow引擎的其他AI算法并走运行，从而实现与SoC的完美集成。

目前，该公司最新推出的AI域掌握器芯片CV3系列（等效算力高达500TOPS）就已经搭载AISP，可同时支持20路以上摄像头通过MIPI VC办法连接，只需单颗芯片即可处理全套传感器，并且可以知足高性能双目立体视觉引擎和稠密光流引擎的哀求。

而作为海内最早推出自研架构的ISP芯片厂商，华为海思也在去年推出了供应AI处理能力的新一代ISP（越影®智能图像处理引擎），不过初期紧张用于物联网智能终端。
在该公司看来，ISP输出图像质量决定着“看得懂”的天花板。

比如，利用神经网络深度学习海量低照度场景图片的噪声和旗子暗记的分布特性，华为海思演习出一套智能降噪的算法模型，让越影®AI ISP能智能区分图像中的旗子暗记和噪声，实现低照度场景下的智能降噪。

从官方表露的信息来看，未来汽车智能驾驶领域的运用也将是这套全新AI ISP引擎的用武之地。
尤其是车辆进出隧道口时，由于内外光强反差巨大，如何快速跟踪不断变革的光芒，并准确对目标进行自适应曝光，是对自动和赞助驾驶安全非常主要的技能。

测试数据显示，越影®比较海思上一代ISP，在逆光场景下动态范围可提升12dB，并且对场景跟踪更迅速，能够有效避免图像画面瞬间过暗或过曝，在3帧以内即收敛至稳定状态。

这些做法的目的也很同等，便是在弱光、恶劣景象以及分外条件下，办理目前摄像头感知能力的毛病。
而在传统ISP中引入AI观点，则可以通过不断演习提升ISP的性能，并将传统关键的硬件模块转化为软件定义模式。

这一策略，实际上也得到了英伟达的认同。

众所周知，传统图像旗子暗记处理（ISP）仍旧面临性能问题，这是由于之前的性能“天花板”建立在传统硬件框架上。
此外，不少用户并不能真正发挥SoC上的ISP能力，原来可以增加AI模型的性能表现。

此外，这些预先开拓的硬ISP，无法有效的进行个性化调度（难度也不小），也永久无法升级。
去年，一家名为Visionary.ai的以色列软件公司就推出了一套软件ISP工具，基于AI技能大幅提高图像和视频的质量，并检测每帧中的每个细节。

另一家名为Algolux的打算机视觉和图像优化办理方案供应商，也将打算成像技能（CIT）导入汽车ISP领域，也便是在传统成像技能中引入信息处理方法，改变传统光学成像单一依赖线性光学信息通报理论的瓶颈。

这也被称为，下一代软件ISP的“新”能力。

由于，硬ISP是由工程师撰写的代码，特斯拉称之为软件1.0。
人工智能增强的ISP，也被称为软件2.0，不是由工程师决定，而是由AI技能进行不断迭代优化。
事实上，这也是此前马斯克“怼”ISP的关键点之一。

事实上，考虑到ISP硬件的迭代须要更加长期的技能投入，而软实力的提升，更加符合目前行业现状，尤其是视觉AI处理能力的“前置”。

去年，特斯拉中国曾组织了一场线下技能互换活动，首次解读如何用纯视觉技能实现自动驾驶的整体架构，涉及对数据如何提取、归类和优化，以及向量空间构建等关键点。

这套方案包括几个处理步骤：

1、多机位相机拍摄到不同角度的图像RAW文件，然后直接经由RegNet网络（某种卷积神经网络）及BiFPN（加强特色提取）进行特色提取。

2、经由Transformer进行特色领悟及MLP的特色改动，将特色数据重新表示到向量空间中，并在韶光和空间上形成一个特色行列步队。

3、通过行列步队的办法得到Video的特色，加入IMU数据，形成4D影像；再经由Spatial RNN进行特色提取；终极再经由不同的检测头实现车辆、行人、车道线、深度图、速率/方向等检测。

而Algolux公司给出的办理方案，也非常类似。
便是不采取传统的硬ISP图像处理器，而是采取RAW传感器数据作为输入，然后通过端到端深度神经网络领悟和处理数据。

这家公司也给出了和此前特斯拉摄像头+雷达感知方案的效果比拟。
由于基于端到端架构+逐帧检测模型，这套办理方案供应了高达3倍（较传统方案）的精度感知，特殊是在低光和恶劣景象条件下。

缘故原由是，目前基于传统摄像头的视觉系统存在固有的鲁棒性限定，而这种端到端学习架构将图像天生与视觉任务相结合来办理这个问题，通过无监督和自监督学习，在短短几天内自动调度系统的图像处理能力。

这意味着，传统物理分隔的光学设计、图像处理和视觉感知处理可以实现端到真个模型演习，从而达到高效的实时处理性能。

“我们的软ISP现在供应的最好结果，是在0.1 lux（被拍摄主体表面单位面积上垂直照射到的光通量）以下，可以在险些完备阴郁的情形下检测全色图像和视频。
”在Visionary.ai公司看来，传统硬ISP架构则须要永劫光曝光的图像检测，而我们可以实现视频级检测。

而最优的办法，或许是软硬件能力的协同提升。
这是近几年环球范围内涌现不少ISP硬件及软件方案厂商收购案的驱出发分之一。

实际上，我们从高通最新发布的运用于手机行业的Snapdragon 8 Gen 1的全新ISP（Snapdragon Sight品牌）看出一些端倪。
这颗ISP每秒可以处理32亿像素（上一代是27亿像素），每秒捕捉240张1200万像素的照片，是上一代的两倍。

高通对ISP进行了重新的硬件设计，将每通道的位宽从14位提高到18位，大幅提升动态范围处理能力，同时可以输出未经压缩的18位RAW数据。
此外，高通还供应AI软件引擎用于图像的自动曝光和自动对焦。

而目前已经进入上车阶段的高通骁龙Ride智能驾驶打算平台，搭载的则是上一代14位Spectra图像旗子暗记处理（ISP），供应三重并发和三重并行处理功能。
接下来，随着车载摄像头像素连续提升（乃至从800万往千万级别发展），不用除更多用于手机的ISP升级至车规。

事实上，ISP的预处理不仅影响传统算法的有效性，也影响基于深度学习的打算机视觉算法的有效性。
而且，随着SoC性能变得越来越强大，与连续依赖独立的图像旗子暗记处理器比较，将图像旗子暗记处理功能进行集成变得越来越可行。

此外，神经网络加速器也是一种极具吸引力的候选技能，可以用于额外实行图像旗子暗记处理功能，而这些功能以前常日是由独立的ISP处理。
一些企业也提出，未来ISP和CNN的功能可以合并成一个统一的NNA。

上图是Imagination公司给出的一个示例。
比如，NNA将首先供应RGB输出供驾驶员查看（比如，须要人工监控的功能），然后进一步处理（在相同或不同的NNA上）供打算机视觉系统利用。

实际上，正如马斯克对付传统ISP处理的“否定”，独立ISP和视觉处理SoC的传统组合该当重新评估。
ISP的功能可以直接在NNA上实现，也可以演习成在NNA上实行的CNN。
“这种重新设计的架构，终极的系统级本钱都比传统架构要低得多。
”

或许，这才是我们须要正视的ISP“变革”。