在此之前，小米和vivo也都推出过自研的ISP芯片。问题来了，为什么现在手机厂商这么热衷于ISP的研发，这个模块对成像来说到底有多主要？
大略来说，ISP（Image Signal Process, 图像旗子暗记处理器，又称成像引擎）是手机拍照/摄像流程中的核心单元之一。一张照片，一段视频，终极呈现的色彩和细节都取决于它。
ISP所扮演的角色
当你按下手机相机APP的（虚拟）快门进行拍照或录像时，就会自动进入一场“视觉处理的接力赛”。
首先，光芒通过镜头进入相机模组内部，经由IR Filter过滤红外光，然后到达CMOS传感器。这个时候，CMOS会将光学旗子暗记转换为电旗子暗记，再通过内部的ADC电路转换为数字旗子暗记，然后传输给ISP进行加工处理，再经历AI单元的一轮智能成像算法优化后，终极才能天生肉眼可见的图片或视频文件。
问题来了，镜头和CMOS在将光学旗子暗记转化为由0、1、0、1组成的数字旗子暗记时可能存在细节上的遗漏和缺点，而ISP单元的紧张任务便是进行“纠错”、“校验”和“补偿”。
这就好比让你用英文翻译一段中文针言或谚语，须要翻译官具备足够的文学素养，才能用英语准确表达出中文语境的博大精湛。没错，此时ISP扮演的便是“翻译官”的角色。
细数ISP的补偿任务
智好手机的镜头是由5片起步的镜片、滤光装置、马达、陀螺仪等部件构成，“透光率”是权衡镜头性能的主要指标。
常日手机主摄的镜片数量要多于副摄镜片数量
CMOS更是核心部件，传感器尺寸、像素值大小、RGGB或RYYB滤镜构造、单位像素面积、多像素合一技能等等都会影响它的性能。
换句话说，镜头和传感器本身都存在物理毛病，从7P→8P的镜头到IMX586→IMX700的CMOS，不断的迭代升级只能无限趋近完美，而这就意味着经由它们转化而来的数字旗子暗记的原始数据（raw data）都是不完美的。
CMOS传感器尺寸越大，理论上其成像秘闻就越好
另一方面，当我们进行拍照或视频录制时的环境光芒条件多种多样，须要镜头和CMOS像人眼瞳孔缩放那般适应环境明暗。
作为翻译官的ISP，其紧张任务便是对存在物理毛病的原始数据进行优化补偿，并还原出最符合我们预期的明暗效果，比如防止逆光时过曝，看清暗光时的画面细节等。ISP是由很多功能模块构成，下面我们就大略先容一下ISP的功能模块以及须要补偿的部分内容：
BLC：黑电平校正
数字旗子暗记对纯黑的原始数据定义为0。但由于CMOS存在“泄电流”的毛病，将镜头放入一个纯黑的环境时，经由镜头和CMOS输出的原始数据却不为0。此时，就须要ISP内的BLC（BlackLevel Correction）模块登场，通过对所有像素减去特性的纠正值，得到一个纠正成功的结果，这一过程即黑电平校正，让原始数据可以显示纯黑画面。
LSC：镜头阴影校正
在拍照/摄像时，通过镜头到达CMOS中间的光常日要比到达CMOS边缘的光多，导致CMOS捕获的图像中间亮度高，周围边缘亮度低，随意马虎形成所谓的“渐晕”问题。此时，ISP内部的LSC（Lens Shade Correction）镜头阴影校正模块就开始插手了，它会检测出图像中间亮度比较均匀的部分，并以此为基准，打算出周围区域须要补偿的因子。
Bayer Denoise：降噪模块
除了ADC器件以外，包含仿照部分的CMOS感光器件在旗子暗记的传输中也存在一定的噪声，拍摄环境的光芒越暗，就越须要放大旗子暗记，从而产生更大噪音，落实到成像环节便是照片或视频画面中涌现大量彩色雪花状的噪点。ISP内的Bayer Denoise降噪模块可通过多级滤波，显著降落旗子暗记中的噪声，减少成像噪点。
BPC：坏点校正
CMOS传感器属于物理器件，在永劫光利用过程中难免涌现坏点。ISP中的BPC（Bad Point Correction）坏点校正模块会自动进行坏点检测，找到坏点后则可通过中值滤波更换原来的值，从而纠正坏点，避免在全黑画面中涌现彩点和亮点，抑或在纯白画面涌现彩点和黑点。
Demosaic：颜色插值
CMOS传感器本身实在是个“色盲”，如果只靠它输出的照片都是黑白的，想要记录颜色，还须要搭配一个名为Bayer（拜耳）色彩滤波阵列（Bayer Color Filter Array，CFA）的滤光板，并将其覆盖在一个感光板上。Bayer色彩滤波阵列的构造紧张以RGBW、RWWB、RGGB和RYYB为主，但由于拜耳阵列中的每一个像素只能采集一个颜色通道信息，其余两种颜色信息须要通过插值算法，结合相邻其他颜色的像素信息才能组成一个完全的色彩，这个有点类似于“去马赛克”的过程，就须要依赖ISP内的Demosaic插值算法模块实现。
AWB：自动白平衡
人脑的视觉系统可以自我改动，无论是阴天、晴天、室内、室外、白炽灯还是日光灯下都能识别出准确的白色，不会受到光源颜色的影响。但是，CMOS传感器却不具备这一特性，一张白纸在不同光源下输出的颜色存在偏差，比如低色温（如白炽灯）偏黄，高色温（户外阳光）偏蓝。这个时候，ISP中的AWB（Automatic White Balance）自动白平衡模块就能通过检测色温→打算增益→色温纠正这套流程自动校色，从而准确记录不同色温光芒下的白色物体。
CCM：颜色校正
CMOS传感器各颜色块之间因颜色渗透可能产生颜色偏差，因此经CMOS获取的图像与我们期望的颜色之间存在偏差。前面提到的AWB可以纠正白色，而CCM（Color Correction Matrix）颜色纠正模块则可校准除白色以外其他颜色的准确度，比如提升颜色饱和度，让画面色彩更艳丽。
AEC：自动曝光
光照强度会因韶光和场景涌现变革，人眼由于有着一定的自适应能力，可以根据光照变革作出及时的调度，但CMOS传感器却不具备这个能力。为此，就须要利用ISP中的AEC（Automatic Exposure Control）自动曝光模块根据光照强度自动调节曝光韶光，并在必要时进行一定的曝光补偿。
HDR：高动态范围
自然界中的光照强度非常宽，但人眼对高亮度和极暗环境下的细节分辨能力却相对较窄，CMOS传感器能记录的范围则更窄，因此经由后者输出的画面极易丢失高亮和极暗部分的细节。ISP中的HDR高动态范围模块便是为此而生，它能通过Tone Mapping（色调映射）的办法，将像素值在特殊暗的区域拉高，在特殊亮的区域拉低，从而显露出高亮和极暗部分丢失的画面细节。
除了上述功能以外，ISP还包含RGB Gamma（伽玛校正）、RGBToYUV（色彩空间转换）、Color Denoise /Sharpness（色彩去噪/锐化）和Auto Focus（自动对焦）等模块。须要把稳的是，上述都仅是ISP的根本功能，不同的ISP（包含独立芯片和SoC集成的ISP模块）可能会引入独占的或更强的特色功能。
虽然高通骁龙和联发科天玑等5G SoC内部已经集成了性能不俗的通用ISP，但它们很难100%匹配手机厂商自家的AI算法，因此通过自研ISP（NPU）来匹配自家的AI算法，自然就成为了手机厂商的突围之路，可以在硬件趋于同质化确当下实现更谄媚用户审美的成像效果。
