网传小米11Ultra上的1/1.12\"芯片GN2深度解析_像素_对焦

这篇文章将比较深入的解析一下三星S5KGN2 1/1.12''大底，高像素，搭载ISOCELL Plus、双原生ISO、Dual Pixel Pro这颗传感器。
手机摄像领域有句话“底大即正义，底大压统统”。
大略地来说，传感器工艺附近的情形下，等效光圈和信噪比正比于画幅对角线的长度。

比如小米11的主摄为S5KHMX，1/1.33" 大小（对角线长度12.03mm），主镜头物理光圈f/1.69，等效全幅25mm f6.1。
也便是说如果小米11主摄上装的是一个完美镜头，光圈全开拍一张raw，在同样的场景、同样的快门速率，不论是景深还是噪点水准都大致相称于全幅相机装一个26mm f6.1的镜头。
根据网传信息，小米11 Ultra则把手机摄像模组的底再次加大到1/1.12"的50M S5KGN2，其对角线是小米11主摄的1.19倍。
也便是同样的场景、同样的物理光圈，GN2的等效光圈大1.19倍、进光量多20%。

底大的上风不言而喻。

但这个显然不是手机厂商在手机摄像sensor大底武备竞赛中的上限。
同样的网上称华为的P50已经有机型采取sony的1英寸sensor IMX800，这个尺寸，私以为，如果Lens的技能没有革命性的提升和变革，该当是手机摄像sensor的尺寸上限。
如果想要更大的sensor，那就不要强求手机的凸出高度以及厚度了。

下表列举了手机摄像sensor大底的一些信息，供参考。

制表，浊浪厂商&型号

厂商&型号

尺寸

像素

Pixel

手机

Sony IMX800

1"

?

P50？

Samsung S5KGN2

1/1.12”

50M制表，浊浪

1.4um

小米11 Ultra

Sony IMX700

1/1.28”

50M

1.22um

华为P40系列&Mate40系列，Mate X2，光彩30 Pro+，

Samsung S5KGN1

1/1.31”

50M

1.2um

vivo X50Pro+，X60 Pro+，IQOO 5/5 Pro

OVT豪威 OV48C

1/1.32”

48M

0.8um制表，浊浪

小米10 Ultra

背照式设计 三星和索尼在近些年的手机CMOS上都利用了背照式设计。
和前照式的光芒先透过电路层不同，背照式CMOS让光芒首先进入感光二极管，少了金属排线层对光芒的阻隔，背照式设计能大幅提高传感器的量子效率，不论是高感还是宽容度都有较大提升。

右边背照式 vs 左边前照式

再来一张更为浅近的图

ISOCELL Plus与像素间串扰 一样平常来说在手机这么小的底上塞下这么多像素，单个像素较小，像素密度很大，会带来不可避免的像素间串扰：

像素串扰的例子

索尼的办理方案是DTI（deep trench isolation），即深槽隔离。
在像素之间建立“隔离墙”，增加光芒利用率、降落滋扰、提升抗噪能力和颜色纯净度：

通过DTI技能降落像素串扰

从下一张微不雅观构造剖面图中也能看出DTI技能将一个个像素“隔离”了起来：

中间一个个“挡板”便是DTI

三星的办理方案大同小异，最初称为ISOCELL，利用F-DTI技能，和索尼的B-DTI稍有不同。
三星采取VTG技能，让“隔板”看起来比索尼更深了，这也是前期宣扬中“ISOCELL隔离效果更好“的来源。
但事实上第一代ISOCELL上三星利用了金属樊篱，和索尼初期以钛基为衬板的思路差不多。

ISOCELL示意图，但实在略有歧义，由于BSI和ISOCELL根本便是两个技能

三星由于有VTG，隔板比较深

三星新一代的ISOCELL Plus取代了金属樊篱，转而利用”某种新材料”以达到更好的隔离效果。
从宣扬上看能达到比上一代高15%的光芒利用率，而且许可0.8µm及更小的像素存在而不发生因串扰引起的性能低落

ISOCELL Plus 示意图

事实上，国产的OV（豪威科技）也有相应的像素隔离技能，称为“PureCel Plus-S”，采取以金属为隔板的隔离构造，和索尼第一代B-DTI技能差不多。

OV的像素隔离

双增益、双原生ISO，与Smart-ISO Pro 满阱容可以理解为传感器最多能装多少电子，而ISO可以理解为模数转换后图像亮度的数字放大倍率。
在光电转换之后、模数转换之前，由于电荷阱产生的电压太弱，须要进行一层仿照放大，称为Conversion Gain，而这一层放大是决定满阱容和原生ISO的关键。
一样平常来说，在工艺相同的情形下，满阱容越高，原生感光度下的动态范围越高，由于动态范围=满阱容/本底噪声，而手机CMOS的本底噪声并不占优，传感器面积也小，必须通过扩大满阱容的办法提高低感下的信噪比，反应在数据上便是conversion gain偏低、原生ISO偏低（如iPhone、三星 为ISO50），翻译成人话便是“对光并不敏感，但能装很多光子而不过曝，以求更高的动态范围”。
但事实长进步满阱容、降落原生ISO，对高感有负面影响。
由于conversion gain偏低，为了达到同样的亮度，模数转换后的数字增益也变高了，从而读出噪声也更加明显。
这也是为何同为IMX094，原生ISO64、满阱容的更大的D810高感打不过D800，而原生ISO200、重视高感的D810A由于满阱容小，底冲动态并不理想，也便是传统设计下低冲动态和高感信噪比二选一的难题：

直不雅观比拟满阱容和高感、低感下动态范围的关系

若何办理这个难题呢？没错，让传感器有两个conversion gain、两个原生ISO就行了。
索尼的办理方案称为“DCG技能”，即“Dual Conversion Gain”，通过某种开关触发低阱容模式，从而在高ISO下压制读出噪声，达到不捐躯低冲动态的条件下提高高感下的纯净度。

DCG的电路图

从D850、a7R3那一代的全幅传感器我们也能看出DCG技能对付高感表现的加成：

原生感光度同为ISO64的D850，在ISO400时切入低阱容、高Conversion Gain模式，压制读出噪声

事实上，三星早期的”Smart-ISO“（没有pro）也是这个思路，高阱容提动态或低阱容压噪声： When the lighting is low, high ISO mode converts light to voltage with higher conversion gain to express adequate detailing in shadow while reducing noise in the image. Low ISO mode also maximizes the capacity of each individual pixel to prevent oversaturation and to enhance color reproduction in brighter parts of the shot. 但实在索尼的DCG以及三星最初的Smart-ISO更确切的名称不叫”双原生ISO“，而是”双增益“，由于它实质上是一个开关（dual-gain switch），在须要低阱容的时候打开开关、提高Conversion Gain，就像胶片时期可以灵巧改换ISO100或IS400的胶卷一样。
但这种切换的办法并没有做两套完全的仿照增益，同一张图片只能同时利用一个原生ISO，或高阱容或低阱容，不能同时读出高增益和低增益。
近年来三星和OV则是更进一步，直策应用两套完全的Conversion Gain实现同时利用两个原生ISO的目的。
小米10至尊纪念版上利用的OV48C，所着重宣扬的”双原生ISO Fusion“的事理也便是如此，两套仿照放大同时事情再合成为一张动态范围更高的图像。
高光处的ISO低，更不随意马虎过曝；暗部的ISO高，提高信噪比。

两个ISO，”切换“和”领悟“的差异

而三星这边则是称为”Smart-ISO Pro“，光电转换后的电旗子暗记同时经由两套conversion gain不同的仿照增益，再通过模数转换、去马赛克等形成同场景下两个原生ISO下的图像。
强大的算法再合成为一张高光细节丰富、暗部噪点也少的图像。

三星官方宣扬简图

这种双原生ISO的上风便是更高的动态范围和更低的暗部噪声： Smart-ISO Pro first converts the light information of the scene into the voltage signal in both high and low ISO modes respectively. Next, the technology intelligently combines the outcome of the two modes together to create a final image with high dynamic range. This enables the image sensor to bring out the detailing of darker areas, retain the natural color of highlight areas, and ultimately produce images that are true-to-life.

因此，在”双原生ISO“这个技能上，三星GN2是领先的。
关于HDR和四像素合一 GN2利用了近些年手机上比较盛行的Quad-Bayer阵列，三星也称作Tetrapixel，即四个像素为一组合并为一个大像素：

三星这种四像素和一的设计的上风并不是所谓的暗光下“单像素大高感好”，由于有效感光面积并没变，且没做索尼的2x2OCL，而是可以通过同一个大像素下以对角线为分边界实现一长一短两种曝光模式，也被称为Quad-Bayer Coding（QBC）。
亮部取短曝光高光不过曝的部分，暗部取长曝光信噪比更好的部分，从而合成为一张高动态范围的HDR图像：

Quad-Bayer Coding的例子（右边）

索尼的2x2OCL则是四个像素共用一个微透镜，是真正的”大像素“，量子效率比小像素小透镜的三星稍高：

2x2OCL的例子

各种像素排列/微透镜设计的优缺陷，但对付resolution我认为传统Bayer更强

而这种四像素合一的阵列也能通过一些算法（re-mosaic algorithm）还原成高像素模式，但一样平常来说这种算法非常繁芜，效果也不尽完美，由于原有的采样点偏移了，但确实能带来稍多的细节：

Quad-Bayer还原Bayer Pattern

三星GN2的官方宣扬也是所谓的“输出真5000w像素”，以及“夜间大像素”，但这只是宣扬，看看就好。
其像素还是一个小像素对应一个微透镜，只是滤光片设计在了一起：

三星的官方宣扬

所谓一亿像素、5000w像素更多的是宣扬之便。
手机传感器受制于面积、镜头质量、处理速率等，做高像素输出的意义并不大，反而是通过四像素合一、双原生ISO等办法做好低像素输出下的动态范围以及控噪水平更为现实。
1200w像素旁边的输出对付手机而言刚刚好，由于大部分手机拍照的目的不是大幅打印看细节，而是网络上传播看个大概。
这也是为何高像素手机险些全部利用四像素、九像素、乃至16像素合一的滤镜阵列设计。
但如果整合的像素过多，那么色度采样率就很低，比如P40 Pro上16合1的广角，因此Quad Bayer的四像素合一算是比较折中的选择。
全像素双核对焦与Dual Pixel Pro “全像素双核对焦”是相位对焦的一种。
传统的相位对焦（PDAF, Phase Detection Autofocus)是通过在像素里预留不能成像的对焦点，通过像素遮蔽（shield pixel）的方法使光从不同方向穿过对焦点，从而进行相位检测，再通过打算相位差的办法确定对焦偏移量，实现合焦：

相位对焦点的构造

被遮蔽的像素不能成像

不同的遮蔽像素得到相位差（Phase Difference）

但这种埋对焦点的设计的毛病就在于被像素遮蔽的相位检测点不能成像。
如果对焦点越多，虽然对焦性能越好，但信息丢失也更多，须要通过相邻像素打算出应有的颜色，因此传统相位对焦的覆盖率不高。
为理解决这个问题，全像素双核对焦（DPAF，Dual Pixel Autofocus）应运而生。
将一个像素分为两个光电二极管，并由此得到2个旗子暗记（A像和B像）， 通过比较A像和B像的相位差打算出镜头的偏移量：

佳能DPAF的事理

光电二极管一分为二

DPAF的每个像素既能成像又能对焦，不须要专用对焦点的参与，实现了100%的对焦覆盖率与更高的对焦采样率，自然拥有了更快更准的对焦：

DPAF与PDAF的差异

但全像素双核对焦的毛病就在于光电二极管一分二、布线更加繁芜，因此添补系数 (Fill factor)，即光敏面积与其总面积之比更低，从而带来更低的量子效率。
索尼的办理方案是2x1 OCL，即两个像素共用一个微透镜实现部分像素双核对焦，可以在不影响整体量子效率的条件下兼顾采样率：

不同的微透镜设计实现不同的对焦办法

细心的你可能创造了，以上所有的对焦办法都只能检测同一个方向的相位差，也便是所谓的“一字对焦点”，对付特定纹理（比如横线）检测不到相位差。
这时就须要类似十字对焦点的索尼2x2OCL出马了，一个微透镜下四个小像素，横向竖向相位差都能检测，也恰好对应四像素合一的Quad-Bayer阵列：

2x2OCL的示意图

双核对焦和2x2OCL的差异

上面讲解四像素合一时已经提到，三星没有做2x2OCL，依然是通过一个微透镜对应两个光电二极管，那么GN2是怎么实现类似十字对焦点的设计呢？ 三星Dual Pixel Pro利用了一个比较“取巧”的双核对焦方案。
红蓝像素上利用了竖向的分割，而绿像素则四个为一组做左/右向分割。
它实质上还是全像素双核对焦，但这样的分割办法避免了单一方向对焦点不能检测特定纹理的毛病：

Dual Pixel Pro的双像素分割办法

这种双像素的构造虽然比不上2x2OCL，但比较于前几代的DPAF还是有不少进步的。
泼些冷水：手机边缘画质和厚度问题 影像是一个别系工程，尤其是对付手机这种尺寸和厚度都有哀求的产品来说，一个好的传感器并不能代表高画质，而镜组、ISP、算法等才是真正决定水平的关键。
一样平常来说，镜头的光圈越大、像场越大，对付体积和厚度的需求更高，边角画质也更难掌握。
GN2用上了靠近1英寸的大底，如果保全边角缩光圈则与小底拉不开差距；大光圈放弃边角则可能出图靠裁切，与小底无异；如果光圈与画质都要，那么厚度上天。
三星s20ultra的近摄球差、华为P40Pro主摄靠裁切，便是以大底为卖点但又用不好大底的范例。
从爆料来看，小米11Ultra是有决心做最佳拍照手机的，后镜组又大又厚，十分显眼：

我对付这种武备竞赛型的产品不置可否，由于小米10 Ultra的摄像头配置已经足够夸年夜、为重量和厚度做的取舍已经足够多了。
再出一个更厚、更重的产品，除了撑门面抢DXO第一，在日常利用中和稍小一档的底也拉不开差距，虽然能和1英寸的入门相机掰掰手腕，但都不敷以和m43以上的任何画幅做比较。
更有传言说华为P50系列会利用一英寸的IMX800和更夸年夜的镜组。
手机不是相机，也不可能成为相机，对画质有需求的消费者自然会选择更专业的设备：

为什么现在手机像素比单反还高却不能代替单反的地位？www.zhihu.com

总结 显然，三星GN2将会成为今年手机端CMOS名列前茅的存在。
惊人的感光面积，ISOCELL Plus降落像素间串扰，双原生ISO对动态范围的加持，Quad-Bayer阵列实现近乎实时的HDR，创新的双核像素分割办法达成更全能的对焦，可谓是”参数爆表“。
对三星赞许的同时，但也要意识到它在传感器领域并不是唯一份的存在。
索尼2x2OCL能达成更高的量子效率以及更大微透镜下的”大像素“，论同面积下的理论画质还是更高一筹，但索尼利用DCG切换满阱容，在双原生ISO这一点上还是稍掉队了些。
至于真正的产品如何还是得真机得手后才知道，但就小米11Ultra爆料地来看，是一个捐躯重量和厚度、极度追求画质的产品。
之前米10Ultra的调教水平就很不错，拥有大底加持的米11Ultra当个一段韶光的天下第一还是很有希望的。