“马里亚纳”是地球上最深的海沟,最深处超过11000米,比天下最高峰珠穆朗玛峰的海拔还多出2000多米。对付人类来说,马里亚纳海沟更像一个深渊、一个未知之地,它隐蔽着最虚无的阴郁,最厚重的压力,人类探索马里亚纳海沟每一步,困难都是前所未有的。
便是这样一个充满寻衅和未知的名字,OPPO用其来形容自研芯片的难度,还用它为自研芯片品牌命名。而今,面对未来,OPPO终于踏出了第一步。
OPPO发布首个自研NPU芯片——马里亚纳 MariSilicon X

马里亚纳MariSilicon X是OPPO首款自研芯片,同时也是环球首个为影像而生的专用NPU芯片。2021年,移动手机影像发展迎来新开端,手机影像正在集体进入硬件级算法时期,OPPO作为先行者,此前曾环球首发与索尼联合设计的超感光猫眼镜头,这是手机厂商首次实现将自研硬件级图像处理单元集成至传感器。
而这一次,马里亚纳MariSilicon X的发布,意味着OPPO在移动影像领域走出了主要一步,这不仅是OPPO技能发展的主要里程碑,同时也开启了打算影像发展的新征程。有鉴于此,中关村落在线认为,2021年OPPO推出的马里亚纳MariSilicon X自研NPU芯片可以参与本次终极评比。
01 自研NPU芯片,探索打算影像新极限
2021年,对付手机影像来是发展极为关键的一年。这一年,传感器在大幅升级,影像算法也在提升,多摄像头矩阵实现了全焦段覆盖、多功能拍摄。手机厂商也在积极创造各自的影像标识,从多主摄领悟再到打算光学、从液态镜头再到独立影像芯片的研发,行业变革历历在目。
对付OPPO而言,影像一贯都是长期坚持的核心赛道之一,值此移动影像大幅跃进的关键时候,OPPO自然不会落下。马里亚纳MariSilicon X便是OPPO环绕拍照技能不断探索实践的最新成果,其至少具备以下几点行业意义:
1、马里亚纳® MariSilicon X用AI技能办理传统手机影像难题——ISP和通用途理器算力不敷导致的夜景视频长期以来画质不佳的难题,以及传统影像链路中的信息损耗问题。
2、办理手机长期尚未办理的难题,弱光视频画质,将打算影像推向了4K+20bit RAW+AI+Ultra HDR的极限,为行业设立了影像新标杆。
一样平常来说,很多手机芯片都支持相应的AI加速功能,通过折衷整合CPU、GPU、DSP等传统单元来赞助完成,不过在一些重载场景下,会对AI性能又有了新诉求。OPPO显然也洞察到了这点,以是通过研发独立NPU单元来赞助AI运算。
而在马里亚纳MariSilicon X支持下,暴涨的AI性能将会为影像提升带来非常大的支持,尤其在画质增强、夜景渲染等方面都有着非常抢眼的表现。
马里亚纳 MariSilicon X 4K视频截图 V.S. Find X3 Pro 4K视频截图
当然,马里亚纳MariSilicon X的更多浸染还是在于对影像极限的探索,比如4K AI夜景视频,让手机拥有更专业的影像能力,这是它存在的现实意义之一。
02 马里亚纳MariSilicon X根本参数解析
马里亚纳MariSilicon X采取台积电6nm EUV制程打造,这是环球首个6nm移动端独立影像专用NPU。众所周知,在芯片侧,制程工艺越小,在同样面积上集成的电路越繁芜,电路的性能就越强。目前,手机端采取的6nm EUV处理器比较第一代7nm工艺,晶体管密度提升18%,性能和能效比已经有了显著改进。马里亚纳MariSilicon X作为OPPO首个自研芯片,选择从6nm开始入局,出发点和难度都是非常高的。
在架构方面,马里亚纳MariSilicon X采取AI时期的DSA架构,和传统芯片一样,NPU也有不同的架构设计,而AI DSA便是当下公认的最空想NPU架构。
基于领先的架构设计,马里亚纳MariSilicon X拥有18 Tops AI算力,超过了iPhone 13 Pro的15.8 Tops。
能效上,马里亚纳MariSilicon X能效比达到了11.6Tops/w,运行OPPO AI降噪模型的速率是达到Find X3 Pro(骁龙888)的20倍,能效达到40倍。
马里亚纳MariSilicon X还采取了创新的双层存储架构,并在AI打算单元集成了专用的片上内存子系统,该内存子系统只做事于AI打算,最高可供应万亿比特/每秒的超大吞吐量,是目前手机最高内存吞吐量的十倍以上。
与此同时,马里亚纳MariSilicon X还配备Tb级读写速率的AI专用宽带,传输速率最高可达8.5GB/s,为AI的高效运算供应充分的内存读写支持,让超强算力不再受读写速率限定。
03 创新升级:无损的实时RAW打算和最大化传感器能力的RGBW Pro
① 无损的实时RAW打算
理解拍照的都知道,专业相机中有一种叫“RAW”的分外格式,RAW格式实际便是一堆原始数据的合集,拍照师利用后期软件,从RAW中选取关键信息,终极呈现出一张令自己满意、让大众悦目的图像。毫无疑问,RAW是产生绝佳图像的关键,因此拥有最多的原始信息的RAW域,每每也被看作打算拍照的 “黄金点” 。
然而在手机中,AI打算每每只能在后端完成,原始图像数据在层层转换后,会丢失很多的信息和细节,这意味着在通过AI处理图像时,实际处理的并非最初那张蕴含丰富信息的“原始图像”,难以实现最佳的效果。
马里亚纳MariSilicon X的打破之处在于重塑转换链路,引领性地将繁芜的AI算法以及20bit HDR领悟全部前置到RAW域进行,AI打算也就不再受限于信息量的损耗,可以为全体影像链路输出高质量的图像数据。而且,与传统后端打算比较,马里亚纳 MariSilicon X的实时RAW打算能够带来8dB的图像信噪比提升,比如改进根本画质,提升预览成像、第三方APP画质效果等等。
② 最大化传感器能力的RGBW Pro
2021年8月份,OPPO在未来影像技能发布会上发布了全新一代RGBW捕光传感器,通过从底层改变传感器像素排列,进而提升传感器的进光量,目前该技能已经成功在Reno7系列上商用,而OPPO Reno7系列也凭借这一创新技能成为迄今为止前置摄像头感光能力最强的手机。
RGBW捕光传感器像素示意
所谓的RGBW像素排列便是用一个不包含色彩“W”像素更换传统RGGB拜耳阵列中的G(绿色)像素,只管实现了感光性的提升,但也带来猜色难、色彩失落准等问题。个中,在“猜色”过程中,须要繁芜的算法作为支撑,在全新的RGBW传感器个,OPPO将自研四合一像素聚合等一系列算法写入传感器硬件,形成独具上风的“图像处理单元”,这个处理单元可以供应足够的算力支持,这也是OPPO Reno7采取IMX709传感器拍摄却不偏色的主要缘故原由。
但此前这个“图像处理单元”是封装在传感器之中的,而马里亚纳MariSilicon X毕竟是独立NPU,无论是AI性能还是算力,实际上都有了更大幅的提升,此时再与RGBW传感器进行协同,也能帮助RGBW传感器开释更大潜力。
从测试来看,在HDR AI降噪这类范例运用处景中,马里亚纳MariSilicon X通过双链路的设计和2x RAW打算,能够实现8.6dB信噪比和1.7倍解析力提升。这意味着,即便传感器规格没有升级,也能通过马里亚纳MariSilicon X来提升手机的成像质量,对付手机影像提升来说确实是一件值得愉快的事情。
04 领先上风:行业领先的Ultra HDR
在成像、视频运用中,目前主流的8bit色深,HDR提升到了10bit,达到了10.7亿色。HDR技能可以实现更大的动态范围,比如逆光场景下,可以大幅提升视频质量和不雅观感,HDR在很多手机拍摄场景中都能用到,其本身乃至已经成为了衡量手机影像能力的一个标准。
在新一代主流旗舰SoC中,HDR处理能力已经达到了18bit的程度,不过这一次马里亚纳MariSilicon X集成了自研MariLumi 影像处理单元,支持最高20bit的处理位宽,使得画面动态范围达到了20bit 120db(20 stops),四倍于当前旗舰。
在即时呈现出的画面中,最亮与最暗之处的亮度比拟极值达到100万比1,靠近人眼的实际不雅观察效果。
总结:
综合来看,马里亚纳MariSilicon X采取了全新架构和旗舰Soc级制程工艺,它具备强大算力、能效比和打算速率,让AI算法的运行速率达到空出息度。未来,马里亚纳MariSilicon X将和通用平台一起构成手机运算的“核心”,一机双芯共同推动打算影像迈向新极限。有鉴于此,中关村落在线认为马里亚纳® MariSilicon X的涌现,势必会对行业产生更积极的影响,在推动移动影像的发展,终极会惠及更广大的消费者。
手机影像是一个很长的赛道,OPPO过去十年在定制图像传感器、摄像头模组、镜头方面、AI算法方面积累了大量丰硕履历,马里亚纳MariSilicon X的出身,事实上也是一种厚积薄发的结果。
当然,芯片自研的难度已经上升到了一个新层次,尤其OPPO还是从6nm NPU开局,技能寻衅更大,投入的研发本钱也更大,这也足以彰显OPPO在芯片自研道路上的决心和意志。
能够被评比为LT10中的一员,代表着马里亚纳MariSilicon X NPU具备强大的核心技能和引领家当发展的领导力。依托于技能研发实力、技能创新能力以及技能拓展潜力,不断为用户供应运行速率更快、效能更好且体验更佳的优质产品,并持续推动家当发展。
#LT10年度十大领先技能#
#ZAO中关村落在线年度不雅观察#