麒麟9000：全球首创ISP+NPU融合架构强在哪儿？

【影像飞跃:麒麟9000彪悍的另一面】

这两年,手机SoC领域群雄逐鹿、精彩纷呈,2020年我们陆续见证了华为麒麟9000、苹果A14、高通骁龙888等一众“好汉”的轮番登场,其中华为麒麟9000可以说是最特殊,也是最值得研究的一个。

作为全球第一款5nm工艺的5G SoC完整解决方案,麒麟9000在性能、连接、AI、影像、安全等各个方面都实现了创新式的突破,尤其是在影像领域大杀四方,其赋能的华为Mate 40 Pro+、Mate 40 Pro两款手机在DxOMark榜单上分别以139分、136分傲居第一、第二!

不过,以往谈论一款手机影像能力的高低,我们往往会把目光都集中在CMOS传感器、摄像头的配置上,却很容易忽视在幕后默默贡献的ISP(图像信号处理器)。事实上在手机影像系统中,ISP在很多场景的重要性更甚于摄像头。

打个形象的比方,如果把摄像头视作能打仗的士兵,ISP就是指挥战斗和战争的军官——没有合理的指挥,再强的士兵也是无头苍蝇;如果摄像头是看清世界的“眼睛”,ISP就是掌控一切的“大脑”。

而在另一方面,我们刚才一直说“影像”而非“拍照”,是因为用户追求越来越多的,不仅仅是要把照片拍好,更要把视频拍好,毕竟这是一个视频的时代,动起来才更精彩。

麒麟9000其中一项独到之处,恰恰就是将ISP提升到了一个全新的层次,尤其是业界首次实现ISP+NPU的融合架构,不但拍照强悍无与伦比,更让视频捕捉焕然一新。

比如超强的细节还原,比如显著的降噪能力,比如极高的能效,尤其是在暗光环境下堪称升级版的“夜视仪”,再次走在了时代的最前沿,只留给友商一个远去的背影。

正是有了这样强悍的根基,华为Mate 40 Pro系列不但拍照水平一骑绝尘,视频捕捉更是独领风骚,双双霸占DxOMark榜单前两名。

【低调的劳模:ISP要干的事儿太多了】

要想理解麒麟9000 ISP+NPU融合架构的精妙之处,我们需要把时钟往回拨一下,先了解几个基本概念术语,看看ISP是多么不容易。

众所周知,图像传感器(Image Sensor)是数码相机、智能手机拍照、拍视频的“眼睛”(相机里是CCD/手机里是CMOS),最终呈现的色彩、细节都取决于它,其原理是通过一个一个的感光点,对光进行采样和量化。

但很多人可能并不知道,图像传感器其实是“色盲”,如果只用它拍出来的照片就是黑白的,需要搭配色彩滤波器(CFA)才能获得色彩信息。

1976年,柯达的拜耳发明了RGB CFA,也就是色彩滤波器 ,如上图可理解为双层结构:上层红(R)绿(G)蓝(B)三色的色块就是色彩滤波器,白光透过滤波器后分离出红绿蓝三原色;下层灰色的色块则是感光光电二极管(PD)部分,负责将滤波器送来的光信号转换为电信号,再由后续各种算法进一步处理,并最终成像。

可以说,滤波器的表现如何,是照片、视频色彩、细节还原的基础。

当然,从滤波器滤出的RGB色彩,到最终照片上的精彩,需要经过各种复杂算法、技术的处理,这其中有三个是起着决定性因素的。

一是Demosaic插值算法。

RGB拜耳阵列中的每一个像素只能采集一个颜色通道信息,另外两种颜色信息需要通过插值算法,结合相邻其他颜色的像素信息计算出来,这样一个像素的色彩才是完整的。

这个过程有点“去马赛克”的味道。

二是自动白平衡(AWB)。

由于色温的影响,白色并不是一直纯白无瑕,在低色温下会偏黄,高色温下则会偏蓝。如果不进行校准使之恢复平衡,色彩就会完全混乱,毕竟白色是三原色和任何色彩的基础。

于是就有了白平衡,可以让任何色温下白色物体的RGB三原色比例关系都是标准的1:1:1,呈现准确的白色。

白平衡算法很多,最常见得有灰度世界算法、完美反射算法、动态阈值算法这么三种。

三是色彩校正矩阵(CCM)。

相机或者说图像传感器是机械式的,而人眼是生物式的,二者的感光曲线截然不同,或者说RGB响应曲线并不一致。

白平衡只能处理白色,其他颜色的准确度则需要CCM来校准,也可以用来调节色彩风格,就是各种不同的“滤镜”。

CCM的原理和过程很复杂,这里就不展开了,具体算法大致可以分为模型法、经验法这么两类。

说了这么多,其实无论插值算法还是AWB、CCM,都需要一颗强大、优秀的ISP,才能越做越好,让最终呈现的色彩更贴近大自然,或者看起来更养眼。

【麒麟990系列:ISP+NPU初步联手、RYYB物尽其用】

多年来,华为一直在全力提升手机的影像水平,尤其是近几年始终处于行业最前列,这其中不仅有摄像头的贡献,更有ISP层面的创新。

2015年,华为第一次完成自研ISP,应用于麒麟950,此后每一代都经历一次蜕变,逐渐成为华为手机拍照登顶世界的根基。

到了麒麟990系列,已经内置全新ISP 5．0,吞吐率提升15%,能效提升15%,照片和视频降噪能力提升30%、20%,手机端首发单反级降噪技术BM3D,全球首发双域联合视频降噪技术。

同时还有创新的华为自研达芬奇架构NPU(神经处理单元),两个大核加一个微核的特殊架构,兼顾高性能与高能效,并且ISP、NPU已经开始初步联合,探索全新的AI摄影。

而基于麒麟990 5G的华为P30系列创新引入了RYYB CFA超感光图像传感器,其中Y代表黄色,取代传统的RGGB格式中的G绿色,光谱响应更宽、光谱覆盖更广、能感应更多光子,总体进光量因此提升了30-40%,暗光场景信噪比更佳,夜拍效果更上一层楼。

不过,RYYB作为新生事物并不容易驾驭,传统ISP的插值算法、AWB、CCM很难处理Y黄色像素的丰富色彩信息,精准还原难度非常大。

为此,华为一方面在后续的Mate 30系列上采用了RYYB、RGGB相搭配平衡的设计,另一方面引入基于AI神经网络的插值算法、AWB、CCM,并整合在麒麟990 ISP流水线的图像处理过程中,为传统ISP流程增加了计算摄影处理,再经过大量的RYYB传感器RAW数据训练之后,可以有效找到物体细节、色彩分量之间的复杂映射关系。

可以说,如果只是单纯地变革图像传感器,而不能在硬件、算法上同步革新,不但不能提升手机的影像水平,反而会陷入混乱。

麒麟990正是凭借强劲的NPU性能,逐步完善了对于全新复杂RYYB CFA的支持,释放了其对色彩处理的强大潜力,尤其是在视频实时处理方面迈出了一大步,提升了4K视频的暗光细节表现、色彩还原效果。

【麒麟9000:ISP+NPU深度融合、超越人眼极限】

在最新一代的麒麟9000处理器上,华为更进一步,全球首创实现了ISP+NPU的融合架构,没有像友商那样单纯地追求堆积更多ISP,而是通过精密设计的融合架构,将ISP处理流水线、NPU矩阵计算有机地融合在一起,不但拍照更加游刃有余,更是实现了实时视频的像素级处理。

这样的融合架构对于静态照片处理已经不费吹灰之力,这里不再赘述,重点看看视频处理。

毕竟,照片都是单独的一帧,视频则是连续变化的静态帧组成的,处理24FPS的视频相当于每秒处理24张照片,而对视频进行像素级的实时处理,无论对于硬件设计还是软件算法都提出了空前的考验。

在传统的ISP视频流处理过程中,受制于ISP性能有限、硬件模块相互隔离、处理带宽不充分等因素,ISP只能老老实实地逐帧处理,一切排队进行。

加入NPU助力之后,可以加速处理这一过程,但处理过程中以帧为单位,依然需要排队。比如当ISP处理第一帧时,NPU需要等待ISP处理完成后才能接替。

麒麟9000改变了这一切,不但集成最新的ISP 6．0,还支持四流水线并行,吞吐量提升50%,视频降噪能力提升48%,3A(自动对焦/自动曝光/自动白平衡)处理能力提升100%,而最大亮点当属首创了ISP+NPU融合架构。

ISP+NPU融合后,直接将数据、信息完全打通,使用硬件直连的方式,将原本独立的NPU计算直接融合ISP的处理流水线中,再结合大容量、高带宽的智能缓存SmartCache 2．0,使得输入数据流、输出数据流都连续不断,整个过程中没有任何停顿和等待,数据可以无缝缓冲、实时处理,效率提高了不止一个档次。

同时,ISP+NPU融合架构改变了逐帧排队处理的传统方式,对每一帧进行切片(Slice),也就是拆分成更小的单元,处理的基本单元不再是一整帧,而是一个个小的切片,从而将每一帧内部、不同帧之间完全打通,加速数据的传输与处理。

这样一来,ISP+NPU联合就实现了基于帧内分块的视频流智能处理。

如上图,假设每个视频帧都拆分成四个切片,ISP可以先处理其中两个切片,快速处理完之后交给NPU进一步加工,此时ISP就可以同时处理该帧的剩余两个切片,以及下一帧的头两个切片,如此往复循环,从而大大缩短等待时间,提高处理效率。

当然,每个视频帧拆分成几个切片、NPU/ISP每次处理几个切片,都是极其灵活的,可以根据每一帧的不同数据量、处理难度来智能切割,还可以在同一帧内应用多种不同算法,流水线效率不可同日而语的同时,还可以得到更丰富的处理效果。

很自然的,这种联合处理对于ISP、NPU的协同效率提出了极高的要求,毕竟稍有不慎反而会影响整个流程的顺畅性。麒麟9000凭借丰富的ISP研发经验、自研华为达芬奇架构2．0 NPU的强劲AI算力,一切都搭配得天衣无缝。

数据显示,麒麟9000在处理器4K视频的时候,可以在33毫秒甚至更低的时间间隔内完成计算任务,尤其是在夜景等会产生海量数据的复杂环境下,可以充分发挥ISP+NPU融合架构的极高处理效率,实现丰富细节的精准色彩还原。

如果你觉得这些理论分析有些难以理解,这里我们来看一个实际例子,感受下ISP+NPU融合架构的神奇魅力。

如上动图,圆圈中的愿景物体是一个迷你风车,四个叶片又长又细还是深色调,又处在偏暗的环境中,一般情况下即便只是拍照,也很难清晰捕捉到其色彩细节,甚至可能根本就看不清对象本身,更不用说拍视频。

但是在麒麟9000平台上,得益于ISP+NPU融合架构一整套方案的智能化处理,可以看到在捕捉的视频中,风车扇叶异常清晰,色彩清晰,衔接过渡自然,和背景区分明显,运转动作也是如行云流水一般的顺畅,甚至连扇叶头部、尾部因为运动快慢不同而导致的模糊程度不同,都展现得淋漓尽致,可能连人眼都捕捉不到这么逼真、翔实的细节。

【ISP+NPU融合:干活更多 功耗控制更好】

那么,ISP+NPU融合架构之后,要干的活儿更多了,会不会更加耗电?这里就体现了融合架构的另一个好处,计算性能上去了,功耗还能很好地得到控制,更好地完成更多任务。

众所周知,手机拍摄视频的时候是相当耗电的,远高于静态拍照,但是麒麟9000经过多重努力,实现了“马儿跑得快、马儿不多吃”的神奇效果。

一是针对大量数据输入场景进行智能切块处理,从而大幅降低网络中间层对计算内存的需求;

二是切片级的数据交互,有效控制算法时延,再结合SmartCache缓存,有效控制视频场景的功耗。

【融合架构背后的难度 超出你的想象】

你可能会说,这一切看起来似乎也没什么难的,但是芯片层面的创新,从来和简单二字无关,ISP+NPU融合的难度和技术挑战也是常人难以想象的,简单来说主要是如何达成算法效果、计算性能、计算能耗三者的平衡。

为此,在设计硬件融合架构的同时,为了释放硬件潜力,华为也在软件算法上花费了大量心思,做出了大量创新,比如说IPS链路的像素级别(pixel level)的AI算法,搭档算力强悍的AI芯片,实现高能效的端侧软硬结合完整方案。

同时,如今的影像场景下,数据处理都是海量级别的,而且极为复杂,这就需要整个流程方案具备很强的鲁棒性(稳健性),而且为了提高处理大数据量的效率,模型结构也要满足一定的计算约束,必须利用网络结构搜索、混合量化等技术,让模型结构与加速硬件高效配合。

特别是在4K超清分辨率下捕捉视频,流水线中的图像数据量比以往多了几个数量级,毕竟单帧4K图像处理就已经对AI提出了很高的要求,更何况视频场景下需要实时进行多帧处理。

举例来说,4K 30fps的视频捕捉场景下,整个ISP链路必须在33ms内完成单个帧的计算工作,其中留给AI算法进行计算处理的时间就更短,真正的电光火石之间就要处理到位,而一旦计算效率、性能不能满足,视频处理过程的效率就会急剧下降,反应在用户体验上就是严重的卡顿,这自然是无论如何不能接受的。

另外,任何硬件设计、算法设计都要考虑功耗,必须在可控范围内,否则就会导致明显的手机发热。相信大家都有感触,日常连续拍照、拍视频的时候,手机会明显发热,更何况加入如此复杂的计算流程。

因此,为了达成最佳的影像效果和用户体验,突破性的算法效果、快速高效的计算性能、优秀可控的计算能耗,三者是缺一不可的,而麒麟9000 ISP+NPU融合架构,恰恰几乎完美地做到了这一点,才有了最终呈现在我们眼中的精彩影像。

【一路坐强的麒麟:未来可期】

总的来说,华为手机这几年在影像能力上持续稳居世界最前列,拿第一拿到手软,坐榜首坐到寂寞,不但来自于精妙的摄像头系统,更离不开麒麟芯片、ISP处理器、NPU神经处理单元的鼎力支持。

正是源于这持续不断的革新,我们才通过小小的手机,越发清晰地看清、记录整个世界的精彩,留下那一个个令人难以忘怀的瞬间。

从整个行业来看,目前做到从芯到端协同升级的,也只有苹果、华为这两家顶级巨头,而苹果陶醉在自己的封闭生态内,华为则呈现的是一个开放的世界。

眼下,华为麒麟的发展遇到了前所未有的桎梏,原本无限光明的前景蒙上了厚厚的阴影,但打铁还需自身硬,经过多年来的一步步稳扎稳打,相信华为麒麟有实力面对任何艰难险阻。

期待麒麟的下一站更精彩!

作者:上方文Q来源:快科技