华为麒麟990 5G之camera特性分析

2019年9月6日,华为在德国柏林和北京同时发布最新一代旗舰芯片麒麟990系列,包括麒麟990和麒麟990 5G两款芯片。麒麟990 5G是华为推出的全球首款旗舰5G SoC芯片,是业内最小的5G手机芯片方案,面积更小,功耗更低;它可率先支持NSA/SA双架构和TDD/FDD全频段,是业界首个全网通5G SoC。

 

麒麟990 5G芯片中有不少亮点,我们只关心其中与camera相关的特性。

麒麟990 5G采用自主研发的全新ISP 5.0,吞吐率提升15%,能效提升15%。首次在手机芯片上实现BM3D(Block-Matching and 3D filtering)单反级硬件降噪技术,有效暗光场景拍照体验;全球首发双域联合视频降噪技术;基于AI分割的实时视频后处理渲染技术,视频画面可以实现逐帧调节色彩。

华为麒麟990 5G之camera特性分析_第1张图片

笔者只得知,麒麟990 5G的camera可以支持64M sensor,视频录制可达4K 60fps。其他性能数据,笔者并未获取到。麒麟990尚未支持亿级像素sensor,似乎有些落后,但手机整体效果如何还需拭目以待。

下面,我们介绍一下麒麟990 5G中camera三大特性。

BM3D单反级硬件降噪技术

麒麟990 5G首次在手机芯片上实现BM3D(Block-Matching and 3D filtering)单反级硬件降噪技术,首次将单反级的图像处理能力应用在手机上,照片降噪能力提升30%,暗光场景噪点更少,让手机大片越夜越美丽。

BM3D是2007年TIP的文章,题目是Image denoising by sparse 3D transform-domain collaborative ltering,论文、项目的地址是http://www.cs.tut.fi/~foi/GCF-BM3D/,提供matlab代码;http://www.ipol.im/pub/art/2012/l-bm3d/为C++的实现,这篇论文里面有对BM3D实现的更为详细的说明。

处理灰度图的BM3D以及它的变体CBM3D(彩色图)、VBM3D(时域)是图像去噪领域公认的去噪效果(PSNR)最好的,而BM4D、VBM4D等也都是沿袭BM3D的基于块处理(block-wise estimate)的思想,但其计算时间复杂度极大,或许只能用于离线处理(offline)。

BM3D算法是NLM(non-local mean)的升级版本,因为它主要用到了非局部块匹配的思想,首先找相似块,不同于传统NLM使用L2距离(ρ = sqrt( (x1-x2)^2+(y1-y2)^2 )),它用了硬阈值线性变换降低了L2距离的复杂度;找到相似块后,NLM是做一个均值处理,而BM3D则是将相似块域转换,采用协同过滤(Collaborative filtering,CF算法的原理是汇总所有的行为对, 分析不同user的item,找出相似user,向其推荐彼此喜欢的item,利用集体智慧做推荐。此处既由相似块共同决定)降低相似块自身含有的噪声(NLM做均值,引入了相似块的噪声),然后做逆变换,对相似块加权处理,得到降噪后的目标块。[1]

BM3D的复杂之处在于,首先找相似块,其次是采用了两次基于块的处理(block-wise estimate),复杂度相比NLM翻了1倍,且含有域变换操作。

麒麟990的BM3D处理结果如下图所示:

华为麒麟990 5G之camera特性分析_第2张图片

双域联合视频降噪

在夜晚、光线较弱的暗光环境下,视频拍摄出现的噪点非常影响成像质量。从噪声类型来说,视频拍摄中出现的主要是时域噪声和空域噪声。其中,时域噪声是前后帧画面播放随时间变化产生的噪声,空域降噪是每一帧视频画面原本存在的固有噪声。业界在视频降噪方面大多采用单一的时域降噪,主要消除时间维度带来的噪声。此次,麒麟990 5G全球首发双域联合视频降噪技术,针对视频中的高频、中频、低频噪声混合的场景,增加频域降噪过程,重点针对噪声进行精准分离处理,视频降噪能力提升20%,暗光环境下拍摄的视频更加清晰。首次在手机芯片上实现基于AI分割的实时视频后处理渲染技术,对每一帧视频画面色彩精心调色,让手机视频也能拥有电影调色质感。[2]

华为麒麟990 5G之camera特性分析_第3张图片

Camera AI处理

麒麟990 5G是首款采用华为自研达芬奇架构NPU的旗舰级芯片,创新设计NPU双大核(Ascend Lite x 2)+NPU微核(Ascend Tiny)计算架构。其中,双大核NPU针对大算力场景实现卓越性能与能效,持续刷新端侧AI的性能高点;NPU微核为业界首发的创举,赋能超低功耗应用。

在强大的AI支持下,麒麟990 5G实现了基于AI分割的实时视频后处理渲染技术,视频画面可以实现逐帧调节色彩。还可以通过AI多实例分割技术,实现多人物视频拍摄替换背景。

华为麒麟990 5G之camera特性分析_第4张图片

基于ISP的能力升级,麒麟990 5G支持全新炫酷Face AR。通过从摄像头捕获的人脸图像数据和基于NPU运行的神经网络算法,Face AR能够对人脸进行建模、实时跟踪、表情捕获,并且可以进一步分析出人脸信息背后的诸如心率、呼吸率等健康数据,提供围绕人脸的丰富的AR增强现实体验,探索AR应用的更多可能。

华为麒麟990 5G之camera特性分析_第5张图片

更多内容,请关注公众号:平凡程式人生

华为麒麟990 5G之camera特性分析_第6张图片

[1] https://blog.csdn.net/github_28260175/article/details/81101457

[2] http://m.newsmth.net/article/ITExpress/2031151

你可能感兴趣的:(camera技术)