华为麒麟990 5G之camera特性分析
2019年9月6日，华为在德国柏林和北京同时发布最新一代旗舰芯片麒麟990系列，包括麒麟990和麒麟990 5G两款芯片。麒麟990 5G是华为推出的全球首款旗舰5G SoC芯片，是业内最小的5G手机芯片方案，面积更小，功耗更低；它可率先支持NSA/SA双架构和TDD/FDD全频段，是业界首个全网通5G SoC。
麒麟990 5G芯片中有不少亮点，我们只关心其中与camera相关的特性。
麒麟990 5G采用自主研发的全新ISP 5.0，吞吐率提升15%，能效提升15%。首次在手机芯片上实现BM3D（Block-Matching and 3D filtering）单反级硬件降噪技术，有效暗光场景拍照体验；全球首发双域联合视频降噪技术；基于AI分割的实时视频后处理渲染技术，视频画面可以实现逐帧调节色彩。
笔者只得知，麒麟990 5G的camera可以支持64M sensor，视频录制可达4K 60fps。其他性能数据，笔者并未获取到。麒麟990尚未支持亿级像素sensor，似乎有些落后，但手机整体效果如何还需拭目以待。
下面，我们介绍一下麒麟990 5G中camera三大特性。
BM3D单反级硬件降噪技术
麒麟990 5G首次在手机芯片上实现BM3D（Block-Matching and 3D filtering）单反级硬件降噪技术，首次将单反级的图像处理能力应用在手机上，照片降噪能力提升30%，暗光场景噪点更少，让手机大片越夜越美丽。
BM3D是2007年TIP的文章，题目是Image denoising by sparse 3D transform-domain collaborative ltering，论文、项目的地址是http://www.cs.tut.fi/~foi/GCF-BM3D/，提供matlab代码；http://www.ipol.im/pub/art/2012/l-bm3d/为C++的实现，这篇论文里面有对BM3D实现的更为详细的说明。
处理灰度图的BM3D以及它的变体CBM3D（彩色图）、VBM3D（时域）是图像去噪领域公认的去噪效果（PSNR）最好的，而BM4D、VBM4D等也都是沿袭BM3D的基于块处理（block-wise estimate）的思想，但其计算时间复杂度极大，或许只能用于离线处理（offline）。
BM3D算法是NLM(non-local mean)的升级版本，因为它主要用到了非局部块匹配的思想，首先找相似块，不同于传统NLM使用L2距离(ρ = sqrt( (x1-x2)^2+(y1-y2)^2 ))，它用了硬阈值线性变换降低了L2距离的复杂度；找到相似块后，NLM是做一个均值处理，而BM3D则是将相似块域转换，采用协同过滤（Collaborative filtering，CF算法的原理是汇总所有
BM3D的复杂之处在于，首先找相似块，其次是采用了两次基于块的处理（block-wise estimate），复杂度相比NLM翻了1倍，且含有域变换操作。
麒麟990的BM3D处理结果如下图所示：
双域联合视频降噪
在夜晚、光线较弱的暗光环境下，视频拍摄出现的噪点非常影响成像质量。从噪声类型来说，视频拍摄中出现的主要是时域噪声和空域噪声。其中，时域噪声是前后帧画面播放随时间变化产生的噪声，空域降噪是每一帧视频画面原本存在的固有噪声。业界在视频降噪方面大多采用单一的时域降噪，主要消除时间维度带来的噪声。此次，麒麟990 5G全球首发双域联合视频降噪技术，针对视频中的高频、中频、低频噪声混合的场景，增加频域降噪过程，重点针对噪声进行精准分离处理，视频降噪能力提升20%，暗光环境下拍摄的视频更加清晰。首次在手机芯片上实现基于AI分割的实时视频后处理渲染技术，对每一帧视频画面色彩精心调色，让手机视频也能拥有电影调色质感。[2]
Camera AI处理
麒麟990 5G是首款采用华为自研达芬奇架构NPU的旗舰级芯片，创新设计NPU双大核（Ascend Lite x 2）+NPU微核（Ascend Tiny）计算架构。其中，双大核NPU针对大算力场景实现卓越性能与能效，持续刷新端侧AI的性能高点；NPU微核为业界首发的创举，赋能超低功耗应用。
在强大的AI支持下，麒麟990 5G实现了基于AI分割的实时视频后处理渲染技术，视频画面可以实现逐帧调节色彩。还可以通过AI多实例分割技术，实现多人物视频拍摄替换背景。
基于ISP的能力升级，麒麟990 5G支持全新炫酷Face AR。通过从摄像头捕获的人脸图像数据和基于NPU运行的神经网络算法，Face AR能够对人脸进行建模、实时跟踪、表情捕获，并且可以进一步分析出人脸信息背后的诸如心率、呼吸率等健康数据，提供围绕人脸的丰富的AR增强现实体验，探索AR应用的更多可能。
更多内容，请关注公众号：平凡程式人生
[1] https://blog.csdn.net/github_28260175/article/details/81101457
[2] http://m.newsmth.net/article/ITExpress/2031151