高通骁龙865之camera性能深度分析（二）

 

7、Up to 64 MP single camera @ 30 FPS with Zero Shutter Lag

骁龙865单摄场景最大支持64M 30fps，ISP IP处理能力需求为64M*30=1920M，这应该是最大性能需求场景，2亿像素每秒。笔者推测，该功能中，需要64M sensor输出bayer RAW，由sensor对4C数据做remosaic；如果让ISP IP做remosaic，IP很难支持不同格式的4C数据。

 

8、Rec. 2020 color gamut video capture

骁龙865支持Rec.2020色域的视频录制。

关于色域，我们先科普一下。

色域是对一种颜色进行编码的方法，也指一个技术系统能够产生的颜色的总和。在计算机图形处理中，色域是颜色的某个完全的子集。颜色子集最常见的应用是用来精确地代表一种给定的情况。例如一个给定的色彩空间或是某个输出装置的呈色范围。

1931年，国际照明委员会CIE制定了CIE1931RGB系统，规定将700nm的红、546.1nm的绿和435.8nm的蓝作为三原色，后来CIE1931-xy色度图成为描述色彩范围最为常用的图表。

sRGB(standard Red Green Blue)是由Microsoft影像巨擘共同开发的一种彩色语言协议，微软联合爱普生、HP惠普等提供一种标准方法来定义色彩，让显示、打印和扫描等各种计算机外部设备与应用软件对于色彩有一个共通的语言。

一般在PC监视器应用方面， 多以sRGB为标准的色域定义，而在AV应用方面，采用的多是NTSC定义，在颜色涵盖度方面要比sRGB来得广。但是色域并不是越广就越好，即使监视器本身能够达到超高色域，但是这些多出来的颜色不一定能为人眼所辨识， NTSC算是普偏公认的色域定义标准， 而在部分特殊应用上(如印刷或印前作业)，也有使用厂商自订的色域规范。而显示装置所能提供的颜色范围能够涵盖多大比例的特定色域定义，我们就可以将之称为符合70%的NTSC色域饱和度，或者是符合90%的sRGB色域饱和度等。

 

广色域是一种进阶的色彩背光技术，国际标准是色彩覆盖率能达到NTSC92%的即为广色域。广色域电视的背光用到了红/绿/蓝 3色混合的LED，色彩无比鲜艳，覆盖率大约在92%------110%左右。最为流行的广色域背光是量子点LED背光，色彩覆盖率可以达到惊人的NTSC110%，定位高端市场。

 

在投影机通用的色域主要有两个，Rec. 709与DCI-P3。

1990年，国际电信联盟将Rec.709作为HDTV的统一色彩标准。它有相对较小色域，和用于互联网媒体的sRGB色彩空间相同。大部分的影片在后期制作时，会在提供一个Rec. 709色域的版本，以符合主流的播放模式如流媒体视频、DVD等。DCI-P3 为美国电影工业为数字电影院所制定的色彩空间标准，相较于Rec.709/sRGB色域约广26%色域范围，因此在投影机的应用中被称为「广色域投影」。

 

2004年7月1日，由好莱坞7大电影公司组成的数字电影推进联盟（Digital Cinema Initiative）修订并推出了其技术文档4.0行业标准，规定的数字影院清晰度分为两级，即DCI 2K（2048x1080，每秒24帧或48帧）和DCI 4K（4096x2160像素，最低每秒60帧），其中DCI 4K（4096x2160）的信息量则是高清电视的4倍多。

在经历多个版本的修订后，国际电信联盟（International Telecommunication Union，即ITU）于2012年8月23日发布了超高清电视（Ultra HDTV）的国际标准：ITU-R Recommendation BT.2020。标准对超高清电视的分辨率、色彩空间、帧率、色彩编码等进行了规范。

新标准的要求太高，民用设备基本无法覆盖。现阶段4K电影视频采集设备均支持DCI-P3、影视后期制作依循DCI-P3的标准进行校正、发行的UHD 4K蓝光碟，也会将Rec.2020色域映射而成的DCI-P3色彩空间。

 

9、Up to 10-bit color depth video capture

骁龙865支持10bit色彩深度的视频录制。

色彩深度反映了视频能正确记录色调有多少，色彩深度的值越高，就越能更真实地还原亮部及暗部的细节。色彩深度以二进制的位（bit）为单位，用位的多少表示色彩数的多少。色彩位数高，就可以得到更大的色彩动态范围，对颜色的区分更加细腻。

 

在8bit编码下，一些渐变色块由于色彩变化范围很小而面积很大，容易导致一端到另一端总共只出现了很少的几种颜色，这就使得画面看上去不是渐变色带而是几块颜色，这种现象叫做banding。10bit由于颜色级数是8bit的4倍，色块就不容易出现，同时由于相邻颜色区别更小，人眼也难以看出色块之间的界限。

 

虽然直观上感觉10bit比8bit多占用25%的数据量，但实际上在实践中10bit往往能带来更高的压缩率。这是由于10bit更能准确地描述颜色，提升了信噪比。例如为了解决banding，8bit编码技术可以通过一种称为dither（抖动）的方法，也就是在色块边缘混入细碎的相邻色的色点，来模糊色块边缘。但是由于这些色点的存在大幅提高了画面的复杂度，产生了许多冗余信息量。由于8bit必须采用这些技术来提高视觉观感，所以8bit编码往往要引入大量冗余信息，而10bit不需要dither也能实现一样的画面感受，所以往往10bit编码出来的视频大小小于同等质量的8bit视频。

 

10、4K Video Capture + 64 MP Photo

骁龙865在做4K视频录制时，还可以捕获64M的照片。

此处4K视频录制帧率应该为30fps，为了在录制过程中能抓取64M的图像做JPEG编码，这就要求sensor必须按照30fps的帧率输出64M图像，即64M*30=1920像素每秒。

笔者认为此处有别于64M ZSL capture，双核ISP IP不会实时处理64M图像。sensor输出30fps 64M图像，ISP IP实时处理其binning后的16M图像做4K视频录制，与此同时，将64M图像循环保存到DDR。当用户点击拍照时，camera系统选择对应的一张64M图像进行处理，最终完成JPEG编码。

11、8K Video Capture @ 30 FPS

骁龙865支持超高清8K视频录制，帧率为30fps。

8K视频分辨率为7680*4320，宽高比16:9，总约3320万像素。如果使用64M sensor，那就需要sensor输出30fps 64M图像，双核ISP IP也需要按照30fps帧率处理64M图像。笔者认为此处要求sensor可以输出64M bayer RAW，而不是4C RAW；由于4in1 sensor的4C排布没有统一标准，一般ISP IP中不会实现硬件4C RAW转bayer RAW的功能。此功能对ISP IP处理能力需求为64M*30=1920M，也将近2亿像素每分钟。

 

12、Slow-mo video capture at 720p @ 960 FPS

骁龙865支持720P 960fps的慢动作视频录制。

通过960 fps不限时高清慢动作视频拍摄，用户可以充分利用十亿像素级处理速度来拍摄慢动作视频，捕捉每一毫秒的细节。

 

13、HEIF: HEIC photo capture, HEVC video capture

骁龙864支持HEIC标准拍照，HEVC标准视频录制。

HEIF(High Efficiency Image File Format)是高效率图像文件格式，也称高效图像文件格式，是一个用于单张图像或图像序列的文件格式。它由运动图像专家组（MPEG）开发，并在MPEG-H Part 12（ISO/IEC 23008-12）中定义。

HEIF支持的用法包括：

• 存储单个或多个图像及其缩略图
• 存储连拍照片
• 支持同时捕获视频和静止图像，即将静止图像和定时图像序列存储在同一文件中
• 高效地表示动画和动态静图
• 存储焦点堆叠和曝光堆叠到同一个容器文件
• 存储从其他图像文件派生的图像，无论是以非破坏性图像编辑操作为目的派生的图像，还是作为预先计算派生的图像
• 支持存储其他媒体，例如音频和定时的文本，将定时的图像序列存储在同一个容器文件中，并且同步播放。

为了节约存储空间，HEIF封装的HEVC编码的图像可以用于压缩全分辨率图像，同时保留一个较低分辨率的JPEG副本（例如4K分辨率或更低）用于屏幕显示。数码相机和智能手机可以使用HEIF来实现单文件存储连拍、焦点堆叠或曝光堆叠的照片。与此类似，拍摄的视频与静态图像也可以存储在同一个HEIF文件中。HEIF还可以将任何图像集合存储在单个文件中，从而可以轻松分享。

 

HEVC(High Efficiency Video Coding)是一种新的视频压缩标准，即H.265，2013年1月26号，HEVC/H.265正式成为国际标准。

HEVC/H.265标准围绕着现有的视频编码标准H.264，保留原来的某些技术，同时对一些相关的技术加以改进。新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系，达到最优化设置。

H.263可以2~4Mbps的传输速度实现标准清晰度广播级数字电视（符合CCIR601、CCIR656标准要求的720*576）；而H.264由于算法优化，可以低于2Mbps的速度实现标清数字图像传送；HEVC/H.265 High Profile可实现低于1.5Mbps的传输带宽下，实现1080p全高清视频传输。

由于HEVC/H.265支持各种色度格式和样品保真度至无损编码，该格式可以满足当今消费类设备所有的图像存储需求，从典型的8位图像到高端、专业设备所要求的高保真度和动态范围的16位图像。

 

HEIC(High Efficiency Image Coding)是一种图像压缩标准，上线时间还比较短，只有4年左右。自iOS 11和macOS High Sierra（10.13）内测开始，苹果将HEIC设置为图片存储的默认格式。与JPG相比，它占用的空间更小，画质更加无损。

 

14、Video Capture Formats: HDR10+, HDR10, HLG, Dolby Vision

骁龙865支持多种视频录制格式：HDR10+, HDR10, HLG, Dolby Vision。

HDR（High-Dynamic Range）是一种对高动态光照的渲染，又称为高动态范围图像，相对于普通的图像，能够展现更多的动态范围和细节；根据不同曝光时间的LDR（Low-Dynamic Range，低动态范围图像）图像，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，能够更好的反映出真实环境的视觉效果。

 

HDR10是由消费者技术协会2015年8月27日宣布的开放标准，不需要支付任何版权费。这个标准要求必须使用宽色域 Rec.2020 色彩空间，10bit 色深，以及 SMPTE ST 2084（PQ）图像传输功能，但它的数据元全部是静态的，简单来说就是每一帧所输出的 HDR 图像效果是一样的。

 

HDR10+，也称为 HDR10 Plus，于2017年4月20日由三星和亚马逊 Video 共同公布，由于杜比视界 HDR 极高的版权费用，三星等厂商不愿意支付，所以与松下、亚马逊和20世纪福斯创建了 HDR10 + 联盟，以推广HDR10 +标准。HDR10+ 通过添加动态元数据来更新 HDR10，动态元数据可用于在逐个场景或逐帧的基础上更精确地调整 HDR 的亮度级别，和杜比视界 HDR 类似，不过色深依旧是 10bit。

 

HLG（Hybrid Log-Gamma）是由 BBC 和 NHK 联合开发的 HDR 标准，它与标准动态范围（SDR）显示兼容，但它需要 10bit 色深。HLG 定义了非线性电光传递函数（EOTF），其中信号值的下半部分使用伽马曲线，信号值的上半部分使用对数曲线。HLG 标准免版税，与 SDR 显示兼容。HLG 由 HDMI 2.0b、HEVC、VP9 和 H.264 / MPEG-4 AVC 提供支持。HLG 主要应用于广播以及部分流媒体，如 BBC iPlayer、DirecTV、Freeview Play 和 YouTube。

 

Dolby Vision翻译为杜比视频高动态技术，通过提升画面亮度、扩展像素动态范围来提升影像效果，进而达到我们所要求的的目标。

杜比视界 HDR 是由杜比实验室提出并定制的 HDR 当前最高级标准，与 HDR10 不同的是，它不是开放的标准，需要使用它必须交付一定的版权费用。杜比视界要求必须使用宽色域 Rec.2020 色彩空间， SMPTE ST 2084（PQ）图像传输功能，与 HDR10 不同的是，它采用 12bit 色深，并且支持动态数据元结构，杜比视界允许 10000 尼特的最大亮度（目前在设备中最高只达到 4000 尼特）。

 

15、4K Video Capture @ 120 FPS

骁龙865支持4K 120fps的慢动作视频录制。

作为电视行业显示技术的革命性突破，4K已经成为行业内的常青树，热度从2012年开始就一直是有增无减。那么，为何4K的热度一直有增无减呢？画质技术作为电视的核心要素，与3D、多屏互动等技术相比，画质技术给人们带来的不是一时新鲜感，它是从本质上提升电视的表现力，让用户能够感受到最优秀的画质所带来的视觉盛宴。

120fps的慢动作视频录制，让用户在体验优秀画质的同时，也能放慢脚步，欣赏每个画面的细节。

 

16、4K HDR Video Capture with Portrait Mode (Bokeh)

骁龙865支持4K HDR视频录制，同时还可以做肖像模式下的背景虚化。

这条特性中，有几点需要注意。

第一点就是bokeh，即背景虚化。首先，我们了解一下景深。景深（DOF，Depth of Field）就是指聚焦后的清晰范围，也就是在摄影机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围。光圈、镜头、及焦平面到拍摄物的距离是影响景深的重要因素。景深越浅代表着清晰的范围越小，景深越深则是清晰的部分比较大。

光圈越大(Ｆ数值越小），照片清晰范围越小这样越适合凸显出主体。光圈越小(Ｆ数值越大），照片就会越平面，会比较没有前中后景的距离感。运用了这个原理，我们就能够拍出非常浅的景深，实现背景虚化。这个效果也是众多摄影师在拍摄人像时所追求的效果。

第二点是Portrait Mode。手机拍照分为Landscape mode和Portrait mode。

Landscape mode称为风景模式，也叫横屏模式，宽度大于高度有着更宽阔的视野，适合欣赏风景。Portrait mode称为肖像模式，也叫竖屏模式，高度大于宽度能给站立的人物一个特写，适合肖像拍摄。

肖像模式下的背景虚化，让拍摄主体更加清晰、突出，增强了拍摄效果，这也是用户所追求的。

第三点是HDR video，HDR一般需要不同曝光的多帧进行融合，所录视频按照4K 30fps来算，sensor需要输出4K 120fps（按照低中高三种曝光），ISP IP也需要处理4K 120fps，还需要加上HDR融合。这对ISP IP的压力也不小。

 

17、Multi-frame Noise Reduction (MFNR)

骁龙865支持多帧去噪功能。

所谓多帧降噪就是在夜景或者暗光环境下，相机在按快门到成像的时候会采集多张/多帧照片或者影像，在不同的帧数下找到不同的带有噪点性质的像素点，通过加权合成后得到一张较为干净、纯净的夜景或者暗光照片。通俗地说，就是手机在拍摄夜景或者暗光环境的时候，会进行多个帧数的噪点数量和位置的计算和筛选，将有噪点的地方用没有噪点的帧数替换位置，经过反复加权、替换，就得到一张很干净的照片，其实最终成像的照片是由多个帧数的影像合成的。

由于多帧降噪利用时域信息，多帧融合，有时会出现部分物体的重影，影响拍摄质量，好的算法可以解决该问题。不知骁龙865的效果如何？我们拭目以待。

 

18、Real-time object classification, segmentation and replacement

骁龙865支持实时物体分类、分割和替换。这些功能应该归功于它的CV硬件加速器，但强大的AI处理能力也功不可没。

从高通骁龙845开始，高通就不断强调AI性能的重要性。配合新一代Adreno GPU、Hexagon DSP以及Spectra ISP，相较骁龙845移动平台，高通骁龙865移动平台实现了5倍的AI性能提升，即便是对上去年的骁龙855，高通也实现了2倍性能的提升。强大的AI处理能力为相机实时AI功能提供了有力保障。

 

骁龙865的camera性能指标已成为行业标杆，它将引领新一轮超高分辨率处理性能竞赛。其他厂商定然会奋力追赶，加速自身camera性能提升。我们广大用户很快就会看到除了多摄（四摄、五摄等），还有雨后春笋般出现的2亿像素拍照，960fps视频慢录等camera功能，大家拭目以待。

 

如需获得更多内容，敬请关注我的微信公众号：平凡程式人生。