骁龙865终将成为内容视频创作者的“利刃”

计算摄影时代下的产物： 功能性“媲美”单反，智能化远超单反。 提到刚刚发布的高通骁龙865，你最关注的点是什么？ 像PC一样自带“独立显卡”，还是支持144Hz高频刷新屏幕，亦或是性能显著提升的X55 5G基带？ 而我的关注点则在于其SoC强大的算力对于手机摄影能力的进一步提升。 在这个“人人都是自媒体、Vlog美图满天飞”的时代，手机的拍摄能力已经成为用户选择手机的关键性考虑因素，而如何玩转手机摄影不光是小米、OV这些OEM的事，更是高通这些上游芯片厂商的“分内事”。 相比更依赖器件性能的单反相机，如今的智能手机摄影能力靠的是手机OEM厂商的结构设计和算法优化、CMOS厂商的硬件供应、以及高通等芯片厂商强大的算力支持，缺一不可，这便是今年骁龙技术峰会主题演讲上Qualcomm Technologies产品市场资深经理PJ Jacobowitz口中的计算摄影，摄影与算法的结合。 “我喜欢单反相机，但是计算摄影才是摄影的未来”，Jacobowitz表示，“它不再像单反相机一样只有一个镜头，而是像小米CC9 Pro一样拥有5个镜头，5个摄像头、5个图像传感器，与AI协同带来出色的影像。 ” 随着消费者对于手机摄影等功能化要求的不断提升，手机SoC芯片已经不再是一个单纯的“动力系统”，而更像是手机的“智能大脑”，它需要在不同的功能场景下调用其中不同的模块提供算力支持，而如今的手机摄影（计算摄影）几乎调用了手机SoC芯片除了信号基带以外的所有模块，主要为ISP和AI模块。

计算摄影需要芯片支持

计算摄影是一个新词，但又不是一个新词，各大手机OEM厂商常常挂在的嘴边HDR便在计算摄影的范畴之内，然而直到ISP和AI崛起，计算摄影才被正式“提到日程”。 常玩单反相机的朋友们可能都知道，如果你想要通过后期修出更美的图片，那么RAW格式直出的图片是更好的选择，而这得益于单反相机强大的光学硬件保留下的更多细节。 但如果你对比过目前智能手机的RAW直出原图和通过各种算法生成的JPEG格式图片（计算摄影），你就会发现手机CMOS真的“渣”（相比单反）以及AI算法真的强。 计算摄影，简单来说就是将计算和摄影进了高度融合，或者说“利用”数字计算进行摄影，而不是像单反一样纯靠光学处理，因此如今的手机摄影更加依赖手机SoC芯片的强悍性能，而CMOS在重要性上或许已经不能排在No.1了。 事实上，手机摄影依赖SoC芯片这件事，早在计算摄影名词未火热的诺基亚时代便已“实锤”。 2013年，诺基亚Lumia 1020横空出世，继承前辈诺基亚808 PureView 4100万像素摄像头的它成为彼时手机圈的焦点，第二代O.I.S.光学防抖的蔡司认证镜头、氙气闪光灯+ LED补光灯、数码3倍无损变焦、以及4秒长曝光的硬件参数组合，即使放到今天也异常强悍。 同时，诺基亚在当时还提出了“超采样技术”，这项技术是在4100万像素的基础上，将7个像素压缩为一个超级像素，通过像素合成的方式输出一张500万像素的照片，让照片看起来更加清晰细腻，这种将多个像素压缩为一个像素或者将多张照片合成为一张照片的技术在现在看来已经非常普遍，它便是计算摄影重要的组成部分，而这需要手机SoC芯片异常强大的算力支持，而彼时的高通骁龙S4处理器完全不能胜任。 ▲高通骁龙865芯片 也正因为算力的缺乏，彼时的Lumia 1020展现出的实际拍照效果与其强大的镜头硬件完全无法匹配，拍照发白、夜间色彩差、以及相机启动较慢等问题频出，尽管当时很多媒体将原因归结为Windows Phone系统问题，然而更重要的原因则是当时的手机SoC芯片的算力无法支持如此庞杂的算法。 或许是某些手机厂商并没有意识到手机SoC芯片对于手机摄影的重要性，又或是它们低估了其算法设计背后的算力，同样类似的“失败产品”在随后同样屡见不鲜，比如最早号称拥有一亿像素的金立E8、以及2019年初刚刚发布的需要同时处理5颗摄像头的诺基亚 9 PureView（现HMD旗下），算法优化不好和算力不够强大算力是如今很多手机拍照慢、发白发亮的重要成因。 目前来看，计算摄影主要依赖手机SoC芯片中的两大模块——ISP和AI模块。ISP，即图像信号处理单元，主要作用便是对前端图像传感器输出的信号做后期处理，如降噪和HDR补正。 由于算力有限，其主要是在600lux光亮以上智能HDR调节中发挥作用。 同时，ISP芯片也可以实现人脸识别和自动场景识别等功能。 而在光线较暗或者夜景模式下，手机SoC芯片中主要发挥作用的便是AI模块，即嵌入式神经网络处理器，高通称之为AI Engine人工智能引擎，简单来说就是利用AI算法进行“修图”。

Spectra 480 ISP全新升级“媲美”单反

为了带来更强悍的计算摄影性能，高通最新的骁龙865处理器进行了诸多升级，其中最关键的两点便是Spectra 480 ISP和第五代Qualcomm人工智能引擎AI Engine。 “Spectra 480 ISP拥有两个非常出色的特性： 第一，它支持每秒十亿级像素处理速度，也就是说用户能够以30FPS记录6400万像素的画面； 第二是专业级图像质量”，Qualcomm Technologies产品管理高级总监Judd Heape表示。 据悉，Spectra 480 ISP由三部分组成： HiSpeed Capture模块，即图像传感器相互连接的地方，能够高速处理数据流； EVA视频分析引擎； HEIF，它能够压缩、编码和存储用户的图片和影像。 Spectra 480 ISP将为计算摄影带来了全新的应用场景。 ▲高通骁龙865芯片 首先便是全屏下的“多点对焦”，Spectra 480 ISP将对焦点从图像传感器的中心升级至了整个传感器，对焦点数量是原来的9倍。当我们拍照时，手机将实现端到端的对焦，能够自动便捷的选择对焦点，这等同于单反相机的“全对焦区域自动”。 这样一来，未来我们拍摄视频时完全不必再担心追焦过慢或者失焦，“一镜到底”再也不会存在技术问题，这对于抖音这些短视频创作者的帮助无疑是巨大的。 其次，全新的图像传感器。据了解，目前图像传感器均采用拜耳阵列方法采集图像，每个阵列包含红、绿、绿、蓝色的4个微小像素，这些像素会被ISP逐一处理，通常来讲每个时钟周期只能处理1个像素，而全新升级的Spectra 480 ISP可以实现每时钟周期处理4个像素，处理效率高达每秒20亿像素，让2亿像素拍照成为现实。 除了超高像素拍摄，超高的处理速度还支持Spectra 480 ISP放慢时钟周期，用更低的功耗和更低的运行温度完成同样的处理任务。 高通官方数据显示，当用户拍摄4K@60fps视频时，功耗比前代降低了16%，这能够带来更长的续航，充分缓解Vlogger们的电量焦虑。 这种全新的图像传感器像素阵列（4单元色彩滤镜阵列（Quad CFA）图像传感器）是过去拜耳阵列的4倍，由于尺寸巨大和像素阵列等原因很难处理。 为此高通利用硬件加速来更好地处理这些图像传感器，随着1亿甚至2亿像素时代的到来，图像传感器将更加依赖于硬件加速。 第三，弱光环境的降噪体验。相比上一代，Spectra 480 ISP增添了全新的噪点过滤内核，它能够帮助减少弱光拍摄环境下常见的噪点，同时保留了纹理的边缘和细节。 数据显示，该专用降噪内核能够实现图片纹理效果18%的提升，这将近一步帮助手机OEM厂商提升夜景模式的拍摄能力。 第四，实现局部运动补偿。简单来说，Spectra 480 ISP可以处理场景中的任何局部运动，这在之前是无法实现的。 此外，Spectra 480 ISP针对降噪的像素处理能力相比前代提升了40%，这意味着用户拍摄的所有视频能够流畅播放，并且图像噪点相比前代减少了很多，这将近一步推动Vlog、抖音等长短视频的近一步发展。 第五，边录边拍（视频和照片同步拍摄）中照片像素的提升。以往，当我们拍摄4K视频时，同时刻截取的照片画质实际上只能达到800万像素。 而如今在每秒十亿级像素处理速度的基础上，Spectra 480 ISP能够实现在录制4K HDR视频的同时拍摄6400万像素的照片。 此外，Spectra 480 ISP能够实现迄今为止移动终端所能拍摄的最高像素照片——2亿像素的照片，也就是说1亿像素或许并不是2020年手机OEM厂商的主号角，2亿像素才是主角。 据高通Judd Heape透露，2020年，搭载骁龙865的移动终端将配置2亿像素图像传感器，而这一高性能传感器目前只有骁龙865移动平台能够支持。 最后，支持HEIF全新文件格式。它能够将照片和视频的文件尺寸减半，大大削减了图片和视频的手机占用空间，令很多用户可以重新用回64GB存储，也令旗舰手机入门级价格有所降低。 同时，HEIF文件格式还能够实现多种功能，包括拍摄和保存HDR图像，将视频与静止图像混合，支持CV处理并保存全部CV数据，以及处理景深图（depth map）等。 其中景深图是高通与Google合作的项目，Google特意为景深图开创了新标准，令其能够存储在HEIF容器中，用户可以将普通图片以及实现背景虚化效果的图片存在同一文件及同一个图像容器内，随时提取调用。 HEIF文件格式还支持用户添加EXIF数据，用户能够随时使用这些EXIF数据，并能获取图像的具体拍摄地理位置，了解当时拍摄相机的状态，例如当时拍摄的光照条件、光圈大小以及快门速度情况，这类似于单反相机，既可以让观看者能够查看照片的拍摄详细方法，又可以有效保护拍摄者的版权信息，这可以说是为内容创作者量身打造的。

AI引擎让拍摄更智能

如果说Spectra 480 ISP强大的硬件升级让骁龙865在功能上更加接近单反相机，那么第五代Qualcomm AI Engine则让拍摄变得更加便利和有趣，自带“修图”属性让手机远比单反智能。 基于全新的第五代AI Engine，高通带来了图像分割、语义分割、以及无缝变焦等功能。 其中，图像分割是一种全新的拍摄方式，我们在拍摄人像照片或视频后，图像分割可支持让图片中的主角呈现为彩色，周围其他人呈现为黑白； 或是拍摄某处风景照后，将灰色天空替换成蓝色天空，这令创作者能够产出更有趣的内容，让Vlog等视频形式更加丰富。 而语义分割则是一种更细致的AI修图方式，即AI Engine会将整个图像或视频分割为各个语义区域，并针对各区域进行针对性优化，比如让眉毛更加浓密、让天空噪点更低并压制高光等等。 语义分割更像是一个后期修图大师，为你拍摄后的照片进行精密P图，这令我们在黑暗或者大逆光下也能够拍摄出更清晰的画面，这也是目前手机OEM厂商得以实现超级夜景、逆光也清晰的根本技术支持（目前是上一代）。 无缝变焦方面，高通将与虹软（ArcSoft）合作完全改变传统的变焦方式，让变焦如同单反相机的机械变焦一样顺滑。 此前，我们利用手机拍摄视频时，总能发现从超广角到长焦的变换痕迹，那种“跨越”极大影响了视频的美观，而此次变焦上的改变将再一次助力视频内容创作者。 此外，高通骁龙865针对视频拍摄上还做了进一步升级，支持包括8K@30FPS（3000万像素）和4K@120FPS视频拍摄、杜比视界（Dolby Vision）、以及不限时慢动作拍摄等。 如今，骁龙865正式推送了HDR视频拍摄的第四代，并业界首度支持杜比视界（Dolby Vision）视频拍摄功能，无论是手机还是其他带摄像头的产品均可以。 美国杜比实验室推出的这项影像画质技术，可以有效提升视频信号保真度，从而让图像的无论从亮度、色彩还是对比度角度看都非常逼真。 简单来说，就是让用户可以拍出更优秀的视频，甚至无需后期便可以直接剪辑。 同时，4K@120FPS视频拍摄的引入既提升了视频拍摄的流畅度，又促进120Hz刷新率屏幕手机的向前发展。 4K@120FPS也可以应用于拍摄慢动作视频中，同样业界首创支持以4倍于4K@30FPS的效果播放慢动作视频。 而不限时慢动作拍摄方面，过去当我们拍摄慢动作视频时通常只能以720P分辨率拍摄，其主要是因为在进行超过480FPS视频拍摄慢动作视频时，通常是使用插帧（frame interpolation）的方式实现的，并不是原生的480FPS。 但是骁龙865能够支持原生720P@960FPS的慢动作视频拍摄，这是通过ISP极速运行的。 值得一提的是，过去我们在拍摄960FPS甚至更高数值的慢动作视频时必须面对的一个问题，即必须要在动作发生的同时快速按下录制键，而那时候的慢动作拍摄一般只支持不到0.24秒，要准确地捕捉动作的瞬间非常难，很容易错过。 而如今，我们可以基于骁龙865移动平台不限时拍摄720P@960FPS视频，不会遗漏细节，这又将是视频创作者的助力。 而且骁龙技术峰会demo展示区的样机已经能够支持体验这一功能，在实际拍摄时，AI Engine也会自动识别镜头中高速运动的物体，即便将手机放在远处自拍视频，骁龙865的AI Engine也能够自动为用户录下960FPS的超慢精彩瞬间，为视频拍摄解锁更多有趣的创意。 整体来看，骁龙865在计算摄影方面的升级主要体现在更接近单反的功能操作体验和助力内容创作两方面。其中，无论是多点对焦，还是支持EXIF数据，亦或是机械般顺滑的变焦体验，都是高通骁龙想让手机摄影在功能体验上接近单反相机，创造更专业的拍摄体验。 而另一方面，高通对于视频拍摄的优化将进一步推动如今Vlog、抖音等长短视频的向前发展，搭载骁龙865的手机将成为内容创作者的生产力工具，不限时慢动作拍摄让创作更容易捕捉瞬间，而杜比视界、语义分割、局部运动补偿、以及弱光环境降噪将提供更优质的照片或视频画面，图像分割则为创作者提供了一种全新的视频展现模式，随着更多应用程序基于骁龙865的软硬件特性进行深度优化，想必还会有更多有趣的功能特性面世。 同时，2020年的手机SoC芯片也不再单纯影响手机性能，而会在一定程度上驱动其他硬件升级，甚至左右价格，120Hz高刷新率屏幕和2亿像素注定将成为2020年手机行业的主旋律之一，而旗舰手机64GB存储的入门级版本或将成为热门机型。 2020年是5G高速发展的一年，也将是计算摄影推动下长短视频行业高速发展的一年。 随着骁龙865平台的落地应用，越来越多的人将会放下单反、拿起手机来创作视频和图片内容。 *本文版权归“PingWest品玩”公众号所有，未经授权严禁转载。