手机是近10年来最重要且发展最快的计算平台，其发展速度之快，竞争之激烈，让手机厂商每隔几年就得切换不同的产品卖点。起先是系统定制化，之后是屏幕尺寸和分辨率硬拼，再往后变成了机身材质和设计，而现在手机厂商PK的核心点，变成了拍照。
拍照体验和绝对画质一直都是用户和厂商关注的重点，我们也能注意到手机成像在这10年间几乎疯狂的进步速度。画质之外，今年手机双摄开始普及，让手机获得了以前只有单反才能提供的“变焦”和“虚化”能力。
所有这些成像进步的背后，除了CMOS和镜头模组厂商的努力外，最大的功劳还是得归功于手机上最为核心的移动。无论是ISP吞吐量、DSP性能，还是针对多种双摄和单摄解决方案的支持，当今能在这些方面都站在顶峰的，暂时只有现役安卓旗舰的御用旗舰移动平台骁龙835了。
物理定律的极限，移动拍照的突破点
“底大一级压死人”是数码摄影时代最大的定律，传感器的单位像素越大，进光量就越大，信噪比的提升可以带来更好的宽容度和细节表现。在传感器原理出现革命性变化前，这是无法挣脱的物理定律。
但手机作为移动设备，传感器同时受到体积和功耗的物理限制。不过，手机虽然传感器小，进光量不足，但能否通过连续拍摄多张照片，甚至是通过多个摄像头同时拍摄得到的多张照片进行合成，从而变相地提高单位进光量，进行曲线救国式的改进和提升呢？
答案是肯定的，而且已经大规模应用了，前者就是大家经常用到的HDR和夜景模式的处理机理，而后者就是现在双摄潮流的本初目的。但从早年移动平台疯狂增长的像素数目，到后来HDR和夜景模式的多帧合成技术，再到现在的双摄潮流，所有这些都得建立在移动平台强大的性能支持上。
对于手机拍照芯片级优化的三个层级：
1.最基础的是底层的ISP吞吐量和性能，特别是双摄/多摄方案中，翻倍的数据量更加需要吞吐量和性能；
2.再往上，是正在发展的DSP辅助优化。因为移动平台特有的性能和效率的问题，高通引入了定向优化的DSP芯片，甚至可以在无需唤醒CPU的情况下，低功耗而且高速地完成照片暗部提亮和降噪过程；
3.而未来的终极之争，则是机器和深度学习。多帧合成降噪，以及最近大热的双摄虚化景深模拟，物体识别等领域都需要深度学习的支持。
而在骁龙高度优化的异构计算构架的理念下，对应的成果和方案，硬件上是高通骁龙835移动计算平台上性能凶残的Spectra 180 ISP和Hexagon 682 DSP，而软件上则是其背后的Zeroth认知和深度学习平台。
霸道的性能基础：Spectra 180 ISP和Hexagon 682 DSP
早期的手机拍照中，CCD/CMOS传感器搜集的数据都得CPU亲自处理。但CPU是负责处理通用逻辑数据的非定向电路，其通用性虽强，但在处理照片数据等特定领域上的速度和效率并不高，而且也会相当费电。
随着手机像素的暴涨，CPU很快就无法跟上脚步，为了解决这个问题，手机领域也引入了相机上的ISP（Image Signal Processor 图像信号处理器）。作为专门为摄影图像处理工作而设计的电路模块，ISP的效率和性能都是CPU所无法匹敌的。
在相机领域索尼Bionz、尼康Expeed和佳能DIGIC这些大名鼎鼎的主控，其核心部分都是ISP，各家相机厂的成片风格和体验，都源自ISP的电路设计。而在手机上，即便用着相同的传感器，因为用的ISP和算法不同，成片也会有差天共地的分别。
手机上的各种实时滤镜、实时HDR、夜景多帧合成，都会让ISP的处理量翻好几倍。而在双摄出现之后，ISP需要处理的数据量又翻了一番。为此，骁龙835的ISP被设计得异常强悍，Spectra 180由双14bit的ISP组成，最高支持一个3200万像素的摄像头，或者2个1600万像素的摄像头。
这是现役SoC中规格最高，对双摄支持最宽裕的ISP。在主流双摄还在双1200万像素的情况下，其还留有宽裕的余量，厂商可以在双1600万像素以下随意进行双摄搭配组合。
在ISP之外，高通在移动计算平台和异构计算构架的理念下，从骁龙820开始引入独立的DSP（Digital Signal Processor，数字信号处理器），其内置的HVX（Hexagon向量扩展）专门用于图像和视频处理、虚拟现实和机器视觉等应用，而在骁龙835上已经升级为Hexagon 682 DSP。
Hexagon 682 DSP通过2个HVX的两条矢量线程并行工作，每个线程提供 1024bit的 SIMD矢量数据寄存器带宽，比普通ARM核心64bit的SIMD NEO管线的带宽要大得多，可以让每个HVX以每个指令周期4096bits以上的速度运行，而一个CPU核心仅能提供每周期 128 bits的处理能力。
此外，其可以为标量指令提供4个线程，每个包含4条VLIW管线，而且标量和矢量指令都可以并行处理，可用于并发处理大量的音视频任务。借助于SIMD和系统的特性，单个指令可以一次操作多个数据，因此在计算中很多数据可以被一次性填充进入处理过程，实现效能的最大化。
继续强化：对焦、黑白双摄优化与平滑变焦
Spectra 180 ISP和Hexagon 682 DSP搭配，还骁龙835支持硬件Zig-Zag多重曝光HDR功能，该HDR图形技术可以通过长短曝光进行图像的交错处理，从而提供实时的HDR图像预览、HDR录像和零延迟的快门。
在弱光情况下，ISP 和 DSP 可以自适应地增亮视频和照片中较暗的区域，因为Hexagon 682的加入，骁龙835在执行这个操作时，速度比上代产品高3倍以上，而且能耗仅有之前的10%左右。这个过程中甚至无需唤醒CPU，不但速度更快，而且功耗更低。
而在手机拍照上，对焦是一个绕不开而且根本性的问题。手机因为传感器进光量小，在传统的反差对焦性能上远弱于相机，几年前的手机拍照不佳，其实很大程度上是因为对焦能力不足而虚焦了。
因此，骁龙在Spectra 180 ISP中加入了混合对焦系统的支持，可以基于现场光线环境自动选择最好的对焦方式。其支持2PD对焦，后者传感器的每个像素内置光电二极管，一个用于成像，一个用于对焦，让传感器的每个像素点都可以用于进行相位检测，从而大幅提升对焦速度，从而达到普通PDAF两倍的暗光对焦速度。最著名的例子就是三星S7/S8上使用的IMX260/333和S5K2L1/S5K2L2传感器，其对焦速度和体验，直到现在都没有可以匹敌的对手。
在双摄的支持上，Hexagon 682 DSP的加入，让已经用到双1600万像素摄像头的一加5，反而拥有比前代更快更好的拍照体验。巨大的性能余量，让其没有了前代连续拍摄HQ和HDR样张后的前台处理等待时间。骁龙835的ISP和DSP，在厂商把像素用到极限之后，还能表现出比前代处理器和同代产品更高的余量，不得不感谢凶残的硬件规格。
但当移动传感器的单位像素达到1.4μm后，无论是传感器和手机厂商都已经意识到，传感器的硬件规格很快就会碰到天花板，双摄注定会是之后发展的重点，因为这些双摄相关的功能需要大量的软硬件开发工作，很多厂商或许都没有资源进行投入。
为此，骁龙在单摄优化之外，还提供了“彩色+黑白”和“双焦段”两种双摄组合方式的专门设计和优化，甚至也推出了骁龙相机模块。这些软硬融合的硬件和算法，都是OEM厂商可以直接使用的，大幅减轻厂商在工程上的研发压力并加快厂商产品的研发周期。
为了融合两个不同传感器的数据，高通为彩色传感器和黑白传感器搭配的方案开发了“Clear Sight 算法”。通常主摄的传感器通过传统的RGB拜耳阵列搜集颜色数据，而黑白传感器一般只能用于搜集亮度信息，而不是用来捕捉更多的光线。
而高通的算法则让黑白传感器突破这个限制，成像的过程中可以比彩色传感器上搜集更多的光线数据，从而变相增加进光量，提升画面细节，让样张可以比单个彩色传感器提供更高的画面对比度和更纯净的画面。
另外一种主流双摄，是类似iPhone 7 Plus上的常焦+长焦，或类似LG G6/V20上的常焦+广角方案。硬件上，两个摄像头的固定焦段的，在不同倍数的变焦之间，需要数码变焦进行契合。
骁龙835同样提供了支持，OEM厂商可以根据自己的需求，使用不同的传感器搭配不同焦段的镜头，然后通过高通的“Smooth Zoom”平滑变焦功能，让手机能在两个不同的焦段间平滑、无缝并且无损地切换，从而实现类似单反的“变焦”能力。该技术一旦大规模应用，手机就会像当年相机初次引入变焦镜头一样，改变并拓宽用户手机摄影所能达到的范畴。
最高层级的拍照优化：未遇敌手的机器学习
在移动平台，机器和深度学习将会成为真正的杀手级应用，并成为计算机视觉和人工智能助手的直接支撑，而移动摄影将会是最早受益的领域。机器学习虽然听起来非常高大上和遥远，但实际上早在2015年，安卓旗舰开始搭载的各种情景模式相机，就已经应用了高通骁龙系列处理器的开放接口。
而更上一阶的Google，在自家手机系列上的HDR+技术，已经通过前代的Hexagon 680 DSP，使用Halide语言提供的深度学习能力进行图形处理加速了。这些功能特性的背后，是高通在2014年建立的Zeroth认知计算平台，其通过视觉认知让移动设备能够利用计算机视觉、终端深度学习，从而获得具备情景、物体识别，甚至是OCR识别文本和笔迹的能力。
而其硬件基础，是高通在骁龙835上加入的神经网络SDK支持，厂商可以自定义神经网络层级。此外，Hexagon 682是首个同时支持TensorFlow 和Halide 两种主流机器学习语言的DSP，其在这方面的性能是CPU的8倍，但却比CPU省电25倍，本身就是面向多领域多平台的机器学习芯片。
具体到拍照场景，骁龙835的Hexagon 682 DSP同样可以用于面部检测和人脸识别，OEM厂商可以通过这些特性来改善自动对焦性能或进行人像美化，甚至是在视频拍摄过程中的进行人工智能识别从而完成追焦任务，以此在拍照硬件瓶颈期获得大幅的对焦优化。
在HDR、夜景多帧合成的过程中，机器学习可以帮助手机识别场景和物体边缘，提供更好的锐化和降噪效果，这些都是传统算法和硬件都无法提供的可能性。而在即将全面爆发的双摄领域，无论是黑白双摄的画面数据合成和优化，长短焦双摄的平滑变焦，还是背景虚化算法所需的物体边缘识别和抠图，都是机器和深度学习的即将大展拳脚的地方。
总结与展望
“最好的相机，就是美好瞬间来临时，你手上的那台”。随身携带，高速开启的手机是绝大多数人最重要的记录设备，手机拍照的重要性只会越来越高。在硬件上，手机传感器很快会遇到物理上的瓶颈，未来的突破点，将会集中在算法、ISP、DSP芯片以及它们所能提供的机器学习能力上，这些也是手机以后能否追上甚至超越单反的关键所在。
在这方面，业界的布局基本定型：联发科被卡在低端入门产品根本无暇顾及，苹果双拳难敌四手，拍照早已被骁龙阵营的安卓旗舰超越且距离越拉越大。高通骁龙835这一代已经拉开了非常大的差距，性能凶残的Spectra 180 ISP和Hexagon 682 DSP提供了宽裕的硬件基础。
骁龙对于单摄方案的优化、2PD等混合对焦的支持、专门为双摄优化的黑白传感器数据合成、多焦段镜头的平滑对焦，再到机器学习上的积累，这些领域都难有可以匹敌的同代对手。
对于OEM厂商来说，骁龙移动计算平台代表的远不止最强性能和最强基带，无论是地位越来越重要的移动拍照，还是对拍照和其他功能都有里程碑意义的机器学习优势，骁龙平台都还没遇到对手。