智能手机双摄像头产业链、工艺、及原理

智能手机双摄像头产业链、工艺、及原理

http://www.tbqw.com/art/116192.html

栏目：科技数码   发布时间：2017/03/16   来源：光电与显示   编辑：TPDISPLAY

跟着近两年手机双摄技术的发展，双摄像头技术在夜拍降噪、快速对焦、光学变焦、景深利用等方面已展现出了较好的效果。这离不开从底层的图象传感器芯片到中层的双摄处理算法再到顶层的手机厂商的一系列的努力。今天来讲一说和手机双摄有关的产业链。

双摄像头市场由终端客户，算法公司，模组厂，零组件供货商，平台厂等共同组成。


双摄技术的难点

1、算法资源稀缺。
目前全世界核心的双摄算法公司唯一Arcsoft、Corephotonics、Altek、Linx(已经被苹果收购）、平台厂等几家。而产品利用与设计都是基于算法基础开展的。

2、制造难度大、产业范围化投资大。
双摄模组相较于普通的单摄模组，对制造精度有着更严格的请求，因而制造难度较大，对技术和装备都有特别高的请求。对这个问题，行业做出不但一次的探讨，终究找到解决办法：引进AA制程。但引进AA制程的进程中，产业也仍需要再次面临高本钱、高技术等新问题。

双摄算法公司
算法是双摄利用与技术的基础，选择的算法方案抉择了技术设计方案，配合的硬件选型，制造难度等。目前能提供成熟算法的公司寥寥可数，各家所善于的领域又各有不同。全世界规模内知名的双摄算法公司主要有：

虹软（ArcSoft）1994年在美国硅谷成立，目前主要研发中心设在中国大陆的杭州、沪、和南京。虹软的强项是光学变焦、暗光拍照、HDR、重对焦等。手机合作厂商有：三星、LG、小米、vivo等。

一家以色列的公司。其算法的优势主要在光学变焦（optical zoom）和夜景拍摄（nightshot）、光学防抖（optical image stablization）、光学焦外成像（optical bokeh）。手机合作厂商有：三星、OPPO等。

华晶科技是1996年成立的一家台湾的公司，在距离利用，光学变焦和暗光补偿都有所建树。

Linx由三星算法团队前负责人和以色列国防公司RafaelAdvancedDefenseSystems的高档光学专家在2011年所共同创立，2015年被苹果公司收购。其技术已用在了iPhone7 Plus的双摄中。

另外，平台厂商高通、联发科、华为海思、沪兴芯微（X-Chip）都有自己的ISP（图象处理器），也在开发自己的双摄算法。

双摄图象传感器供应商

双摄图象传感器供应商主要有：Sony、Samsung，OmniVision，格科微。其中Sony拥有霸主地位，得益于它在高像素领域的技术领先地位，其图象传感器已成为中高端手机的标配。主要客户为苹果、Samsung、OPPO、Vivo等手机大厂。

双摄 模组供应商

双摄模组厂拥有较高的技术、资金、客户资源壁垒。目前主要的双摄模组供应商依照地区别以下：

• 韩国：三星机电（SEMCO），LG Innotek（iPhone 7 plus）、Namuga
  
• 日本：夏普（Sharp）、索尼（Sony）
  
• 大陆：浙江余姚舜宇光学（Sunny）、深圳欧菲光（O-Film）、江苏昆山丘钛（Q-Tech）
  
• 台湾：光宝（Liteon）、富士康
  
• 香港：信利（Truly）
  

其中对比有竟争力的主要有：光宝，舜宇、信利、三星电机、Namuga。这里我们重点说明大陆的模块厂商表现。

舜宇作为大陆最老牌的模块厂，技术积淀最为深挚。在双摄上到达自研AA装备的水平。2015年舜宇宣告双摄研制胜利，2016年成为华为P9双摄的主供货商。舜宇目前是大陆双摄最受益厂商。

欧菲光2012年成立，作为模块厂的后来者，在人材与装备引进上从不小气，发展势头惊人，2015年下半年出货量跃居国内首位。小米是其走量最大的客户，同时依托和小米的合作，欧菲光实现双摄的量产。

丘钛作为大陆第三大的模块厂，在双摄上投入巨资购入AA装备。为了抢夺双摄定单，丘钛在市场上报价相对于偏低。依托红米PRO，胜利量产双摄，并独家供应乐视酷派COOL1。红米与COOL1都是主打性价比的千元机，利润有限。丘钛要想向上突围还需努力。

双摄镜头厂商

双摄技术对镜头的一致性、FOV（Field Of Vision）等请求对比高，市场领头羊是位于台湾的大立光电（Largan）。随后就是中国大陆的舜宇光学。此外像日本的康达智株式会社（kantatsu），韩国Sekonix等公司技术实力也对比强，但要被陆厂大范围采取不太现实。

双摄马达供应商

双摄一般采取音圈马达(Voice Coil Motor，简称VCM），市场选型集中在：日本的TDK株式会社、三美机电株式会社（Mitsumi）、韩国的Jahwa几个厂商。

双摄AA制程
AA（Active Alignment）制程，即主动对准技术，是一项肯定零配件装配进程中相对于位置的技术。

在摄像头封装进程中，触及到图象传感器、镜座、马达、镜头、路线板等零配件的多回组装，传统的封装装备均是依据装备调理的参数进行零配件的移动装配的，因而零配件的叠加公差愈来愈大，终究表现在摄像头上的效果是拍照画面最清晰位置可能偏离画面中心、四角的清晰度不均匀等。

传统常规制程和AA制程的区分以下：


具体说来，理想的封装结果以下：


然而理想很饱满，现实却很骨感。实际操作时极可能会呈现镜头有装配误差的情况：


实际操作时也可能会呈现镜头和图象传感器都有装配误差的情况：


而在图象传感器的分辨率不断增添和单像素尺寸不断减小的情况下，镜头组装到传感器的相对于定位的准确性请求愈来愈高，传统的封装装备已不能知足。

而AA制程采取了不同的思路，再也不请求每一个零配件的组装都到达局部最优，而是采取了更灵便的全局最优方法。AA制程装备在组装每个零配件时，首先检测被组装的半成品，并依据被组装半成品的实际情况主动对准，然后将下一个零配件组装到位，这类方式可有效的减小全部模组的装配公差。AA制程主动校准技术，可调理镜头对准至6个自由度。通过调理相对于位置和镜头歪斜，可确保拍照画面中心最清晰，使得画面四角拥有均匀的清晰度，有效的晋升摄像头产品一致性。这在对产品封装请求更高的双摄像头中尤其首要。


AA制程说起来很简单，就是六个自由度来对模组的装配进行调剂，从而找到正确的对焦位置，然而履行起来却其实不是一件容易的事。可以用“高技术、高投资、高品质”这“三高”来形容AA制程的门坎。

先来讲高技术，其实不是所有的模组都合适做AA，AA模组必需要做尤其的结构设计，并且在出产中要有尤其的夹具来配合。再说高投资，目前的AA机台都是对比贵的，每一台价值30-40万美金。最后说高品质，AA机台除要高效外，还要保证模组调度效力的一致性、不乱性和平衡性。

能提供AA机台的装备公司主要有香港先进太平洋科技（ASM）、日本Pioneer、韩国hyvision几家公司。另外，中国大陆的舜宇光电从2011年开始就在双摄模组开始投入，目前已自主开发有自己知识产权的AA机台装备，在此轮双摄像头的竟争开始阶段跑在了前面。不管是量产经验仍是范围，都将其他厂商抛在了背后。

总结
目前双摄已是众多旗舰机的标配，双摄已经成燎原之势，其在拍照技术上的晋升也逐步得到了市场的认可，预计未来会逐步科普到低端机。同时未来双摄如果能在深度相机上有所突破，必定是对产业链的一次重大变革

智能手机市场一直都是群雄争霸，竟争特别剧烈。跟着时期的发展，各大手机厂商的竟争焦点从之前的硬件军备竟赛逐步延伸到影音文娱领域，特别愈来愈重视手机的拍照机能。跟着手机的快速迭代，单摄像头手机的拍照机能在必定程度上到达极限，要想在拍照领域再度有所突破，必需要借助双摄像头，乃至摄像头阵列才能实现更多的利用。近两年，很多手机厂商推出了双摄像头（简称双摄）手机，摄像头从一个变为两个，究竟是个噱头，仍是真的物有所值，我们来探讨一下吧。

啥是双摄手机？

通俗的讲，双摄手机是指一个智能手机某一面（通常为背面，也可能在前面）上有两个并排（横排或竖排）的摄像头；如果学术一点讲的话，可以称为立体相机（stereo camera）。这两个相机可以摹拟人眼双目视觉原理，应用立体摄影（stereo photography）算法取得三维信息。

双摄手机发展简史


事实上，双摄手机其实不是最近一两年才呈现的新鲜玩艺儿。早在2011年，如日中天的HTC推出了首款配备两颗500万像素摄像头机型G17，但是第一个吃螃蟹的人常常成为先烈，当时双摄像头的配置并未能打入主流市场。主要有两个缘故：一是500万像素画质太低，先拍照后对焦后画质并无得到晋升；二是由于缺少3D利用，让双摄像头成为鸡肋。

跟着手机硬件和相关算法的发展，拥有双摄配置的手机又从新杀入市场，搅起了手机业新一轮的惊涛骇浪。2014年12月，华为光荣6plus双摄手机发布，后置两个平行的800万像素摄像头。随后中兴、乐视、酷派、360、小米等多家公司接踵推出双摄手机。手机业界风向标苹果公司也坐不住了，于2016年9月推出了iPhone 7 plus，后置1200万像素双摄手机，此次iPhone 7 Plus的双摄像头进级是iPhone问世以来在摄像头方面最大的一次奔腾。下图是iPhone 7 Plus的双摄配置。


为何双摄像头配置会卷土重来？


第一个缘故是，用户需求的转变。从单纯寻求高分辨率转到更多元化的利用需求。
之前手机用户对拍照的需求主要体现在寻求更高的分辨率上，譬如Nokia曾发布了高达4100万像素的手机，但这条路显明走偏了， 用户发现自己其实不需要手机实现这么高的像素，反而需要更快的对焦速度、光学变焦、夜拍降噪、提高画质、提高动态规模、乃至三维重建等功能。而这些光靠单摄像头，即便应用繁杂的图象处理算法也难以完整实现。而应用双摄像头搭配相关的算法，可以对比轻松地实现上述功能。

第二个缘故是：手机厚度的限制。
摄像头模组的厚度抉择了手机的总体厚度。一方面用户但愿手机越薄越好，另外一方面拍照机能的提高需要更繁杂更厚的镜头模组。譬如智能手机用单个摄像头实现光学变焦是一件特别难题的事情，要想实现光学变焦需要繁杂的镜头组合设计，这样设计出来的镜头模组就对比厚。所以这二者是不可协调的矛盾。即使是行业翘楚的苹果手机，也没办法很好的解决这一问题，这也是iPhone 6摄像头凸起的主要缘故。从手机外观设计的角度来讲，要解决颜值问题，必需要采取双摄像头。

双摄手机有啥用？


依照双摄手机两个摄像头之间的距离来做个简单分类：

• 两个摄像头之间离得对比近，两个摄像头取景规模相差很小，这样在两张图片进行融会的时候就不会由于错位发生不良的影响，可以应用两个摄像头不同的透露和颜色信息进行融会，展示更真正的颜色，更丰厚的细节，从而大幅晋升成像质量。可以用来做夜景/暗光拍照增强、增添动态规模等利用。
  
• 两个摄像头之间离得对比远，得到的两张图之间相差足够大，可以用算法来获得景坚信息，然后应用景深来做背景虚化，物体分割，三维重建，辅助对焦，动作辨认等利用。
  

下面罗列几个常见的利用。
1、背景虚化


背景虚化是一种经常使用的功能，许多人都对单反相机的大光圈背景虚化效果特别着迷。以下图右是原图，左图是iPhone 7 plus 背景虚化的效果。


2、重对焦


应用计算得到的景坚信息，可以实现先拍照后对焦。

3、夜景/暗光拍照增强


以华为P9为例，其配置一个彩色镜头一个黑白镜头。黑白镜头的大光圈保证了足够的进光量，让画面景物细节轮廓凸显，彩色镜头负责捕捉颜色，经由算法合成后可以显现较好的夜景拍照效果。


4、光学变焦


通过广角和长焦的双摄像头搭配，可让相机具有更远的光学变焦。
以下图左侧是iPhone 7 Plus广角相机拍摄的图片，右侧是长焦相机拍摄的图片。

5、提高动态规模（HDR）


单摄像头实现HDR的策略一般为修改不同的透露时间来得到不同透露环境下的图片，然落后行合成，这样图象处理的时间对比长。这不但致使用户体验很差，而且当场景中有运动物体或相机有移动的话会致使鬼影的问题。应用双摄像头就能够解决这个问题，只需要对两个摄像头设置不同的透露参数，然后对结果进行合成绩可以实现。以下图，上面是两个摄像头拍摄的不同透露参数的图片，下面是HDR合成结果。


6、三维/AR利用


由于通过双摄像头可以计算出景坚信息，所以双摄在三维利用上将会有许多有趣的利用。譬如可以测算物体的物理尺寸和距离，用来做三维丈量；可以通过扫描来对真什物体进行三维建模；可以实现真切的互动性很强的增强现实游戏等。这将大大拓展手机的利用价值。


总结


双摄手机尽管有以上介绍的优势，但依然存在很多问题：因为目前大部份双摄手机基线（两个摄像头的距离）较短，没法计算较远处的景深。所以背景虚化、重对焦等功能依然和单反相机有很大差距，有很多槽点可以吐。三维利用也还处于起步阶段，有许多功能有待发掘。

双摄手机的呈现是行业发展瓶颈催生的必定结果，跟着双摄手机愈来愈科普，双摄功能正趋于成熟，相信最近两年双摄技术会带来愈来愈多的有用有趣的利用。

普通彩色相机（RGB） + 深度相机（Depth）的技术原理。

首先来解释一下啥是深度相机吧。

深度相机

顾名思义，深度相机就是可以直接获得场景中物体距离摄像头物理距离的相机。依据原理不同，主要有飞行时间（TOF）、结构光、激光扫描几种方式（注：有些处所将双目立体视觉相机也列为深度相机的一种，它是单纯依托算法计算得到的深度信息）。目前使用较多的是TOF相机。目前主流的TOF相机厂商有PMD、MESA、Optrima、微软等几家，其中MESA在科研领域使用较多；PMD是独一在室内/外都能使用的TOF相机厂商，多用于科研、工业等各种场合；Optrima、微软则主要面向家庭、文娱利用，价位较低。

由于TOF相机使用的较为广泛，在此主要介绍一下TOF相机的原理。

TOF相机
TOF（Time of flight）直译为“飞行时间”。其测距原理是通过给目标连续发送光脉冲，然后用传感器接管从物体返回的光，通过探测光脉冲的飞行（来回）时间来得到目标物距离。这类技术跟3D激光传感器原理基本相似，只无非3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图象的深度（距离）信息。


TOF组成

TOF相机采取主动光探测，通常包含下列几个部份：

1、照耀单元
照耀单元需要对光源进行脉冲调制以后再进行发射，调制的光脉冲频率可以高达100MHz。因而，在图象拍摄进程中，光源会打开和关闭几千次。各个光脉冲只有几纳秒的时长。相机的透露时间参数抉择了每一次成像的脉冲数。

要实现精确丈量，必需精确地节制光脉冲，使其拥有完整相同的延续时间、上升时间和降落时间。由于即便很小的只是一纳秒的偏差便可发生高达15 c m的距离丈量误差。

如斯高的调制频率和精度只有采取精良的LED或者激光二极管才能实现。

一般照耀光源都是采取人眼不可见的红外光源。

2、光学透镜
用于会聚反射光线，在光学传感器上成像。无非与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。这样做的目的是按捺非相干光源减少噪声，同时避免感光传感器因外部光线干扰而过度透露。

3、成像传感器
是TOF的相机的核心。该传感器结构与普通图象传感器相似，但比图象传感器更繁杂，它包括2个或更多快门，用来在不同时间采样反射光线。因而，TOF芯片像素比一般图象传感器像素尺寸要大很多，一般100um上下。

4、节制单元
相机的电子节制单元触发的光脉冲序列与芯片电子快门的开/闭精确同步。它对传感器电荷履行读出和转换，并将它们引诱至分析单元和数据接口。

5、计算单元
计算单元可以记录精确的深度图。深度图一般为灰度图，其中的每一个值代表光反射表面和相机之间的距离。为了得到更好的效果，通常会进行数据校准。
TOF测距原理

下面来介绍一个经由高度简化的测距原理。

照耀光源一般采取方波脉冲调制，这是由于它用数字电路来实现相对于容易。深度相机的每一个像素都是由一个感光单元（如光电二极管）组成，它可以将入射光转换为电流，感光单元连接着多个高频转换开关（下图的G1，G2）可以把电流导入不同的可以保存电荷(下图S1，S2)的电容里。


相机上的节制单元打开光源然后再关闭，发出一个光脉冲。在同一时刻，节制单元打开和关闭芯片上的电子快门。由光脉冲以这类方式发生的电荷S0存储在感光元件上。

然后，节制单元第二次打开并关闭光源。这次快门打开时间较晚，即在光源被关闭的时间点打开。现在生成的电荷S1也被存储在感光元件上。


由于单个光脉冲的延续时间特别短，此进程会重复几千次，直达到到透露时间。然后感光传感器中的值会被读出，实际距离可以依据这些值来计算。

记光的速度为c，tp为光脉冲的延续时间， S0表示较早的快门搜集的电荷， S1表示延迟的快门搜集的电荷，那末距离d可以由以下公式计算：

最小的可丈量距离是：在较早的快门期间S0中搜集了所有的电荷，而在延迟的快门期间S1没有搜集到电荷，即S1=0。代入公式会得出最小可丈量距离d=0。

最大的可丈量的距离是：在S1中搜集了所有电荷，而在S0中根本没有搜集到电荷。然后，该公式得出d=0.5 x c × tp。因而最大可丈量距离是通过光脉冲宽度来肯定的。例如，tp=50 ns，代入上式，得到最大丈量距离d=7.5m。
TOF相机影响因素
影响ToF相机的丈量精度的因素以下：

1、多重反射。
距离丈量请求光只反射一次。然而镜面或一些角落会致使光线的多回反射，这会致使丈量失真。如果多重反射使得光线完整偏转，则没有反射光线进入相机，从而没法正确丈量反射面的距离。反之，如果其他方向的光通过镜面反射进入芯片，则可能会产生过度透露。见下图。


2、散射光
在镜头内或者在镜头后面产生过剩反射会呈现散射光，以下图所示，散射光会致使图象退色，对照度降落等不良影响。所以要防止在相机正前方有强烈反光的物体存在。


3、环境光
前面说过，深度相机镜头上会有一个带通滤光片来保证只有与照明光源波长相同的光才能进入，这样可以按捺非相干光源提高信噪比。这类方式确切能够对比有效地过滤掉人造光源，然而，我们常见的日光几近能够笼盖全部光谱规模，这其中包含和照明光源同样的波长，在某些情况下（如夏天的烈日）这部份光强可以到达很大，会致使感光传感器呈现过度透露。因而相机如果想在这类前提下正常工作，依然需要额外的维护机制。

4、温度
电子元件的精度受温度的影响。所以当温度波动时会影响电子元件的机能，从而影响到脉冲调制的精度。前面说过一纳秒的脉冲偏差便可发生高达15 c m的距离丈量误差，因而相机要做好散热，这样才能保证丈量精度。

TOF相机输出
那末TOF相机最后输出的是啥呢？

TOF相机内部每一个像素经由上述进程均可以得到一个对应的距离，所有的像素点丈量的距离就形成了一幅深度图，以下图所示。左侧是原图，右侧是对应的深度图。


可以看到深度图实际上是一张灰度图，它是一张三维的图：水平垂直坐标对应像素位置，该位置的灰度值对应的是该像素距离摄像头的距离。所以深度图中的每一个像素可以表示空间中一个点的三维坐标，所以深度图中的每一个像素也称为体像素（voxel）。

深度信息融会
当我们取得了深度图后，下一步就是要把深度信息融会到普通RGB相机拍摄的彩色图片。这一步并不是我们想象的那末容易，需要强大的算法来保障。在此罗列两个因素为例进行说明：

1、深度相机的分辨率目前还对比低，一般都是VGA（640 x 480）下列。而现在普通的RGB相机分辨率都已到千万像素级以上了，是深度相机分辨率的几十倍乃至上百倍。因而需要将低分辨的深度图变为和RGB相机一致的高分辨率，这类“从无到有”的分辨率晋升需要应用彩色图中物体的纹理、边界等内容信息，这个进程要想维持细节是对比难题的。

2、深度相机和彩色相机融会时还需要了解两个相机的畸变系数、光学中心、相对于旋转/平移量等一系列参数，这就需要对两个相机进行相机标定工作。而深度相机的低分辨率至于相机标定工作也是一个较大的挑战。

TOF Vs 双目视觉
读者可能会有疑难，现在双摄手机上的两个普通的彩色相机不就能够计算深度吗？和这个深度相机测距有何不同？

双目立体视觉测距的原理和人眼相似，通过计算空间中同一个物体在两个相机成像的视差就能够依据以下三角关联计算得到物体离相机的距离：


然而说起来容易，算法实现对比难题，双目立体视觉测距算法的核心就是寻觅对应关联。可以理解为给定一个相机拍摄的图片中的任意一个像素点，如何在此外一个相机拍摄的图象中找到和它对应的像素点，这个进程需要特点提取、特点匹配等一系列繁杂的算法。然而因为光照变化、光线明暗等外在因素的影响，拍摄的两张图片差别可能对比大，这会对特点匹配算法提出很大的挑战。以下图是在不同光照前提下拍摄的图片：


此外，如果拍摄的物体缺少纹理和细节（譬如拍摄一张白纸）的话，也很难进行特点匹配。这些都对算法的鲁棒性提出了很大的挑战。

尽管TOF相机和双目立体视觉都能实现测距的功能，然而它们仍是有很大不同，在此我做了了简单的表格以下：



结构光
简单的说一下结构光测距的策略吧！

结构光技术就是使用提早设计好的拥有特殊结构的图案（譬如离散光斑、条纹光、编码结构光等），然后将图案投影到三维空间物体表面上，使用此外一个相机察看在三维物理表面成像的畸变情况。如果结构光图案投影在该物体表面是一个平面，那末察看到的成像中结构光的图案就和投影的图案相似，没有变形，只是依据距离远近发生必定的尺度变化。然而，如果物体表面不是平面，那末察看到的结构光图案就会由于物体表面不同的几何形状而发生不同的扭曲变形，而且依据距离的不同而不同，依据已经知的结构光图案及察看到的变形，就可以依据算法计算被测物的三维形状及深度信息。


业界对比着名的就是以色列PrimeSense公司的Light Coding的方案，该方案最先被利用于Microsoft的明星产品Kinect上。目前该公司被苹果公司收购，可见苹果公司也将在深度相机领域有所动作。

结构光技术受环境光源影响较大，更合适室内的利用场景，而且帧率较低，所以更合适静态场景或迟缓变化的场景。其优势就是能够取得较高分辨率的深度图象。

双目视觉 Vs 结构光 Vs TOF
下表是双目立体视觉、结构光、TOF三种可以丈量深度（距离）的技术方案综合对比：

从上述的对照分析来看，TOF方案拥有响应速度快，深度信息精度高，辨认距离规模大，不容易受环境光线干扰等优势。因而想要在移动端直接实现深度的丈量，最有竟争力的就是TOF方案了。

典型手机
典型代表手机：联想Phab2。

目前可以买到的具有直接深度丈量的智能手机只有Google和联想合作的联想Phab2，2016年11月推出，是全世界首款支撑Google Project Tango技术的手机，其深度相机采取TOF技术方案，由PMD公司提供。

华硕也宣告将在2017年会推出带深度相机的手机Zenfone AR，号称是全世界首款同时支撑Google Project Tango（AR）和Daydream（VR）的手机。

听说iPhone8也将会使用深度相机，果然收购PrimeSense公司是有目的的，我们拭目以待。

深度相机利用
深度相机的利用规模特别广泛：譬如未来几年将会迅速商业化的手势识，以及活体人脸辨认、空间测距、三维重建、AR(增强现实)等领域。

1、手势辨认。
TOF深度相机可以将人脸、身体、手臂、手指从背景中分离，并且这类分割置信度较高，不受自然光变化的影响，同时能够实时性处理，所以这将在智能交互领域大有用武之地。预计近年会迅速进入消费级电子产品中。



2、真正的AR游戏体验。
以下图是Phab2的AR游戏展现。因为在二维图象中融会了实时的深度信息，所以AR游戏的体验对比真实。譬如虚拟出来的一只猫，通过实时的空间深度感知，它可以“感受”到空间的相对于位置关联，当它走到桌子边沿的时候，会很自然地跳到地面上，这在以前的AR游戏中是难以实现的。

3、三维空间丈量。
因为能够实时取得深度信息，所以实现三维空间丈量也是顺其自然的。譬如在室内装修领域，可以利便的将各种虚拟的家具以真正的尺寸摆放到现实环境中，用户拿着手机就能够体验家居放在室内的360°真实效果，这无疑将是一个使人激动的利用场景。


4、三维扫描/重建。
可以用于三维物体和k建模和机器人视觉导航和定位。譬如你看到一座特别喜爱的雕塑，就能够应用手机上的彩色相机+深度相机对它扫描一周，结合相应的算法就能够生成该雕塑的三维模型数据，应用三维打印机就能够利便的打印出一个三维的雕塑复制品出来。

5、更广泛的其他利用。
融入了深度信息的三维影象可以用于活体人脸辨认，防止传统二维人脸辨认的安全隐患；可以更为利便进行人体三维丈量，从而推进虚拟在线试衣行业的发展等。

跟着深度丈量技术的发展，必定还有呈现更多有趣的利用场景。

继2016年双摄手机开始成为旗舰机的标配后后，今年领先的手机厂商或者将联合左右游产业链将深度相机用于智能手机上，上述许多有趣的利用将会扭转我们的人生，我们一块儿迎接这个技术日新月异的智能手机世界吧！

广角镜头 + 长焦镜头的组合方式。这类组合最大的优势是光学变焦（optical zoom）。

先来看看啥是光学变焦吧。

光学变焦镜头一般为由多组独立的凸/凹面镜组成的，有的透镜是固定的，有的是可以沿光轴先后滑动的。繁杂的变焦镜头可以包括多达三十多个独立的透镜以及多个移动部件。

尽管变焦镜头的组成对比繁杂，然而可以依照功能划分为两部份：无焦变焦系统（afocalzoom system）和聚焦透镜（focusing lens）。以下图所示。


变焦的功能主要通过扭转无焦变焦系统来实现，它由多个固定的和可移动的透镜组合而成，然而其实不进行聚焦，它通过扭转光束穿过透镜的位置来到达变焦的目的。以三个镜头为例进行说明。下图中L1，L3是凸面镜，用来会聚光线，L2是凹面镜，用来发散光线。其中L3是固定的。L1，L2是可以沿着光轴移动的，这类移动特别微小，一般通过齿轮凸轮等传统的机械传动方式实现，或更高档的私服系统来实现。下图中L2透镜从左向右移动，凑近L3，同时L1透镜先向左移动再向右移动。从图中可以看到这类组合移动的结果放大了透镜组的视场角，从而扭转了全部透镜组的焦距。

如果有点蒙圈，参看下面这个简化版的变焦动态图，可能更易理解。

说到了光学变焦，不能不提一下数字变焦。

数字变焦（digital zoom）和光学变焦（optical zoom）有着本色的不同，可以简单的认为数字变焦为“假变焦”。为何说它假呢？粗拙的类比一下，数字变焦至关于你把照片放在一个图象编纂软件里，裁掉周围的一部份图象，然后把剩下的一部份放大。所以你看，数字变焦仅仅是一个相似放大的效果，其实不能真实的起到变焦作用，所以数字变焦的结果通常噪点较多，图象对比隐约。下图是光学变焦和数字变焦的直观对照：

一直以来绝大多手机至于变焦（或说远距离拍摄）的需求，都是通过严重紧缩画质的数字变焦来完成。因而光学变焦是目前用户至于手机拍照功能的主要诉求点之一。但如前面所述，变焦镜头特别依赖于光学透镜的组合设计，因而想在单摄像头上实现光学变焦至于手机摄像头模组的厚度、繁杂度和总体外观设计带来巨大的挑战。限于手机机身厚度，想做出不伸出机身外的变焦摄像头几近不可能。

然而老话说的好，条条大路通罗马，何苦吊死一棵树。单镜头既然不行，用两个镜头是否可以呢？

双摄像头的理论基础，就是把本来请求纵向空间的光学体系，在横向空间里宽裕的机身平面上铺开。当今手机厚度已不可逆转的向7妹妹乃至更薄发展，但横向看机背上与屏幕平行的平面的空间是足够的。说白了，比起把镜头做得不凸起机身，在机背上多放几个镜头显明要更易。

经由相机模组厂商和算法提供商的严苛研发和测试，目前广角+长焦的双摄像头的组合变焦方案逐步被业界广泛接纳。这实际上是一种特别朴素的变焦思路：用两个焦距不同的摄像头搭配，宽视角的广角镜头可以“看”的很广，然而“看”不清远处的物体，而窄视角的长焦镜头尽管“看”的规模不大，然而“看”的更远更清晰。广角和长焦镜头组合搭配，在拍照时通过镜头切换和融会算法就可以实现相对于平滑的变焦。法子尽管笨点，效果的确不错。高像素的长焦镜头能保证广角镜头因变焦而损失的图象信息远低于单摄像头的假变焦，从而大幅提高手机的变焦机能。该组合方式可以得到较好的光学变焦体验。下图是广角+长焦的融会效果：


典型代表手机：LG G5、iPhone 7 plus

LG G5后置摄像机有两个，主摄像头1600万像素，视场角78°，f/1.8大光圈，暗光拍照效果对比好；辅摄像头800万像素，拥有135°的超广角，这个是LG G5的杀手锏。LG G5的光学变焦方案就是在拍照时切换不同的镜头来实现光学变焦。然而这个135°的镜头已算是渔眼的范畴，它拍摄的图象边沿会呈现畸变，并且还不是大家印象中渔眼镜头那种由画面中心到四处均匀的光学性畸变，而是中间大部份画面正常而四处部份跳跃性的呈现畸变。以下图所示。


LG G5拍摄图片，跑道可以看出横向上显明的不规则畸变

相比之下，后来者iPhone 7 Plus的配置更加公道。iPhone 7 plus的双摄像头进级是iPhone问世以来在摄像头方面最大的一次奔腾。

其配置以下：

• 广角镜头：1200 万像素，?/1.8 光圈，焦距28毫米
  
• 长焦镜头：1200 万像素，?/2.8 光圈，焦距56毫米
  
• 2 倍光学变焦；最高可达 10 倍数码变焦
  

通常来讲焦距在85妹妹至300妹妹区域内的才可称为长焦镜头，而iPhone 7 plus的长焦镜头焦距只有56妹妹，只无非焦距比28毫米的镜头多了一倍，无非苹果也将其称为长焦镜头。

iPhone 7 plus的镜头组合其实不像LG G5那样极端，可以免呈现边沿畸变。以下图左侧是iPhone 7 plus广角相机拍摄的图片，右侧是其长焦相机拍摄的图片：


这类广角+长焦镜头的光学变焦方案有啥问题呢？下面来讲一说。

这种双镜头搭配方案的光学变焦，本色和单反相机不同，更准确一点的话，应当称为双焦距。拿单反相机和iPhone 7 plus为例，我们来分析一下它们的2倍光学变焦有啥不同。

单反相机上的2倍光学变焦镜头，是可以实现无级光学变焦的，也就是可以实现1倍到2倍之间所有的焦距。用数学语言来讲，就是可以实现[1,2]区间内任意实数倍的光学变焦倍数。这类光学变焦是平滑的。

而iPhone 7 plus的2倍光学变焦，实际是56毫米镜头在28毫米镜头数字变焦到达最远的时候切换到56毫米镜头，接过变焦的任务，这样使用起来就像是总体光学变焦能力晋升了一倍。它是没法实现1倍到2倍之间的任意光学变焦的，其光学变焦只能取1和2两个值。这类光学变焦方式其实不“平滑”。

那末就有人问了，为何我使用iPhone 7 plus的时候感觉变焦很平滑啊，溜溜哒。这是由于，苹果公司一贯特别重视图象处理算法，所以iPhone系列手机摄像头通常在硬件上不是最早进的，但在拍照效果却一直特别卓越。尽管iPhone 7 plus的双摄镜头光学变焦并不是真实的平滑变焦，但在其强大的双摄图象处理算法的协助下，实际使历时仍是特别顺畅的，其实不会呈现变焦挫顿，依然可以实现比单摄像头好的多的变焦效果和成像质量。

彩色相机 + 彩色相机（RGB + RGB）
单反相机让人为之着迷的一点便是通过调剂不同光圈值，拍出如梦似换的背景虚化效果。我们了解，单反相机通过增大镜头光圈可以缩小拍照时的合焦规模。以下图，黑色的小人代表了拍摄的清晰规模，当采取较大光圈时，只有在对焦点左近的小人是清晰的，对焦点先后的小人都被隐约掉了。

为了摹拟这类虚化效果，双摄手机应用人眼三角定位原理来计算被摄物体距离摄像头的距离Z。以下图所示。

得到拍照场景中每个像素点距离相机的远近后，通过算法保存对焦平面内景物清晰度，将其余部份依据其相对摄像头的远近距离进行隐约处理，就能够摹拟出光圈虚化效果。以下所示不同焦距对应不同焦平面。


来一张养眼的背景虚化图片吧：

尽管理论上可行，但实际使用中，要想在不同场景下实现相似于单反一般"焦内锋利，焦外奶油"的效果，让人物主体对焦锋利凸起，层次线条分明，还需要强大的算法保障（之后会介绍该领域的算法公司）。

单反相机可以通过调理光圈大小，来扭转照片的虚化程度，双摄手机也可摹拟单反相机调理光圈。通太重新调用照片中物体的景坚信息，可以实现先拍照后对焦的功能，实现以前只有光场相机才能实现的重对焦功能。

以下图是应用双摄手机处理得到的重对焦效果：


典型手机代表：
红米Pro、vivo x9

尤其提醒：
vivo x9官网的双摄介绍： 前置采取2000W索尼定制传感器 + 800W专业景深摄像头
红米Pro官网的双摄介绍：1300 万像素后置相机 + 500 万像素辅助深度相机

上述两款手机官网介绍中副摄像头标榜为景深相机或者辅助深度相机，其实其实不恰当。它们并不是真的可以单独用来丈量距离，其实只是普通的RGB彩色相机。只无非对成像质量贡献很小，主要用于和主摄像头一块儿提供立体视差从而计算景深。总结一下，景坚信息实际是通过主副两个相机的视差共同计算的，单个RGB相机是没法直接得到景深的。所以我个人认为，红米pro和vivo x9在双摄的副摄像头宣扬上使用了误导性的不恰当的术语。

2、彩色相机 + 黑白相机（RGB + Mono）

提高暗光拍照质量一般有三种办法：延长透露时间、提高ISO感光度、增大光圈。延长透露时间会带来手抖的问题，因而手机厂商纷纭搬来了光学防抖；提高ISO感光度则必定会增添噪点影响画面纯净度，在手机体积和厚度限制下又不大可能再把传感器尺寸放大；手机光圈一般都是固定的没法调剂。因而算法工程师们想到了借助黑白世界的气力。

下面参考altek公司的一个扼要的技术讲演来解释一下该技术的原理。下图是一个扼要的算法流程图。

• 黑白和彩色相机拍摄的图象首先要保证图象同步和像素级对齐操作，通俗的说就是要保证两个相机在同一个时刻拍摄同一个场景下的物体，因为两个相机之间有必定的距离，所以拍摄的场景尽管是同一时间，但内容会有移位，所以需要依据两个相机交叠的部份来使得黑白和彩色图片中相同的像素逐一对应。这一部份需要用到两个相机事前标定好的数据来做计算。相机标定可以简单的理解为测算两个相机的物理位置关联和相机自身的参数，在此不多做介绍。
  
• 图象融会部份是可以加开关进行节制的，依据不同利用的需要黑白和彩色图片均可以作为主要的融会参考，也能够分开使用。
  

下面来看看为何要把黑白图片和彩色图片进行融会，是不是融会后1+1>2?

我们了解自然光是由赤橙黄绿青蓝紫等不同色彩组成的，我们小时候玩的三棱镜就能够看到光的色散。以下图。


我们平常人生中的数码相机，显示器、扫描仪等大部份显示或者打印的色彩都是通过红（Red）、绿（Green）、蓝（Blue）三原色依照不同的比例合成的，称为RGB色彩模型。这个对比容易理解。

接下来介绍一个繁杂一点概念：拜尔滤色镜。它实际上是一种将RGB滤色器排列在光传感组件方格之上所构成的马赛克彩色滤色阵列。以下图，入射的自然光经由不同的拜尔滤色镜后就得到了相应的色彩。


其中绿色占一半，红蓝各占四分之一，这样的设置是由于人的眼睛对绿色最敏感。终究每一个像素点的色彩信息是经由插值处理得到的。插值的策略有许多种，最简单的一种就是线性插值。譬如下图位于九宫格的绿色像素点G，它的RB值是通过周围四格的平均值得到的。

至于红色像素点R或者蓝色的B，插值的策略会略微繁杂一些，在此不赘述。

而黑白相机没有拜尔滤色镜，所有的光都入射进来（下图右下角），所以和拥有拜尔滤色镜的彩色相机相比可以取得更大的进光量，光学传感器的灵敏度也更高。因而黑白相机相对于彩色相机，图象更为明亮，细节信息能够保存的更好。下图左下角是彩色相机的信噪比SNR（全称Signal Noise Ratio，可以理解为有用信息和噪音的比值，越大越好）。右边是彩色、黑白图象融会后的结果，可以看到，融会后信噪比显明晋升了。


综上，因为黑白相机的细节更丰厚、信噪比更高等优势，以黑白图象作为基准和彩色图象进行融会后，图象的总体效果会有对比显明的晋升（特别是在暗光环境下）。


下图可以直观的看到黑白+彩色的双摄模式在晋升细节方面的效果。下图中间是左侧彩色图象和右侧黑白图象融会的结果，可以显明的看到，细节更为清晰，图象质量更好。


下图可以直观的看到，黑白+彩色的双摄模式可以显著提高暗光场景下的图象亮度，减少噪点，显示其在夜景拍照上的独特优势。


典型代表手机是：
360手机奇酷旗舰版、华为光荣P9。

【公众号】：光电与显示
【微信号】：TPDISPLAY
【微宣言】：华南城电子行业投资资讯圈服务号，欢迎圈友订阅分享！