聊聊手机的摄像头和算法优化

多段定焦 和 算法平滑变焦

  现在市面上大多数的手机摄像头都是定焦镜头。一般的做法是长焦镜头+广角镜头(24mm-28mm)。这其实算不得真正的变焦,只能说基于多个定焦镜头,使用软件实现平滑变焦。而平滑那部分,一般表现不如真实光学变焦好,原因下文详述。

以华为p30 pro 为例,HUAWEI P30 Pro 的配置

聊聊手机的摄像头和算法优化_第1张图片
image.png

后置徕卡[1] 三摄像头:

  • 主摄像头:4000万像素1/1.7英寸Quad RYYB图像传感器;f/1.6镜头,光学影像防抖(OIS),27mm等效焦距
  • 远摄镜头:800万像素传感器,f/3.4折叠式镜头,光学影像防抖(OIS),125mm等效焦距
  • 超广角镜头:2000万像素,f/2.2光圈,16mm等效焦距
  • 相位检测(PDAF)/飞行时间(ToF)自动对焦

华为p30 在不同的倍数下,使用不同的相机


聊聊手机的摄像头和算法优化_第2张图片
image.png
image.png
  • 1X,单独使用主摄像头
  • 2X,单独主摄
  • 3X,主摄+远摄
  • 5X,单独远摄

  华为p30 pro在3X 模式下,采用 1X 镜头和5X镜头。1X镜头的照片放大为3X,很模糊;5X镜头的相片拍摄的内容缩小为3X,非常清晰,但是不够大。这时候软件算法合并这两张图片,中间部分属于画面主体,是由5X拍摄的,保证了主体的清晰。边缘部分很模糊但不至于没有图像,细节由算法补齐

聊聊手机的摄像头和算法优化_第3张图片
image.png

  对于10X,50X,单独5X拍摄,直接放大(和我们拉图放大一样),细节由算法插值,最终生成结果图。这里的问题是,算法其实也是不知道真正的细节是什么的,靠的是推导,平滑。没有足够的数据,再强的算法也无法以假乱真,所以这种图片边缘只是看起来高清,实际上 细节表现非常差

  综上,如果手头的手机是这种变焦手机,为了拍出优质的照片,必须先了解每个镜头的参数。尽量不要被混合变焦。比如p30 pro, 尽量1X,2X,5X,不要3X。

变焦范围和变焦倍数

  首先,要明确变焦的对比方法是等效焦距。因为感光元件的大小不一样,实际上得到的图片大小是不一样的。等效焦距就是转化为135相机上24X36mm同样成像视角所对应的镜头焦距。

等效焦距=等效系数*镜头焦距

  华为官网给出的数据就是等效焦距,和提测数据也一致。再以Oppo Reno 为例,官网bolg给出的镜头信息:

  • 超广角摄像头:15.9mm等效焦距,f/2.2 光圈,索尼IMX319
  • 超清主摄: 28 mm 等效焦距, f/1.7 光圈,1/2.0尺寸的索尼 IMX586
  • 长焦摄像头:159mm等效焦距,f/3.0 光圈,1/3.44 尺寸传感器
聊聊手机的摄像头和算法优化_第4张图片
image.png

  我们说的变焦范围,华为p30 pro 是16mm-127mm, oppo reno 是 15.9-159mm

  变焦多少倍,应该是长焦焦距/主摄焦距,华为是 4.63倍变焦。oppo是5.68倍变焦。哪有按照微距焦距来算的,都是商业噱头。

防抖

EIS (Electronic anti shake)。电子防抖主要指在数码照相机上采用强制提高CCD感光参数同时加快快门并针对CCD上取得的图像进行分析,然后利用边缘图像进行补偿的防抖,电子防抖实际上是一种通过降低画质补偿抖动的技术,此技术试图在画质和画面抖动之间取得一个平衡点。与光学防抖比较,此技术成本要低很多(实际上只需要对普通数码相机的内部软体作些调整就可做到),效果也要差

聊聊手机的摄像头和算法优化_第5张图片
image.png

OIS(Optical Image Stabilization 光学防抖)是利用内置的镜片(Lens-Shift Optical Image Stabilization)或感光元件(Senor-Shift Optical Image Stabilization)来对相机水平或上下的动作来逆向修正,可以用于照相及摄影的防手震上。OIS 优点是可靠性较高且不会牺牲影像的解析度,效果比EIS好,但缺点成本较贵、镜头机身没办法做很薄且有边缘解析力下降的问题。

聊聊手机的摄像头和算法优化_第6张图片
image.png

AIS:算法防抖,就是算法自动补齐模糊区域。

测距成像

3D成像三大主流技术

双目(StereoSystem):

  双目成像的基础原理是三角测距算法,类似模拟人眼观看3D电影(左右眼看到的场景略有差异),从而带来具有空间感的立体深度信息。

结构光(StructureLight)

  结构光是通过红外激光器,将具有一定结构特征的光线投射到被拍摄物体上,再由专门的红外摄像头进行采集反射的结构光图案,根据三角测量原理进行深度信息的计算

聊聊手机的摄像头和算法优化_第7张图片
image.png
  • 图像深度准确率 较TOF高
  • 低光环境表现良好,取决于光源,强光表现差
  • 识别距离短,受光斑图案影响
  • 容易受光照影响
  • 响应时间慢,处理复杂,耗费算力,对处理器要求高

TOF(Time Of Flight 飞行时间)

聊聊手机的摄像头和算法优化_第8张图片
image.png

  飞行时间测距法(Time Of Flight)。通过红外发射器发射调制过的光脉冲,遇到物体反射后,用接收器接收反射回来的光脉冲,并根据光脉冲的往返时间计算与物体之间的距离。这种调制方式对发射器和接收器的要求较高,光速那么快,对于时间的测量有极高的精度要求。

  • 基于红外线激光,低光表现良好,高光表现较结构光好
  • 范围最大可以达到5米,远超结构光
  • 平面分辨率低
  • 图像深度准确率低
  • 分辨率低

应用:

  • 体感游戏
  • 拍照3d建模

算法优化等于作弊吗

  明确一点,人眼其实也是基于算法优化的。来看一下人眼的结构和一些值得吐槽的设计。

人的视网膜贴反了

我们的视网膜大致由3层细胞组成,分别为感光细胞、双极细胞和节细胞。

感光细胞可将光信号转化为电信号,双极细胞则负责分类处理这些电信号。最后节细胞会把这些分类好的电信号传输至大脑,形成最终影像。

聊聊手机的摄像头和算法优化_第9张图片
image.png

这里感光细胞就相当于 感官原件的受光面,节细胞就相当于数据线,那么问题来了,电线在受光面之上,挡住了光。

为了给节细胞和双极细胞供氧,视网膜表面还布有一层血管网。这些血管除了扰乱入射光线外,任何出血或淤血都会挡住光路,极其影响视力。这便是我们常说的眼底出血。

聊聊手机的摄像头和算法优化_第10张图片
图:1为感光细胞,2为双极细胞,3为节细胞

图:1为感光细胞,2为双极细胞,3为节细胞

当光线射入瞳孔时,要先经过节细胞和双核细胞,最后才能到达感光细胞。那么这些“”在感光结构前的细胞,就会反射或折射光线,使感光细胞成像的质量下降。这就如同在照相机的胶片前面,外贴了一张半透明薄膜。

模糊是应该的,可我们看到的画面并不模糊,这是基于大脑的最强图片优化算法自动脑补的。

盲点

由于节细胞位于光线进入的方向。所以它发出的神经纤维必然会汇聚成一束,反穿眼球再绕回大脑。而在此处,感光细胞是没有落脚之地的,被称为视神经乳头。

聊聊手机的摄像头和算法优化_第11张图片
image.png

所以这才导致了我们视网膜中有一块区域无法感光,从而形成盲点

所幸我们由一双眼睛而不是一只,两个眼球看到的画面会在大脑中互补。大脑本身就有一套经过千万年进化而来的图像重叠算法,这就是算法优化嘛。

tips:人眼存在盲点。怎么测试?把下面的图往左横过来看,用手遮住自己的左眼,视线集中看圆圈,你会发现 加号 在某个位置走着走着就消失了。

聊聊手机的摄像头和算法优化_第12张图片
盲点图

盲点优化

我们在嵌满的盲点测试中,如果闭上左眼后直接盯着+号,是不会看到消失的。

主要是因为,对于盲点,人类还进化出了相应的优化措施——黄斑。

聊聊手机的摄像头和算法优化_第13张图片
黄斑

黄斑是视网膜上的特殊区域,当我们凝视某一点时,它的图像就正好聚焦在黄斑上。

而在黄斑处,双极细胞、节细胞连同它们发出的神经纤维,以及 视网膜表面的血管网和神经纤维等,都会向四周避开

所以当我们瞄准某一区域时,其分辨率和成像能力能达到“高清”级别。而我们平时检查视力,查的便是黄斑区的中心视力

鹰和人一样都“贴反”了视网膜,但通过黄斑和晶状体,它们看在几百米甚至上千米处的猎物都毫无压力。这说明了“反贴”视网膜,通过“优化”后并不妨碍高度清晰的图片形成。

这个属于不改变硬件架构的情况下,做硬件优化

综上所述,我们的大脑本身自带了最强的算法优化,我们之所见,经过脑补才得到所感知的画面。所以,算法并非不好,只是说算法不够好,结果不够接近大脑算法的执行结果。比如拍个月亮变成PS,那就过分了。

参考:

  • 华为 P30 Pro 摄像头评测

  • 从影像力到影响力丨OPPO推出手机10倍光学变焦技术

  • 独家对话vivo工程师:详解TOF 3D超感应技术 | 凰家评测

  • 华为PM 熊军民·科普:3D TOF是手机未来发展方向之一

  • 原来人眼不过是“残次品”,或许章鱼的眼睛才真正出自“上帝之手”?


  1. 徕卡:德国公司,诞生于1913年,昂贵的价格是徕卡的品牌标志,同时伴随着的更是一种精湛的制作,一种深厚底蕴的文化 ↩

你可能感兴趣的:(聊聊手机的摄像头和算法优化)