揭秘！智能手机低光摄影中的科学奥秘

全文共4484字，预计学习时长13分钟

来源：Pexels

 

今年可谓是“手机摄影摄像大乱战”的元年，手机之间不再“菜鸡互啄”，大家都有了更高的目标——“媲美单反相机”。

 

不管是华为p30pro的50倍变焦，mate30 pro 超级夜景模式，还是苹果iPhone11 pro的浴霸三摄，小米的一亿像素。手机摄影摄像功能登上了一个更高的台阶，相机界瑟瑟发抖，王者单反相机也终于嗅到了一丝危机感。

 

其实，纵观过去十年，智能手机的普及，早已对傻瓜相机和数码单反相机的市场构成了严重威胁。

 

 

一言以蔽之：当人们能够选择小巧便携，且易于操作的设备时，谁会愿意为了体面的照片花费数千美元去购买摄像系统，并花许多时间学习如何使用并处理图像呢？

 

有了智能手机，每个人都可以成为“摄影师”，而在以前只有拥有大块头照相机的人才能获此称谓。目前为止，尽管智能手机在大多数方面都能与单反相媲美，有时甚至能在摄像等领域轻松击败价值5000美元的昂贵机型，它们在弱光或夜间摄影方面表现不理想。

 

摄影小课堂：照相机通过镜面将反射光定向至一个点上，形成清晰的图像。低光和夜间摄影意味着更少的光线，这也是低光摄影的难点所在。

 

有两种方式解决以上问题：

 

1.使用更大的镜头。

2.允许快门曝光更长时间。

 

上述两种方式都使更多光线透过镜头，智能手机的便携性十分重要，所以采用大镜头是不合适的。而第二种长时间曝光拍摄的方法，要求设备完全保持静止直至图像捕捉完成。根据周围光线的强弱，需要几秒到几分钟不等。因此，手持完成长曝光是不切实际的，这时我们需要三脚架。

 

Google的Pixel和iPhone更青睐第二种方法，采用了一些智能电脑修正技术解决手臂晃动的问题，华为倾向于第一种方法，使用大镜头。

 

 

Google Pixel 4

 

Google革命性的Night Sight低光摄影技术于2018年底在Pixel系列手机中发布。Pixel相机的研发团队发布了一篇博客阐述其背后的科技。

 

暗度一般采用Lux作为单位进行测量。Lux是单位面积上的光强。下方是谷歌AI博客上关于不同大小Lux对应的大致光线强度。

 

来源: Google AI Blog

 

 

通常，智能手机照相效果在30lux以下开始逐渐变差。但有些手机通过HDR功能合成（拍摄多张照片合成），使其相机在3lux时仍能正常工作。Google的Night Sight技术可以在0.3lux到3lux的环境下拍摄照片。下方照片可以展示该技术的绝佳效果。

 

来源: Google

 

左图 Iphone XS的SmartHDR模式，右图 Pixel 3的Night Sight模式

 

Night Sight的工作流程:

 

1. 弹出Night sight，Google会在低光环境拍照时自动推荐使用Night Sight，也可以手动选择该模式。

 

2. 正快门延迟（PSL），在常规模式下，Google的摄影是零秒延迟的（ZSL）。一旦程序启动，在你按下快门之前手机便已经开始捕捉画面。单击拍摄后，手机会处理最近的9~15帧。然而，ZSL要求曝光时间小于66毫秒，对于弱光摄影来说这太短了。在Night Sight模式中，Google采用正快门延迟，即按下快门按钮后，照片才会拍摄。因此相机的曝光时间较为充裕，但也需要摄影者在按下快门后数秒内保持不动。

 

3．移动测光模式：增加曝光时间有时会面临困难。相机易抖动或移动导致图像模糊。为了解决这一问题，Google记录了拍摄时的运动轨迹和手部动作，相应地设置拍摄帧数和每帧的曝光时间。如三脚架上的稳定拍摄会采用6帧，每帧1000ms，总时长6秒。手持拍摄则会采用15帧，每帧70ms，总时长1秒。根据晃动水平与光亮大小不同，取用不同的帧数和曝光时间都有可能。

 

4．HDR+和超分辨率变焦，高动态范围（HDR）技术：当取景中同时有极亮和极暗的区域时，摄像头需要在两者之间权衡。近年来智能手机的HDR功能可以捕获多帧图像，其中通常包括亮部清晰和暗部清晰的帧数。HDR会将这些帧数合并在一起以获得更均衡的整体图像。

 

 

左 HDR 关闭，场景聚焦在拍摄者的脸上，天空基本不可视，右HDR开启，成功地呈现了照片中的所有场景

 

在Night Sight模式中，一旦按下快门捕捉了多个帧数，这些帧数都会传输至Google传奇的HDR处理环节。在旧Pixel设备（1、2）中处理的是HDR+，在最近的Pixel设备（3、4）中处理的是Super Res Zoom。这正是最奇妙的地方，该技术对所有帧进行降噪处理以产生更清晰的图像。一帧中缺失的细节从另一帧中提取，一帧中不太清晰的像素由另一帧中更清晰的替换。综上，当由多个帧来导出色彩时，每个像素的色彩信息得到优化。

 

5．基于学习的AWB算法，图像生成后，Google立即开始调整色温，使色彩更为逼真。人类的眼睛具有很好的色彩恒常性，这使我们在不同的环境光下可以判断出物体的颜色。但在照片中我们无法做到。温暖光线下照片呈黄色。智能手机通常通过白平衡（AWB）技术修正颜色，使物体看起来像在中性的白光中拍出。但AWB无法在弱光拍摄中使用。为了解决以上问题，Google训练了AWB算法，在许多镜头中手动修正白平衡，直到AWB学会自动修正。

 

来源：Google

 

左：无色彩修正的夜间照片 右：优化后AWB算法的修正

右方图片的颜色更接近真色

 

6．色调映射：Google的最后一步是让图像看起来是在夜间拍摄的，而非白天。人眼由视杆细胞和视锥细胞组成，但在弱光条件下只有视杆细胞起作用。视杆细胞无法像视锥细胞一样准确地感知颜色，空间敏锐度(锐度)也比较低。Night Sight具有很好的欺骗性，它可以处理出人眼分辨不出清晰度和色彩的照片。极端情况下他甚至可以让一个图像看起来像在白天拍的，这其实是虚假的。为了防止这种情况的发生，谷歌在色调映射中使用了s曲线，让观者能够感知到照片实际上是在夜间或微光下拍摄的。

 

7．欣赏神奇的现象：拍摄照片后，如果你足够快地查看相册，可以观赏到图片最终成像时Google算法的运行过程。

 

除了Night Sight外，Pixel 4还有一个天体摄影模式。摄影师可以使用该模式拍摄夜间场景，如星空，曝光时间为16秒每帧，多达15帧，总拍摄时间4分钟。但是使用该模式需要将手机置于静物或三脚架上。

 

 

Huawei Mate 30

 

华为的旗舰机是远远被低估的。华为是第一家引入专用夜景模式的手机公司。在Pixel的Night Sight面世前，华为P20 pro已经可以拍出难以置信的低光条件照片。而今年九月的Mate 30系列，则在低光摄影领域实现了巨大飞跃，至少理论上如此。

 

之前我有提到为了保证小巧便携，智能手机一般不采用大摄像头。然而，华为找到了使用大摄像头的方法。

 

来源：Huawei

 

左方为Mate30 Pro拍摄的照片

 

Mate 30有4个镜头，但低光性能的主要镜头是40MP 1/1.7传感器。该传感器有两个主要特点使其擅长弱光拍摄:

 

1. RYYB滤镜：相机的传感器通过覆盖在图像传感器上的颜色过滤器阵列捕捉场景颜色。Iphone，谷歌Pixel及其他厂商的旗舰产品都使用了RGGB（红绿绿蓝）滤镜，Mate30却打破传统采用了RYYB（红黄黄蓝）。这有何不同？

 

由于人类视觉对红、绿、蓝三色敏感，RGGB滤镜已经使用多年。通过RYYB滤镜捕捉黄色，Mate30的传感器能够捕捉到更多的光线。华为声称该技术使RYYB比RGGB过滤器多捕获40%的光线。但与此同时，RYYB比RGGB更难捕捉到精准的颜色。华为通过人工智能的新图像处理技术解决这一问题。

 

2.更大的传感器：除了对光更敏感之外，Mate 30的传感器(1/1.7”)也比Pixel 4、iPhone 11和Galaxy S10的传感器更大（这些产品只有一个1/2.55”传感器）。

 

RYYB与大型传感器相结合，可以让Mate 30比其他旗舰机多捕捉137%的光线。这使它拥有智能手机中中最高的ISO(传感器的对光灵敏度)。华为称，Mate 30的ISO为204800，Mate 30 Pro的ISO为409600（行业标准为6400），与昂贵的单反不相上下。

 

物理学上的突破，使华为手机在不使用专用夜景模式的情况下，仍能实现出色的低光摄影（如Google的Night Sight和苹果的多帧计算技巧以及长时间曝光）。

 

但这款手机也有专用的夜景模式，在令人惊艳的硬件基础上使用软件提供更好的低光拍照性能。在使用超广角镜头和远摄镜头时，专用的夜间模式也很有用，因为这两个镜头没有主镜头的硬件优势。

 

如果这些技术还不够吸引人，Mate 30Pro不仅拥有出色的低光摄影技术，还拥有业内首款低光摄像技术。这通过一个比1/1.7”RYYB传感器更大的超广角传感器(1/1.54”)实现。

 

iphone 11

 

不出所料，苹果在其新产品中对Night mode背后的科学原理含糊其辞，在产品页面上提到了这一过程的概述。但如果知道了谷歌的Night Sight如何工作，就可以知道其95%与Night mode类似。

 

Austin Mann的iphone 11 pro 摄影作品

 

 

然而，iphone11没有专用的夜景模式。相反，夜景模式会在足够黑时自己触发，接下来的步骤类似于Google的Night Sight。

 

Pixel不允许自行改变拍摄的总时长，而iphone具有灵活性。点击夜间模式图标可以手动增加曝光时间，但可用的最大时间取决于灯光的可用时长与设备的稳定性。该取值范围在1~30s，使用三脚架延长一定的曝光时间。但这仍旧低于Pixel在天体摄影模式下四分钟的最大间隔时间。

 

对于中低光拍摄照片，iphone使用了另一种奇妙的计算技巧——深融合，想要更多了解，点击这里和这里。

 

Google的Pixel4，苹果的iphone11和华为的Mate30系列在低光摄影做到了行业最佳，其他旗舰机如三星Galaxy S10与一加7 pro等产品也提供专门的夜间模式。后两者的工作原理与Night Sight非常相似，但根据不同公司的图像处理算法不同，设备的输出质量是不同的。你可以点击这里和这里观看他们的对比。

 

目前，智能手机的低光摄影已经能让镜头捕捉到比人眼更丰富的颜色与更清晰的图像，随着各公司旗舰产品的不断进步，智能手机的摄影功能都发展到了前所未有的高度。

 

相信在未来的某一天，人们真的不用再抬着笨重的单反和摄像机到处奔波，高举智能手机，咔嚓一声，风景尽收囊中。

来源：Pexels

 

留言 点赞 关注

我们一起分享AI学习与发展的干货
欢迎关注全平台AI垂类自媒体 “读芯术”

（添加小编微信：dxsxbb，加入读者圈，一起讨论最新鲜的人工智能科技哦～）