谷歌是如何用AI来增强手机拍照能力的？——Google AI博客中Computational Photography相关文章

Improvements to Portrait Mode on the Google Pixel 4 and Pixel 4 XL

Monday, December 16, 2019
利用双摄和双像素自动对焦系统的结合，增加景深估计的能力。
双摄的baseline更大，比双像素更容易估算远处物体的深度。但存在一个相机的很多像素在另一个相机上并没有对应的像素的问题。而双像素视图可以看到这些像素，可以估计这些像素的深度。
双摄和双像素的垂直的，两者共同作用的话可以估计任何方向线条的深度。
利用机器学习来估算深度。模型同时使用两种输入，训练时将一个输入随机设置为0，来实现只有一种输入时也能准确预测的效果。
实现散景效果。散斑图案使用原始图像中的像素，而不再是透明图像。先进行模糊处理，再应用色调映射。

Astrophotography with Night Sight on Pixel Phones

Tuesday, November 26, 2019
利用Night Sight拍摄清晰的星空照片。Night Sight将曝光分为多个帧，来减少运动模糊。然后对齐多个帧，合并出更加清晰明亮的照片。
拍摄夜空照片时，曝光时间不宜超过16秒。
消除CMOS暗电流导致的亮点：通过比较同一帧内以及为照片记录的帧序列中相邻像素的值，并查找异常值，来识别Warm and hot pixels.一旦检测到离群值，就用其邻域的平均值替换其值以将其隐藏。
为了使拍摄者有反应，取景器每秒至少更新15次，这将取景器的曝光时间限制为66毫秒。
post-shutter viewfinder：按下快门按钮后，每个长时间曝光的画面都会在拍摄后立即显示在屏幕上。拍摄第一帧图像后，摄影师便可以轻松查看图像细节。然后可以在曝光持续的同时通过移动手机来调整构图。一旦构图正确，就可以停止初始拍摄，并在所有帧都具有所需构图的情况下捕获第二张照片。
post-shutter autofocus：用户按下快门按钮后，相机将捕获两个自动​​对焦框，其曝光时间最长为一秒，即使在弱光条件下也足以检测图像细节。这些框仅用于聚焦镜头，并不直接构成最终图像。
天空处理：在昏暗的场景中选择性地使天空变暗。训练CNN来识别天空区域。

Take Your Best Selfie Automatically, with Photobooth on Pixel 3

Tuesday, April 16, 2019
使用Photobooth自动获取最佳自拍照。
一旦进入Photobooth模式并单击快门按钮，它将在相机稳定、照片中的每个人看起来都很好时自动拍摄照片。
亲吻检测：亲吻亲人，相机会自动将其捕获。
面部表情模型：微笑、吐舌、亲吻、嘟嘴、惊喜
亲吻检测模型
应用注意力模型来关注前景中的表情。
通过基于注意力的面部表情得分和亲吻得分的加权组合来计算用于触发快门的最终图像质量得分。
取景框的视觉指示器：1）没有清晰看到的脸，（2）看过但不注意相机的脸，（3）注意但不做出关键表情的脸，以及（4）脸注意相机并作出关键表情。
当指示条达到代表高质量得分的长度时，屏幕将闪烁以表示已捕获并保存了照片。

Top Shot on Pixel 3

Thursday, December 20, 2018
按下快门按钮，精确自动捕获宝贵时刻。
Top Shot使用计算机视觉技术实时保存和分析快门按下设备之前和之后的图像帧，并推荐几张的高质量HDR+照片。
最佳时刻定义：

1. 照片画质
2. 客观属性（比如人物的表情、睁眼）
3. 主观特质（比如情感表达）

计分模型：

• 人脸得分
• 主体运动显著性得分
• 全局运动模糊评分
• 3A（自动曝光、自动对焦、自动白平衡）得分

Learning to Predict Depth on the Pixel 3 Phones

Thursday, November 29, 2018
利用深度学习来估计深度。
将PDAF像素输入CNN网络并学习预测深度。
使用5台Pixel3手机组合来采集训练数据：

• 5个视点在多个方向上都存在视差
• 图像中的点至少在另一张图像中可见
• baseline比PDAF大得多，实现更准确的深度估计
• 摄像机之间的同步确保我们可以为上述动态场景计算深度。
• 设备的可移动性便于在外采集照片。

Night Sight: Seeing in the Dark on Pixel Phones

Wednesday, November 14, 2018
使用Night Sight在非常弱的光线下拍摄清晰的照片，并且不需要三脚架或闪光灯。
图像噪声：散粒噪声和读取噪声
信噪比SNR
AWB在光线不足时会失效。
基于学习的AWB算法。
如何使“夜晚”拍得像“夜晚”？——暗光场景的色调映射

See Better and Further with Super Res Zoom on the Pixel 3

Monday, October 15, 2018
数字变焦：

• 传统：线性插值
• 现代：机器学习
  虽然一帧图像无法提供足够的信息来填充缺失的颜色，但是我们可以从连续拍摄的多张图像中获得一些缺失的信息。
  Bayer排列图像重建：多帧超分辨率算法 代替 去马赛克算法
  摩尔纹

Behind the Motion Photos Technology in Pixel 2

Tuesday, March 13, 2018

Mobile Real-time Video Segmentation

Thursday, March 1, 2018

Introducing the HDR+ Burst Photography Dataset

Monday, February 12, 2018

Introducing Appsperiments: Exploring the Potentials of Mobile Photography

Monday, December 11, 2017

Fused Video Stabilization on the Pixel 2 and Pixel 2 XL

Friday, November 10, 2017

Portrait mode on the Pixel 2 and Pixel 2 XL smartphones

Tuesday, October 17, 2017

Making Visible Watermarks More Effective

Thursday, August 17, 2017

Motion Stills — Now on Android

Thursday, July 20, 2017

Experimental Nighttime Photography with Nexus and Pixel

Tuesday, April 25, 2017

PhotoScan: Taking Glare-Free Pictures of Pictures

Thursday, April 20, 2017

HDR+: Low Light and High Dynamic Range photography in the Google Camera App

Monday, October 27, 2014