Distortion-Free Wide-Angle Portraits on Camera Phone

Abstract：Photographers take wide-angle shots to enjoy expanding views, group portraits that never miss anyone, or composite subjects with spectacular scenery background. In spite of the rapid proliferation of wide-angle cameras on mobile phones, a wider field-of-view (FOV) introduces a stronger perspective distortion. Most notably, faces are stretched, squished, and skewed, to look vastly different from real-life. Correcting such distortions requires professional editing skills, as trivial manipulations can introduce other kinds of distortions. This paper introduces a new algorithm to undistort faces without affecting other parts of the photo. Given a portrait as an input, we formulate an optimization problem to create a content-aware warping mesh which locally adapts to the stereographic projection on facial regions, and seamlessly evolves to the perspective projection over the background. Our new energy function performs effectively and reliably for a large group of subjects in the photo. The proposed algorithm is fully automatic and operates at an interactive rate on the mobile platform. We demonstrate promising results on a wide range of FOVs from 70° to 120°.

 

本文提出了一种解决广角相机拍摄人物面部扭曲变形失真的方法。

 

1. Introduction：

1 介绍广角相机的优势，如图：

2 广角相机的缺点：perspective distortion, 透视失真

3 简述文章内容和核心：1分配权重，2方法核心：结合立体投影和透视投影，与前人工作不同的是：本文方法专为矫正人脸而设计，因为它面临着独特的挑战，并且对移动和消费类相机至关重要。

4 算法实验对象：4000+张肖像（70-120的广角镜头拍摄的）图片内容有1到10个物体

5 算法优点：高性能，速度快

6 文章主要贡献：提出了一个自动且有效的算法矫正广角相机拍摄的面部透视失真问题，介绍了一种新的面部客观方法（face objective term）将面部和背景的立体透视投影合并在一起。

1. Overview：

（a）输入图像

（b）识别面部区域

（c）从相机焦距估计立体投影

（d）利用能量最小化计算目标网格，对目标区域执行局部立体扭曲

（e）输出图像

 

1. Local face undistortion：

能量函数建立过程:

能量函数为以下三部分能量的加权和

Part1 Face Objective Term

Part2 Line-Bending Term

Part3 Regularization Term

Step1网格边界拓展

Step2优化（求最小能量）

 

1. Conclusion：

文章提出了一种自动算法来校正广角肖像照片上的透视失真。利用能量最小化，将立体和透视投影相结合的人脸不失真局部方法应用到单个图像上。并在各种具有不同FOV和场景的照片上测试了该方法的鲁棒性。

1. Future work

1、未来可以尝试将校正范围扩展到广角视频，这意味着网格优化的时间相干性和实时性要求面临新的挑战。例如，在视频录制期间，对象可能会出现或消失，并且用户可能会连续更改相机的FOV。

2、另一个扩展是纠正建筑物和突出对象上的透视变形。

3、除了图形应用程序外，也许还有一个更深层次的问题：在透视投影下，哪些图像特征会使人类视觉系统感觉失真，以及如何解决这些问题？

 

 

Dependences

• OpenCV
• Ceres
• Face Detection
• Portrait Segmentation

 

辅助知识投影介绍

透视投影原理图（perspective projection）

 

立体投影原理图

在相同入射角下和可以互相转化，于是可以由已知的某一种投影坐标得到另一种投影的坐标。