Distortion-Free Wide-Angle Portraits on Camera Phones论文解读

一、背景
    手机端的摄像技术近年来发展迅猛，各大厂商都推出广角甚至超广角镜头的手机，广角镜头视野更广，尤其在合影时能够拍摄到更多的人，但是位于边缘的人像被投影到平面后明显能看到被拉伸变形，向两侧扩展，尤其是人脸更加的明显，这篇论文提出了一种新的方法让边缘人像不再畸变，拍照不用抢C位。
    透视投影 (Perspective Projection) 。从一个投射中心出发，把一个3D物体投在2D表面上。忠于透视原理，近大远小。

这种投影一定有失真，比如站在边上的人，离投射中心比较远，脸就大了起来。不过，它拉伸的主要是人脸，背景并不容易发生扭曲。

    球极平面投影 (Stereographic Projection)。把一个球面投射到平面上，并不忠实反映距离，却十分忠实地反映角度。就像这张地图。

这种投影也一定有失真，但对一张照片来说，主要是背景里的直线会变弯，而人脸不易被拉伸。如此说来，两种投影愉快地互补了。
在观察到这个现象后，可以让透视投影去处理背景，球极平面投影去处理局部 (人脸) ，这样避免人脸畸变的同时也保证了背景不弯曲。
二、算法流程

第一步，找出目标区域：人脸，包括头发。
用人物分割算法，给输入图像里的人类做个Mask；再用人脸检测器，标出脸部的边界框。最后，把Mask和边界框的交集，用绿色标注出来。
第二步，为输入的 (透视投影) 照片，算出一个球极平面投影。
如果把这个投影可视化，会发现边角的人脸已经修好，只是背景里，左边的窗棱和右边的墙弯了。

第三步，用上前两步的数据，算出一个网格 (Mesh) 。这个网格依然是做球极平面投影，但只要调整人脸区域，背景尽量保持原样。为了不影响背景，这里用到了能量最小化 (Energy Minimization) 方法，来平息两种投影之间的冲突，促成更加平滑的过渡，这样，就有了一个兼顾人脸和背景的、优化过的网格。
第四步，用这个网格来捏那张输入的照片。

三、技术细节
透视投影原理图：

球面投影原理图：

    球面投影的计算公式

r_p、r_u分别表示透视投影、球面投影到光心的径向距离， f表示焦距，r₀表示缩放系数。

d=min(W,H)，图片长宽的较小值。

    为生成融合了球面投影和透视投影的优化网格，文章提出了一个能量公式，优化网格点应使得该公式取值最小。


下面分析每一项公式的具体内容：
1. 人脸能量项：

w_i是人脸mask的权重(网格点在mask区域为1否则为0)，v_i表示优化的融合网格，是要优化的变量，u_i表示球面投影网格。

S_k和t_k是对球面网格先进行缩放、选择、平移，能够使得相互靠近的人脸在矫正后不畸变。

正则化项，目的是控制缩放因子，保持人脸尺寸比例。
人脸能量项是期望优化后的网格在人脸mask区域更接近球面投影，遵守保角变换，减少畸变

2. 线弯曲能量项：

每个优化网格点与它邻近的四个点进行弯曲惩罚，e_ij是p_i–p_j的方向向量，x表示叉乘，
该能量项期望优化后的网格点连线尽量保持水平竖直，防止在人脸和背景的交界处出现弯曲。
3. 正则化项：

每个网格点与周围四个点正则约束，保证网格点的间距不致过大，保持平滑。
4. 边界条件：

首先在图片区域网格的基础上上、下、左、右各扩展四排网格，这四排网格也是要优化的变量，其中左右边界网格的x坐标值与均匀网格相同，上下边界网格的y坐标值与均匀网格相同，这样保证扩展的边界网格只能沿着边界线平移而不能超出边界。

图片区域网格边界也是上下左右各不相同，期望网格点不收缩，而是向往扩展，这样可以减少矫正后图片边界出现未定义区域。

5. 优化初始化：

为了加速收敛，优化的融合网格初始值由透视投影网格p_i和球面投影网格u_j插值得到，K_h是高斯插值核。
6. 根据网格warp输入图片：