Shape-Preserving Half-Projective Warps for Image Stitching(SPHP)

SPHP

通过特征匹配估计一个重叠区域的homography，并平滑过度到非重叠区域的相似变换，使得重叠区域有一个感官自然的视角。

1.分析投影变换

投影变换（单应性矩阵）表示像素点 在齐次坐标系下的线性变换关系：
$$\left[\begin{array}{l}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]\sim \left[\begin{array}{ccc}{\hat{h}}_1& {\hat{h}}_2& {\hat{h}}_3\\ {\hat{h}}_4& {\hat{h}}_5& {\hat{h}}_6\\ {\hat{h}}_7& {\hat{h}}_8& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right],$$
$$x^{\prime }=\frac{{\hat{h}}_{1}x+{\hat{h}}_{2}y+{\hat{h}}_3}{{\hat{h}}_{7}x+{\hat{h}}_{8}y+1},y^{\prime }=\frac{{\hat{h}}_{4}x+{\hat{h}}_{5}y+{\hat{h}}_6}{{\hat{h}}_{7}x+{\hat{h}}_{8}y+1}.$$
当我们将(x,y)旋转一定角度，变为新的坐标(u,v)时，有如下对应关系：
$$\begin{array}{rl}\left[\begin{array}{l}x\\ y\end{array}\right]& =\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]\left[\begin{array}{l}u\\ v\end{array}\right],\\ \theta & =\mathrm{atan}2\left(-{\hat{h}}_8,-{\hat{h}}_7\right).\end{array}$$
进行坐标变换后，新的单应矩阵可以表示为:
$$\begin{array}{r}\left[\begin{array}{l}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]\sim \left[\begin{array}{lll}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ -c& 0& 1\end{array}\right]\left[\begin{array}{l}u\\ v\\ 1\end{array}\right],\\ \text{ where }\left[\begin{array}{ll}{h}_1& h_2\\ h_4& h_5\end{array}\right]=\left[\begin{array}{ll}{\hat{h}}_1& {\hat{h}}_2\\ {\hat{h}}_4& {\hat{h}}_5\end{array}\right]\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right],\\ \left(h_3,h_6\right)=\left({\hat{h}}_3,{\hat{h}}_8\right),\\ c=\sqrt{{\hat{h}}_7^2+{\hat{h}}_8^2}.\end{array}$$
新的映射可以写为：
$$\begin{array}{l}{x}^{\prime }=H_x(u,v)=\frac{h_{1}u+h_{2}v+h_3}{1-cu}\\ y^{\prime }=H_y(u,v)=\frac{h_{4}u+h_{5}v+h_6}{1-cu}\end{array}$$

将图片旋转一定的角度到u,v坐标系下时， 映射函数H的分母只会和u有关，便于分析投影变换函数的物理意义。------函数换元

1.1 H的尺度变换

其中H可以分解为一个仿射变换$H_A$和一个纯投影变换$H_P$
$$\underset{H}{\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ -c& 0& 1\end{array}\right]}=\underset{H_A}{\left[\begin{array}{ccc}{h}_1+c{h}_3& h_2& h_3\\ h_4+c{h}_6& h_5& h_6\\ 0& 0& 1\end{array}\right]}\underset{H_P}{\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ -c& 0& 1\end{array}\right]}.$$

像素点u,v到参考坐标系$x^{\prime },y^{\prime }$的局部变换可以用单应性矩阵H的雅克比矩阵的行列式表示:
$$\begin{array}{rl}\det J(u,v)& =\det J_A(u,v)\cdot \det J_P(u,v)\\ & =s_A\cdot \frac{1}{(1-cu{)}^3}\end{array}$$

其中$$S_A=det{J}_A(u,v)$$是取决于u和v的常量。局部变换尺度因子只取决于u，u越大，H导致的尺度变换就越大，

雅克比矩阵是泰勒展开公式一阶导数的前面的系数，在二维坐标变换中，雅可比矩阵揭露着不同微元之间的关系。其行列式值代表二维面积 的比例。代表了沿着u轴图像会逐渐拉伸。

1.2 H的线性

仿射变换保留线长度比例，然而投影变换并不会。在特定坐标下，长度比例在投影变换下也可以被正确保留，在下面式子中
$$\begin{array}{l}{x}^{\prime }=H_x\left(u_0,v\right)=\frac{h_2}{1-c{u}_0}v+\frac{h_1{u}_0+h_3}{1-c{u}_0}\\ y^{\prime }=H_y\left(u_0,v\right)=\frac{h_5}{1-c{u}_0}v+\frac{h_4{u}_0+h_0}{1-c{u}_0}\end{array}$$

如果固定u的值，长度Hx和Hy都是v的线性函数，因此长度比例会保留。

即图像纵轴平行于v的轴上所有点变换后，依然会保持比例，不会造成失真。

1.3规则的边界

规则的边界是通过移动直线扫出来的，可以参数化表示为：$S(u,v)=p(u)+v\ast r(u)$,其中p(u)为基准曲线，r(u)是导向曲线，考虑函数
$$\left[\begin{array}{c}u\\ v\\ k(u,v)\end{array}\right]=\underset{\mathbf{p}(u)}{\left[\begin{array}{c}u\\ 0\\ g(u)\end{array}\right]}+\underset{\mathbf{r}(u)}{\left[\begin{array}{c}0\\ 1\\ f(u)\end{array}\right]}v$$
H也可以写成上面形式表示图为规则表面。

上面分析一大堆，就是为了说明投影变换产生上图形状，当旋转一定角度，图像沿着u轴继续变换会造成拉伸，但垂直线的长度比不变。且产生规则的变化

2. 半投影变换
半投影保持变换，主要思想将图像划分三个部分，第一部分采用投影变换H，第三部分是一个相似变换S，第二部分是一个缓冲区通过变换T让投影变换过渡到相似变换，以至于不会产生太大的突变。

要保证图像在分界线$u_1$处所有$S(u,v)=H(u,v)$。
$$S(u,v)=\frac{1}{1-c{u}_1}\left(\left[\begin{array}{cc}{h}_5& h_2\\ -h_2& h_5\end{array}\right]\left[\begin{array}{l}u\\ v\end{array}\right]+\left[\begin{array}{l}\left(h_1-h_5\right)u_1+h_3\\ \left(h_4+h_2\right)u_1+h_6\end{array}\right]\right).$$
$$S(u,v)=\left[\begin{array}{l}{S}_z(u,v)\\ S_y(u,v)\end{array}\right]=\left[\begin{array}{cc}\alpha & -\beta \\ \beta & \alpha \end{array}\right]\left[\begin{array}{l}u\\ v\end{array}\right]+\left[\begin{array}{l}{t}_x\\ t_y\end{array}\right]$$

u,v到x’,y’ 的变换H写成相似变换矩阵的形式只能是上式，即相当于确定了u1后就能确定相似变换S满足在u1处S=H

假设中间过渡变换T为
$$T(u,v)=\left[\begin{array}{l}{T}_x(u,v)\\ T_y(u,v)\end{array}\right]=v\left[\begin{array}{l}{f}_x(u)\\ f_y(u)\end{array}\right]+\left[\begin{array}{l}{g}_x(u)\\ g_y(u)\end{array}\right].$$
为了保证还是规则曲线，总的变换w可以写成
$$w(u,v)=\left[\begin{array}{l}{w}_x(u,v)\\ w_y(u,v)\end{array}\right]=\left[\begin{array}{c}{F}_x(u)v+G_x(u)\\ F_y(u)v+G_y(u)\end{array}\right]$$
其中F和G
$$\begin{array}{l}{F}_x(u)=\{\begin{array}{ll}\frac{h_2}{1-cu}& \text{ if }u\le u_1\\ f_x(u)& \text{ if }{u}_1<u<u_2\\ -\beta & \text{ if }{u}_2\le u\end{array}\\ G_x(u)=\{\begin{array}{cl}\frac{h_{1}u+h_3}{1-cu}& \text{ if }u\le u_1\\ g_x(u)& \text{ if }{u}_1<u<u_2\\ \alpha u+t_x& \text{ if }{u}_2\le u\end{array}\end{array}$$
接下来求$\alpha 、\beta 、t_x、t_y、f_x、f_y、g_x、g_y$等参数,我们需要w是连续的即F和G是连续的。根据连续的定义。
$$\begin{array}{ll}{f}_x\left(u_1\right)=\frac{h_2}{1-c{u}_1}& \left(F_x\left(u_1\right)\text{ is continuous }\right)\\ f_x^{\prime }\left(u_1\right)=\frac{c{h}_2}{{\left(1-c{u}_1\right)}^2}& \left(F_x^{\prime }\left(u_1\right)\text{ is continuous }\right)\\ f_x\left(u_2\right)=-\beta & \left(F_x\left(u_2\right)\text{ is continuous }\right)\\ f_x^{\prime }\left(u_2\right)=0& \left(F_x^{\prime }\left(u_2\right)\text{ is continuous }\right)\end{array}$$
当u1和u2确定可以求得对应的过渡区变换矩阵。

当u1和u2确定时，首先相似变换很容易确定，然后最重要的过渡区变换，过渡区变换需要确定很多参数，可以相似和透视变换矩阵求出。依据是在u1和u2处函数连续。–高数

3. u1和u2确定

给定两幅图像为了保形我们肯定需要相似变换的区域越大越好。我们有
$$\begin{array}{l}{E}_i\left(u_1,u_2\right)\\ ={\min }_{a_i,b_i}{\iint }_{(x,y)\in {\Omega }_i}{\Vert J_i\left(x,y;u_1,u_2\right)-\left[\begin{array}{cc}{a}_i& -b_i\\ b_i& a_i\end{array}\right]\Vert }_F^{2}dxdy\end{array}$$
在$I_i$中的区域内，其中J代表着w扭曲在xy出的雅克比矩阵，可以通过u1 和u2 确定， 后面是一个最接近的相似变换。