论文阅读笔记|Unsuperised Deep Homography

前言

T. Nguyen, S. W. Chen, S. S. Shivakumar, C. J. Taylor, and V. Kumar. Unsupervised deep homography: A fast and robust homography estimation model. IEEE Robotics and Automation Letters, 3(3):2346–2353, 2018
本文提出了一种无监督学习算法，设计了一个卷积神经网络进行单应性估计，使用了不需要人工标签的光度损失函数，并引入了张量直接线性变换层和空间变换层，在合成数据集和真实数据集上都取得了较好的效果。
源码地址
Pytorch复现地址

无监督深度单应性模型

首先看一下单应性估计方法概述，如上图所示，(a)是监督学习方法，可参见这篇博客 (b)是
传统的基于特征的方法，©是无监督学习方法。可以看出，无监督方法主要由两大部分组成，前半部分使用和监督方法相同的网络，后半部分由Tensor DLT张量线性变换层、Spatial Transformation空间变换层和${\mathbf{L}}_{PW}$光度损失等组成。
在监督学习方法中，Regression Model是一个VGG风格的回归网络，网络的输出是8个参数的${\tilde{\mathbf{H}}}_{4pt}$，表示图像的四个顶点之间的偏移量，损失函数是${\tilde{\mathbf{H}}}_{4pt}$和标签${\mathbf{H}}_{4pt}^{\ast }$之间的L2损失。
监督学习方法需要人工标注的Ground Truth标签，因此在实际应用中受限制。本文提出了一个无监督学习方法。给定一对图像对$I^A(\mathbf{x})$和$I^B(\mathbf{x})$，其离散像素位置由齐次坐标$\left\{{\mathbf{x}}_i={\left(x_i,y_i,1\right)}^T\right\}$表示，网络通过最小化以下平均L1像素光度损失来输出${\tilde{\mathbf{H}}}_{4pt}$：
$${\mathbf{L}}_{PW}=\frac{1}{\left|{\mathbf{x}}_i\right|}\sum _{{\mathbf{x}}_i}\left|I^A\left(\mathcal{H}\left({\mathbf{x}}_i\right)\right)-I^B\left({\mathbf{x}}_{\mathbf{i}}\right)\right|$$其中，$\mathcal{H}({\mathbf{x}}_i)$是由${\tilde{\mathbf{H}}}_{4pt}$定义的单应性变换。
这是一个L1损失函数，表示对经过单应性变换后的$I^A(\mathbf{x})$与原来的$I^B(\mathbf{x})$进行逐像素地计算强度值之差，再对所有的像素强度值之差求平均。相当于图中的${\tilde{\mathbf{P}}}^{\mathbf{B}}$与 P^B求差的部分。

A.模型输入(Model Inputs)

模型的输入由三部分组成，第一部分是从$I^A$和$I^B$上随即裁剪的128×128×2大小的堆叠的Patch对，记为 P^A和 P^B。第二部分是P^A的四个顶点坐标，用${\mathbf{C}}_{4pt}^A$表示。第三部分是用来变换的图像$I^A$。

B.张量直接线性变换(Tensor Direct Linear Transform)

由于本文使用的无监督学习方法需要使用单应性矩阵对图像进行变换，因此设计该Tensor DLT层，使得能够从四个顶点的偏移量${\tilde{\mathbf{H}}}_{4pt}$映射到3×3的单应性矩阵$\tilde{\mathbf{H}}$。
${\mathbf{C}}_{4pt}^A$是P^A的四个顶点的坐标，加上${\tilde{\mathbf{H}}}_{4pt}$就得到了对应的${\tilde{\mathbf{C}}}_{4pt}^B$。通过直接线性变换(DLT)方法可以从${\mathbf{C}}_{4pt}^A$和${\tilde{\mathbf{C}}}_{4pt}^B$中估计单应性矩阵的9个参数。

C.空间变换层(Spatial Transformation Layer)

接下来设计的SLT层，是对图像$I^A$的像素坐标${\mathbf{x}}_i$应用Tensor DLT层的输出单应性矩阵$\tilde{\mathbf{H}}$，得到变换后的图像$I^A\left(\mathcal{H}\left({\mathbf{x}}_i\right)\right)$，即${\tilde{\mathbf{P}}}^{\mathbf{B}}$。

实验结果

超参数：
(1) 初始学习率: 0.0001
(2) Batch size: 128
(3) 优化器: Adam, ${\beta }_1=$ 0.9, ${\beta }_2=$ 0.999, $ϵ=$ 10^-8

使用逐像素光度损失函数的隐含假设是输入图像之间的亮度和对比度保持一致，因此在本方法中使用了随即光照偏移等数据增强方法。图像的重叠度通过参数$\rho$控制。
对于合成数据集，从头开始训练网络共300,000次迭代。
对于航空数据集，对神经网络进行微调，共150,000次迭代。
最后的结果表明，监督和非监督方法在合成数据上的表现相当，但无监督方法在航空图像数据集上的表现却更好。