【论文笔记】变化检测2

目录

1. Change Detection from a Street Image Pair using CNN Features and Superpixel Segmentation（2015）

2. Change Detection Based on Deep Siamese Convolutional Network for Optical Aerial Images（2017）

参考博客

---

 

1. Change Detection from a Street Image Pair using CNN Features and Superpixel Segmentation（2015）

论文地址：[PDF] Change Detection from a Street Image Pair using CNN Features and Superpixel Segmentation | Semantic Scholar

主要内容：

CNN网络中，上层代表并编码了关于输入图像的高度抽象信息（语义、对象级信息）。低级视觉特征（边缘、纹理等）由下层表达。

本文旨在开发一种检测城市尺度变化的方法，用于自然灾害破坏后的恢复可视化。提出一种2D领域的变化检测方法，利用卷积神经网络（CNN）的特征结合超像素分割。通过对CNN特征的比较，可以得到一幅低分辨率的对光照变化和视点差异有鲁棒性的场景变化图，再将场景图像的超像素分割与该低分辨率图相结合，精确估计图像的分割边界变化。

具体说来，首先将输入图像划分为粗网格，通过比较网格单元在不同时间的CNN特征来估计每个网格单元场景变化的可能性。然后，该方法将网格单元上检测到的变化投影到超像素段，以获得变化的精确边界。

架构：

3个步骤：1）网格特征提取；2）超像素分割；3）基于几何上下文的天空和地面面积估计。 

1. 网格特征提取：使用VGG网络的池化层对图像对进行分割网格的特征提取，其中网格数量与池化层元素数量一致；通过计算图像对的特征距离得到change maps。
2. 对图像进行超像素分割：CNN特征几乎不受几何变化的影响，使用超像素分割来细化差异图，缓解池化操作带来的分辨率降低，以得到变化的精确边界。
3. 通过几何背景估计天空和地面差异并加以去除，最后得到change score。

创新点：使用VGG网络的池化层将图片网格化提取不相似性特征，并结合超分辨率分割减轻由于池化操作造成的分辨率下降问题。

结果： 

 具体：

可视化：

2. Change Detection Based on Deep Siamese Convolutional Network for Optical Aerial Images（2017）

论文地址：Sci-Hub | Change Detection Based on Deep Siamese Convolutional Network for Optical Aerial Images | 10.1109/LGRS.2017.2738149

主要内容：

提出一种基于深度孪生卷积网络的监督性变化检测方法，用于光学航空图像。使用加权对比损失来训练一个孪生网络，通过学习孪生网络直接从图像对中提取特征。与传统手工特征相比，提取的特征更加抽象和鲁棒。使用加权对比损失函数的优点：变化像素对的特征向量距离较远，而不变化像素对的特征向量距离较近，利用特征向量的距离来检测图像对之间的变化。对距离图进行简单的阈值分割以获得较好的性能。

主要贡献：

• 学习一个连体网络，直接从图像逐像素提取特征。所提取的特征适合于变化检测，具有一个独特的特性：变化的像素对关联的特征向量在特征空间中距离较远，而不变的像素对关联的特征向量距离较近。
• 为了有效地区分变化像素和不变像素，减少不平衡数据（即变化像素和不变化像素数量差距较大）对变化检测的影响，采用加权对比损失。训练网络时，既考虑不变像素，也考虑变化像素作为目标函数。

 架构：

流程：

1. 首先，采用直方图匹配方法对两幅已配准图像进行辐射校正。
2. 然后，将处理后的图像X1和X2输入到训练好的siamese CNN中，在网络顶部得到两个特征向量和（记为F1和F2）。
3. 利用公式计算F1和F2之间的距离，生成距离图D（Distance map D）。在距离图D中，值越大，对应的像素对越有可能发生变化。
4. 通过对D进行简单的阈值分割，能得到一个初始变化图T（Initial change map T），在训练样本对上计算得到性能最好的阈值。
5. 阈值分割后，通过k-NN（k-近邻）算法对初始变化图T进行改进，得到最终变化图M（change map M）。​​​

创新点：采用Siamese网络同时训练两张图片；采用由小到大的卷积核（最后一层为1x1，效果上与全连接层相同）逐渐扩大感受野；采用knn对网络结果进行微调（代替直接用阈值分割）。

Siamese CNN：

使用连体CNN从图像对进行特征提取。因为需要逐像素提取特征，所以仅使用卷积层，未使用池化层和全连接层。卷积核逐渐增大，以保证接收域的扩大，起代替池化层的作用。最后一个1*1卷积层作为feature map的选择器。

论文《Learning to Compare Image Patches via Convolutional Neural Networks》中曾提出3种CNN模型用于特征提取：siamese（孪生）、pseudo-siamese（伪孪生）、2-channel（2通道）。如下图所示。本文选用siamese网络进行特征提取。

siamese网络两分支结构相同、权值共享。pseudo-siamese网络两分支结构相同、但权值不共享。2-channel网络则是将两个patch先拼接再输入。

Contrastive Loss Function（对比损失函数）

定义图像对生成的特征向量间的距离 ，采用的欧式距离。

Loss，计算最终变化图M与真实值Ground truth Y之间的差异。并为变化和非变化两个类别定义了两个不同的权重，以减少类别不平衡带来的影响。

结果：

可视化：

 

参考博客

Change Detecion文献综诉_Nevermore93117的博客-CSDN博客