【论文笔记】Learning Deep Neural Networks for Vehicle Re-ID with Visual-spatio-temporal Path Proposals

Learning Deep Neural Networks for Vehicle Re-ID with Visual-spatio-temporal Path Proposals
车辆重识别中基于视觉时空路径方法的深度神经网络

1.摘要

(1)这篇文章提出了一个两级框架，将时空信息融合到re-id结果中。
(2)通过给出一对图片及它们之间的时空信息，候选可视时空路径被链马尔可夫模型的深度学习函数产生。
(3**)Siamese-CNN网络+Path-LSTM模型采用候选路径以及成对查询来生成它们的相似性得分**。

2.简介

(1)多数re-id方法都只依赖外观信息，但是车辆与行人不同，工厂批量生产，外观信息很难辨认。许多细微的差别如车牌，特别装饰很难得到，由于没有车辆正面的图片，低分辨率，低照明等等情况。
(2)之前有关时空约束的方法是每对图像都计算时空关系。这种时空规则化过于简单。更重要的是，数据集提供的时空路径被忽略了。如果两个摄像头之间的摄像头没有拍摄到车辆图像，准确度将会非常低。
(3)这篇论文提出了使用这种时空路径来解决问题的方法。第一个：第一次提出了使用起止询问图像的一系列候选时空路径（如何根据起止查询图像确定候选路径？）。这样，沿着候选路径的所有可视时空路径状态被有效地并入来估计路径的有效性置信度。第二个：通过链MRF对路径建模，能更有效的生成时空路径。链MRF能被max-sum算法有效的优化。论文提出了一个深度神经网络，用来学习成对可视时空势函数（potential function）。

3.方法

3.1. 可视时空路径提议
3.1.1 关于可视时空路径建议的链马尔可夫模型

这个式子其中p,q分别为起止状态，**(xi,xi+1)代表xi,xi+1之间的成对势函数。这个函数通过深度神经网络学习出来。（在下一节介绍）

这个式子为求使得p最大的x的值。得到最优状态x*.
Max p如下：

Empirical averaged potential (经验平均势能)：

3.1.2 作为对偶势函数的深度神经网络
对偶势函数评估了相邻两个变量的可视时空状态之间的相似性。
一个分支网络计算视觉相似性，使用Siamese网络（使用RESNET-50），输入两张图片，使用”全局池化”层描述视觉外观。之后一个sigmoid神经元得到视觉相似性。
另一个分支网络计算时空相似性。使用MLP，两层全连接层，第一层ReLU,第二层sigmoid。输入为串联[时间，距离]
两个分支网络综合于一个sigmoid函数。

预训练Resnet-50来分类车辆身份，使用了交叉熵损失函数（why交叉熵?）
Positive:nagetive =1:3(WHY,调参？)预训练两个网络，使用0-1交叉熵、SGD。（why0-1？）
3.2 Siamese-CNN+Path-LSTM 查询对分类

Siamese-CNN:直接利用查询对得出相似程度。
LSTM：用来判断路径是否有效。
输入为[外观差异，距离，时差]。f代表全连阶层的特征转移。
R代表输入图像的特征转移。


Path-LSTM的隐藏层神经元数量为32，LSTM最后一步的隐藏特征设置为全连接，可以获得有效路径的分数。最后再加到Siamese-CNN上（LSTM提供了重要的正则化）。
Siamese-CNN都进行了预训练，之后融合。训练样本和3.1.2相同，唯一的区别是不再是相邻相机，而是相机网络中的任意相机。LSTM预训练于Adam算法。整体网络调整于端对端方法*（使用了SGD和0-1交叉熵损失函数）

4.实验

4.1 数据集和评估尺度
VeRi-776数据集是仅有的提供时空信息标注的车辆识别数据集。包含：50000+图片，776身份，时间戳，相机地理位置，牌照，车型，颜色。分为两个数据集:train set&test set，test set又分出一个子集，用于纠正由其他test图像产生的应答图像。
评估尺度有：mAP，top-1、top-10准确度。
4.2 与其他车辆RE-ID的方法比较
4.3 实验结果
4.4 时间复杂度分析

**

5.结论

**
现有的方法忽略了使用视觉时空路径信息，这篇文章提出的方法融合了时空信息来正则化。
深度学习的成对势函数的链马尔科尔夫模型生成视觉时空路径提议
这些 视觉时空路径提议 由Siamese-CNN和Path-LSTM评价，获得查询对的相似性得分。

几个问题：
1.什么是势函数？成对势函数？
2.链马尔可夫模型是如何根据查询对生成的路径？