【论文阅读笔记】车辆重识别

第一章

第二章

2.1深度学习框架及模型

暂未写

2.2特征提取方法概述

2.2.1手工设计特征

暂未写

2.2.2基于局部特征的ReID方法

1.关注局部的localfeature
常用的提取局部特征的思路是使用关键点定位，区域分割。

2.（肖等人）强化学习
以弱监督的方式自适应地在细粒度域中找到区分区域。

3.（赵等人）多元化的视觉注意网络
减轻依赖强烈监督的信息，学习局部关键区域

4.ZhongdaoWang发表的车辆重识别工作
（1）使用【关键点】定位和基于关键点进行【区域分割】的方法，将车辆图像标注为20个关键点，从待识别图像中，获取目标车辆的多个【区域分割结果】；
使用卷积神经网络CNN对【多个区域分割结果】提取【区域特征向量】，并与【全局特征向量】进行融合，得到所述目标车辆的【外观特征向量】。
最后使用【融合后的特征向量】进行车辆重识别与检索，并对不同车辆使用车辆外观特征直接进行比对，解决了不同车辆图像之间的不同区域无法比对的问题
（2）优缺点
考虑姿态对车辆重识别的影响，
模型的准确度受限于数据集的多样性，
数据集必须包括各种角度的车辆图，且规模足够大，
在收集的数据集上，要针对不同角度的车辆图片进行关键点的标注，工作量大
从可行性和工作量上分析，该方法较为复杂。

2.2.3基于表征学习的ReID方法

1.
 表征学习通过训练大量数据获得对数据的有效表示，从而在分类任务或预测任务中更容易提取有用信息。
 通过使用ＣＮＮ对大量数据进行训练，根据分类、识别等不同的任务需求自动的从图像中进行特征提取。
 
  目前对重识别主要开展两类工作，即分类问题和车辆验证问题
  
2.重识别【分类问题】
（1）按照【已经标注好的车辆的车型信息】为监督条件，输入大量车辆图像数据，使用【Classification Loss损失函数】进行分类学习，根据预测出的车辆类别信息【计算损失】，通过不断【前向传播】和【后向反馈】降低分类学习的误差损失，从而实现车辆的【细粒度】分类任务
（2）优缺点
  车型太多
  车辆重识别看为细粒度车型分类任务，会导致在数据域上的过拟合
  
3.重识别【车辆验证问题】
（1）二分类学习。即【输入标注车辆ID信息的两张车辆图片】，【判断这两辆车是否属于同一ID】。通过使用VerificationLoss进行验证学习，不断降低损失达到对两辆车的区分要求
（2）但是仅靠车辆的ＩＤ信息，学习到的验证模型泛化能力和表征能力不足，因而需要引入车辆属性标签，如车型、颜色等，通过充足的标注信息，“喂取”进神经网络，增强验证模型的学习能力。
（3）验证学习只能成对的判断两张图片的相似度，但是由于是一对一的进行比对，耗时较长，因此很难应用到目标聚类和检索上去。

4.表征学习优缺点
使用表征学习可以根据任务需求自动提取目标特征，但表征学习容易在数据集的域上过拟合，并且当训练ＩＤ增加到一定程度的时候会显得比较乏力。

2.2.4基于度量学习的ReID方法

1.度量学习，即距离度量学习或相似度学习，是一种通过【特征变换】，【映射到特征空间】，在特征空间中【形成聚类】的方法。
度量学习通过网络学习出两张图片的【相似度】，【让类似的目标距离更近】，【不同的目标距离更远】，
以车辆为例，度量学习使得属于同一ID的两辆车辆间的距离小于属于不同ID的两车辆间距离（属于同一ID的车辆之间相似度高，属于不同ID的车辆之间相似度低）。
   度量学习需要学习目标的某些【关键特征】，即个性化特点。在区分不同车辆时，车辆的外观特征极为相似，该特征属于车辆间的共性特征；
而车辆上的喷漆、装饰、贴纸、刮擦痕迹，前车脸挡风玻璃上的车辆年检标位置、装饰物、纸巾盒等特征则为区分两辆车的不同特点。度量学习通过学习这些能标识身份的关键特征，将不同身份的目标进行区分。

2.常用的度量学习损失方法有对比损失、三元组损失、四元组损失等。输入两张图片X1和X2，通过网络的前向传播可以提取到特征向量／ｘｌ，厶２。使用欧氏距离表征
相似度，定义欧氏距离计算公式如（２－１）所示：(公式不再此写）

（1）Contrastive loss
对比损失用于训练孪生网络。孪生网络就是“连体的神经网络”，是指通过共享权值来实现，即【左右两个神经网络的权重一模一样】。
主要用来衡量两个输入的相似程度。例如，在输入两张图像时，【两个输入喂进两个神经网络】，这两个神经网络会将输入分别映射到新的空间，使输入在新的空间得以表示。通过计算Loss值，对两个输入的【相似度】进行评价。
【此处公式和分析未写】
y=1代表两个样本匹配或相似，y=0代表两个样本不匹配或不相似。...

（2）Triplet Loss
优势在于细节区分，即当输入两个相似样本时，更好地对细节进行建模。
在对车辆进行区分时，极为相似车辆的外观特征作为车辆间的共性特征不是关注的焦点；而是学习如车辆上的喷漆、装饰、贴纸、刮擦痕迹，前车脸挡风玻璃上的车辆年检标位置
其目标是要让属于同一标签的样本（属于同一ID的车辆）在特征空间里尽可能地“近”，而与其他不属于同一标签的样本尽可能地“远”，通过不断学习，最终将相同ID的车辆样本在特征空间形成聚类，从而完成对车辆的重识别任务。

2.2.5基于GAN的ReID方法

1.在车辆重识别问题中，为了解决多视角下车辆重识别任务，在给定查询车辆图像和一组图库图像，通过GAN【为每个图像生成多视角特征】，该多视角特征可被视为包含【全视角信息的描述性表示】。
具体来说，首先【提取仅包含单视角可视内容的输入图像的特征】。
然后，通过【建模】获取输入视角【与其他隐藏视角】之间的【相关性】，学习变换模型以【推断其他视角下】的特征。
最后，融合了【不同视角中的所有特征】，在端到端网络上使用度量学习将该特征嵌入到距离空间。

2.用生成／对抗的方式将单视角的特征转化为多视角特征。
采用了两个生成器，G_f的输入是【单视角图像】的注意力特征，而G_r的输入是和G_f【同一ID】的、【不同视角】的【真实图片】的特征。
生成器Ｇ_f的目标不是令判别器的输出最大化，而是令【单视角数据在判别器Ｄ中第四层的特征具有和多视角数据的同一层特征具有相同的统计分布】。
从而针对一张单视角图像，可以生成多视角特征，使用该特征解决多视角下的车辆重识别。

3.难以收敛，不稳定

第三章

联合表征学习和度量学习分别进行车辆的粗粒度特征和细粒度特征的提取。

3.1使用多任务学习的车辆重识别模型

3.1.1细粒度车辆分类学习

按照生产厂商，型号，年份的不同进行细粒度的车型区分。
考虑结合度量学习，在粗粒度属性提取的基础上，进行细粒度特征的提取，进一步提升识别精度。

3.1.2度量学习

度量学习主要解决【类间相似性】和【类内差异】两种问题。
本文将以提取能唯一标识车辆身份的细粒度特征为目标，使用度量学习解决类间相似性和类内差异这两个基本问题。
但由于车辆细微的类间差异以及较大的类内差异，对于基础类别车辆而言，属于同一ＩＤ的车辆由于姿态、背景、拍摄角度的不同，表现出较大的【类内差异】。同时，不同ＩＤ的车辆（类间）之间又表现出较大的【类间相似性】，【同一视角下的同款车辆不同ＩＤ的车辆外观特征极为相近】。因此，较之其他类别的图像识别任务，车辆重识别难度更大。
要想顺利的对两辆极为相似的车辆进行准确区分，最重要的是在图像中找到能够区分这两个车辆的区分性的区域块，并能够对这些有区分性的区域块的特征进行较好的表示。
使用红圈进行标记的细微特征区域产生用于细粒度车辆识别的辨别特征，从而区分不同ＩＤ的车辆。例如使用车辆车脸上的【年检标的贴放位置】、【饰物、纸巾盒、贴图、刮痕】等【细粒度特】征，在车辆极为相似时，进行不同车辆ＩＤ的界定。
本文将以提取能唯一标识车辆身份的细粒度特征为目标，使用度量学习解决类间相似性和类内差异这两个基本问题，
利用深度网络来学习特征嵌入空间以【最大化类间距离】并同时【最小化类内距离】。基于“属于相同车辆ＩＤ的样本比属于不同ＩＤ的样本更近”的原则引入三重约束来学习特征嵌入。

3.1.3多任务学习