【论文】【CVPR 2019 oral】Unsupervised Person Re-identification by Soft Multilabel Learning

目录

Abstract

Introduction

Related Work

Deep Soft Multilabel Reference Learning

Problem formulation and overview

Soft multilabel-guided hard negative mining

Cross-view consistent soft multilable learning

Reference agent learning

Model training and testing

Experiments

Datasets

Comparison

Ablation study

---

Abstract

为解决RE-ID (re-identification)中的扩展性问题，提出了 a deep model for the soft multilabel learning.

idea: 将unlabeled person和辅助域中的reference person比较从而学到一个soft multilabel（真值标签的似然向量）

• 提出了soft multilabel-guided hard negative mining来学习discriminative embedding
• 引入reference agent learning来表示每一个reference person

效果：在Market-1501和DukeMTMC-reID数据上，是无监督方法的第一

Introduction

• 为解决无监督RE-ID中缺少pairwise label guidance的问题：
  • 提出了soft multilabel learning来挖掘潜在的标签信息
  • main idea:
    • 通过将该unlabeled person和辅助集中的reference persons集合进行比较，得到soft multilabel（soft multilabel 就是实值标签的似然向量）
    •  
    • 箭头越粗，表示概率越大。得到的是soft multilabel
• 基于soft multilabel，提出了soft-multilabel-guided hard negative mining来挖掘潜在的差别信息，即利用soft multilabel区分视觉上相似实则不同的unlabeled person
  • 什么是hard negative?
    • 一组unlabeled person如果视觉上相似但是比较性的特征却不相似，则这组unlabeled person 就是 hard negative pair
• cross-view consistent learning
• reference agent learning
• summarize the contribution:
  • (1)通过soft multilabel解决了无监督RE-ID问题
  • (2)提出了一个统一的模型，称为soft multilabel reference learning (MAR), 可以同时处理soft multilabel-guided hard negative mining, cross-view consistent soft multilabeled learning, reference agent learning

Related Work

• Unsupervided RE-ID
  • Unsupervised RE-ID指的是目标数据集无标签，但是辅助数据集不一定没有标签
  • 最近的一项unsupervised RE-ID的工作是pseudo learning伪标签学习。改论文与伪标签学习的区别在于, soft multilabel可以学到视觉特征相似性意外的辅助参考信息，而伪标签只能编码视觉特征相似性，因此soft multilabel可以挖掘不能直接由视觉特征比较而来的潜在标签信息。
• Unsupervised domain adaptation
  • 该方法是通过调整source domain和target domain之间的分布实现的。
  • unsupervised domain adpatation 存在的问题是它是建立在source domain和target domain类别数量都一致的基础上的，而实际的RE-ID问题是不一致的。
• Multilabel classification
  • 这里的multilabel和作者的soft multilabel是不一样的
  • multilabel是groundtruth的二值向量
  • 作者的soft multilabel是真值标签的似然向量
• Zero-shot learning
  • zero-shot learning是通过语义属性来识别的
  • soft multilabel reference learning 和 zero-shot learning的相似性在于两者都是通过一致的reference person集合来描述一个未知的target person
  • zero-shot learning的问题在于需要预先定义语义属性，这在unsupervised RE-ID问题上很难实现

Deep Soft Multilabel Reference Learning

Problem formulation and overview

• 目标RE-ID数据集
  • 
• 辅助RE-ID数据集
  • 
• 目标1: 学到一个soft multilabel function 使得
  • y所有维的和为1，每一维代表似然度
• 目标2：学习一个discriminative deep feature embedding 
• 目标3：学习reference agents集合
  • 每一个表示shared joint feature embedding中的reference person，
  • shared joint feature embedding包含unlabeled person 以及agents
• 学习soft multilabel的方法：
  • 比较和agents
  • 即，soft multilabel function简化为：
• overall illustration
  • 
  • 
  • 红色圆圈：unlabeled person image 
  • 蓝色三角：a set of reference agents 

Soft multilabel-guided hard negative mining

• soft multilabel function:
  • 
  • 用内积来表示相似度
• 假设1
  • 如果一对unlabeled person images 有较高的特征相似性，称这对为similar pair。如果similar pair有较高的比较特征相似性，称该pair可能是positive pair，否则可能是hard negative pair
• 为衡量比较特征的相似性，soft multilabel agreeement 定义为：
  • 
• 通过同时考虑从特征相似度和soft multilabel agreement来挖掘hard negative pairs
  • 给定挖掘概率
  • 定义假设1中的相似对为对，为目标数据集中的所有对数（）
  • 定义postive set 和hard negative set ​​​​​​​为：
    • 
    • 
    • S, T是两个阈值
• soft multilabel-guided discriminative embedding learning定义为：
  • 
  • 
  • 

Cross-view consistent soft multilable learning

• cross-view consistent soft Multilabel Learning loss:
  • 
  • 是数据集的soft multilabel分布
  • 是数据集中第v个摄像头视角的soft multilabel分布
  • 是两个分布之间的距离（本文使用的是simplified 2-Wasserstein distance），在该距离下，loss定义为
    • 是log-soft multilabel的mean/std vector
    • 是log-soft multilabel第v相机的mean/std vector

Reference agent learning

• reference agent既要相互区分，又要能够表示所有对应person的图片
• agent learning loss:
  • 
  • 是辅助集中第k个person的图片，label为
• 上式只是针对辅助数据集，为了进一步提高soft multilabel function在unlabeled target dataset上的有效性，提出了joint embedding learning for reference comparability
  • 为什么要有joint embedding learning?
    • 获得reference comparability的最大挑战在于domain shift，这是由两个独立domain中不同person的外观分布引起的
  • reference agent-based joint embedding learning loss:
    • 
• reference agent learning loss:
  • 

Model training and testing

• soft multilabel reference learning (MAR) loss:
  • 
• train model end to end by SGD
• for testing, compute the cosine feature similarity

Experiments

Datasets

• Evaluation benchmarks
  • Market-1501
  • SukeMTMC-reID
• Auxiliary dataset
  • MSMT17

Comparison

Ablation study

 

CONTACT INFORMATION

E-Mail: [email protected]

QQ: 46611253