零样本图像识别 | Leveraging the Invariant Side of Generative Zero-Shot Learning论文笔记

背景：零样本学习的生成对抗网络必须挑战两个问题：1）如何基于有限甚至相似的属性来保证生成多样性？ 2）如何确保每个生成的样本与真实样本和相应的语义描述高度相关？

创新点：①利用生成方法的不变方面（灵魂样本），灵魂样本表示了同一类别语义上最有意义的方面，其余同一类生成样本必须和至少一个灵魂样本接近。语义信息是生成的样本的灵魂。灵魂样本必须不是很具体，以便可以清楚地可视化最有意义的方面并尽可能与许多样本相关。

②在训练阶段的分类器中如果某个生成的零样本类别的样本有很高的置信度，那么该样本（带有识别的伪标签）将被用作识别其他零样本类别的样本的参考。 具体来说，使用两个分类器，它们以级联的方式部署，以实现从粗到细的结果。

③本文还提出了一种简单而有效的方法来衡量分类置信度。

本方法主体框架是在f-CLSWGAN（笔记：Feature Generating Networks for Zero-Shot Learning简单论文笔记 - ）基础上改进：

方法流程图

灵魂样本的定义：将每个可见类样本聚类为K个集合，每个集合求平均概率分布作为灵魂样本，这样一个可见类就有多个灵魂样本

如何让生成的伪样本接近灵魂样本：①使生成的每个样本的概率分布至少接近某一个灵魂样本（如何确定接近哪个？）②使生成伪样本的灵魂样本接近真实灵魂样本（同样的方法求取伪灵魂样本）