小样本学习知识点汇总

小样本学习年度进展|VALSE2018：https://blog.csdn.net/XWUkefr2tnh4/article/details/80729940

1. 当前大数据监督训练的问题：知识无法积累，需要大量的数据集
2. 解决当前问题的方法：transfer learning，zero-shot learning，one-shot learning。
3. one-shot learning当前常用的方法：1、直接基于监督学习的方法（无额外的数据集）2、基于迁移学习的方法（meta learning 的典例）
4. 基于监督学习方法：1、Instance-based learning 2、Non-parameteric methods
5. 基于迁移学习的方法：1、Attribute-based algorithms 2、Meta-learning algorithms 3、Metric-learning algorithms
6. 还有通过数据增强来实现one-shot learning
   1. 利用流信息来学习one-shot模型，通过半监督或直推式学习大规模的无标签数据的流信息
   2. 从现有的训练模型中自适应学习one-shot类，实现数据增强
   3. 从相近的类别借用数据，来增强训练数据集
   4. 合成新的有标签训练数据，通过呈现虚拟示例，合成表征，或变形现有的训练样本等方式
   5. 使用GAN生成新的样本
   6. 属性引导的增强方法（AGA），按期望值或强度合成样品
7. 先前大多数工作的效果都不如ResNet-18，其提出的semantic feature augmentation in few-shot learning，github代码：https://github.com/tankche1/Semantic-Feature-Augmentation-in-Few-shot-Learning
8. 此外，one-shot learning还将遇到的问题是灾难性遗忘，即网络对源数据不再适用，这也是一个当前研究的方向
9. 目前的成果主要还是基于把已知类别的一些信息迁移到新的类别上。可能未来可以尝试下更多的方向，比如利用无监督的信息或者是半监督的方法。