小样本学习 few-shot learning

小样本学习

在现实世界中，人可以通过很少量的示例就很好很快的接受一个新的事物，比如，看过一两张北极熊的照片，人们就可以很轻易的从黑熊、棕熊、北极熊、熊猫中找到哪一种动物是北极熊。这是因为随着岁月的积累，人们已经拥有了大量的先验知识(prior knowledge)，使得对一个新鲜事物，只需要少量的例子就可以“学习”到该事物的特点。

机器学习、人工智能的目标就是模仿人的行为，现如今在CV领域，利用CNN等深度学习方法来进行图片分类已经在很多领域达到甚至超越了人类专家的水平，然而这些成果的获得都需要海量的数据集来支持网络的训练，这对于一些领域是难以接受的，例如医学图像分析领域，医学图像往往比较难以获得，特别是病情比较严重的图像。小样本学习就是为了解决这个问题，小样本学习的目标就是使得计算机能够在已经获取了许多其他领域或相关领域的先验知识的情况下，在面对一个新的领域中的很少量的数据时，能够对其进行很好的识别。

小样本学习的模式通常为：
在其他领域的大数据集上训练一个模型->用新领域的少量数据集略作优化或直接使用原模型->得出结果

• 基于Finetune的小样本学习方法
  Finetune的方法主要思想是在一个庞大的数据集上预训练一个模型，然后利用目标领域的少量数据集对该模型再进行训练，更新参数，达到对模型的微调效果。

• 基于metric的小样本学习方法
  基于度量(metric)的方法的模型大多由两部分组成，第一部分为一个特征抽取器，第二部分为一个基于metric的分类器。训练所用数据集同样为一个数量庞大的其他领域数据集，然后在目标数据集上测试。基于度量的方法往往将训练数据集化为一个个episode模拟小样本模式进行训练，在每个episode中又分出support set (Xi, Yi)和 query set (Xj, Yj)， 将support set作为基准，对query set 中的X分类为y，然后根据y 与 Yj 计算loss 更新特征抽取器以及带参数的分类器。
  基于metric的分类器分为两种，一种是带有参数的由模型训练出一个分类器，另一种是简单的距离度量，如欧式距离、余弦距离等。

（未完待续）