文献阅读——Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference

附注

1. 这篇文章中在最终提到模型的时候使用了一个 “知识蒸馏” 的点，这点需要注意。如果不懂的话，请参考知识蒸馏基本原理
2. 其实，这里的知识蒸馏主要是在预训练模型的Fine-tuning中应用的较多，首先是使用一个大于1的T来学习预训练模型得到的一个有关数据之间的软分布，同时加上自己的一定真是数据，这样可以使得我们的模型具有较好的泛化能力。
3. 接着是在我们进行预测的时候将T的温度降下来，使得输出一个正常的分布。

文章主要思想

1. 首先对于这篇文献主要解决的问题是few-shot文本分类问题，同时在文中也是提到了文中提到的方法加以改进亦可以做到zero-shot方面的文本分类问题上来。
   1. Few-shot上面存在的问题有：
      • 首先，few-shot的数据集中带有标签的数据量很少，这种情况有可能导致，我我们在进行模型的预训练的时候很难从这些少量的实例中提取到有用的信息。
   2. 因此，文中针对于解决few-shot的文本分类问题提出了它的解决方案。
2. 文中提到的算法有两个名称分别是PET和iPET，很明显可以看出来iPET是PET模型的改进版。也就是使用的迭代的方式来解决了PET方法中遗留下来的问题。
3. 这里先论述base method——PET方法。
   • 这种方法使用的大致思想是，首先使用few-shot数据集中仅存的少量带标签的数据对MLM模型进行Fine-tuning，然后可以得到一个集成的语言模型&