Revisiting Self-Training for Few-Shot Learning of Language Model,EMNLP2021

Revisiting Self-Training for Few-Shot Learning of Language Model,EMNLP2021_第1张图片

Method

本文提出了一个基于自监督语言模型的少样本文本学习框架SFLM。给定文本样本,通过屏蔽语言模型的提示学习方法,为同一个样本生成弱增强和强增强两个视图,SFLM在弱增强版本上生成一个伪标签。然后,当与强增广版本进行微调时,模型预测相同的伪标签。
整体的模型如下:
Revisiting Self-Training for Few-Shot Learning of Language Model,EMNLP2021_第2张图片
首先,给定一个有标签数据集 X \mathcal{X}

你可能感兴趣的:(低资源本文分类,语言模型,机器学习,深度学习)