论文笔记：FLEX: Unifying Evaluation for Few-Shot NLP

论文来源：NeurIPS 2021 （国际人工智能顶会，A类会议）

论文链接：https://proceedings.neurips.cc/paper/2021/file/8493eeaccb772c0878f99d60a0bd2bb3-Paper.pdfhttps://proceedings.neurips.cc/paper/2021/file/8493eeaccb772c0878f99d60a0bd2bb3-Paper.pdf

论文代码：https://github.com/allenai/flexhttps://github.com/allenai/flex

        小样本NLP研究日益活跃，但是没有统一的评估标准。为此，本文制定了FLEX原则，这是一套统一的、严格的、有效的、对成本敏感的小样本NLP评估的要求和最佳实践。这些原则包括样本量设计 、一种新颖的保持评估成本可控的可优化统计准确性和精准性的基准设计方法。

本文发布了FLEX基准，其中包括四个小样本迁移设置、零样本评估以及涵盖各种NLP任务的公共排行榜。

此外，本文提出了UNIFew，一种基于提示的小样本学习模型，它统一了预训练和微调提示格式，回避了基于提示的方法在适应下游任务格式和语言模型预训练目标时的复杂机制。