活动报名丨IDEA研究院 杨平：统一自然语言理解任务为多项式选择任务

11月16日（周三）19:00「青源Live 第54期丨统一自然语言理解任务为多项式选择任务」将在线举办，来自IDEA研究院认知计算与自然语言研究中心的NLP算法工程师杨平做报告分享，欢迎预约观看并参与线上交流。

杨平

IDEA研究院·NLP算法工程师

杨平，现就职于 IDEA研究院认知计算与自然语言研究中心，担任NLP算法工程师，研究方向主要集中在大模型预训练、Few/Zero-Shot、信息抽取等方向。

“

统一自然语言理解任务为多项式选择任务

对于许多自然语言理解（NLU）任务来说，传统的做法是先用大量无标注的文本进行预训练，然后在特定任务上进行微调。由于在微调时需要添加任务指定层参数，而模型需要微调才能在指定任务上进行推理，这使得模型不具备 零样本（Zero-Shot） 学习的能力。为了消除这一任务指定层，T5、GPT等生成模型通过将 NLU 任务转化为文本生成任务。尽管生成模型可用做到统一参数、统一框架、统一训练目标。但是生成模型需要将标签给生成出来，这无疑是加重了任务的难度和模型的学习成本。对于许多基于标签的任务来说，通常只需要给定输入文本，输出文本属于每种标签的概率即可。基于这个思路，我们将 NLU 任务转化为多项选择任务。为了充分利用预训练模型在预训练阶段所学习到的知识，我们通过控制位置编码和 Attention Mask 来使得模型不需要添加额外参数也能做多项式选择任务。实验结果表明在Zero-Shot场景下，我们提出的模型仅用亿级的参数就可以超越千亿级参数的生成模型。

活动时间：11月16日（周三）19:00-20:00

活动形式：线上直播，扫描下方二维码报名

更多内容 尽在智源社区公众号