活动报名丨IDEA研究院 杨平:统一自然语言理解任务为多项式选择任务

活动报名丨IDEA研究院 杨平:统一自然语言理解任务为多项式选择任务_第1张图片

11月16日(周三)19:00「青源Live 第54期丨统一自然语言理解任务为多项式选择任务」将在线举办,来自IDEA研究院认知计算与自然语言研究中心的NLP算法工程师杨平做报告分享,欢迎预约观看并参与线上交流。

活动报名丨IDEA研究院 杨平:统一自然语言理解任务为多项式选择任务_第2张图片

杨平

IDEA研究院·NLP算法工程师

杨平,现就职于 IDEA研究院认知计算与自然语言研究中心,担任NLP算法工程师,研究方向主要集中在大模型预训练、Few/Zero-Shot、信息抽取等方向。

统一自然语言理解任务为多项式选择任务

对于许多自然语言理解(NLU)任务来说,传统的做法是先用大量无标注的文本进行预训练,然后在特定任务上进行微调。由于在微调时需要添加任务指定层参数,而模型需要微调才能在指定任务上进行推理,这使得模型不具备 零样本(Zero-Shot) 学习的能力。为了消除这一任务指定层,T5、GPT等生成模型通过将 NLU 任务转化为文本生成任务。尽管生成模型可用做到统一参数、统一框架、统一训练目标。但是生成模型需要将标签给生成出来,这无疑是加重了任务的难度和模型的学习成本。对于许多基于标签的任务来说,通常只需要给定输入文本,输出文本属于每种标签的概率即可。基于这个思路,我们将 NLU 任务转化为多项选择任务。为了充分利用预训练模型在预训练阶段所学习到的知识,我们通过控制位置编码和 Attention Mask 来使得模型不需要添加额外参数也能做多项式选择任务。实验结果表明在Zero-Shot场景下,我们提出的模型仅用亿级的参数就可以超越千亿级参数的生成模型。

活动时间:11月16日(周三)19:00-20:00

活动形式:线上直播,扫描下方二维码报名

活动报名丨IDEA研究院 杨平:统一自然语言理解任务为多项式选择任务_第3张图片

更多内容 尽在智源社区公众号

你可能感兴趣的:(活动报名丨IDEA研究院 杨平:统一自然语言理解任务为多项式选择任务)