这所“双一流”，全球夺冠！

来源：软科

近日，由武汉大学-京东可信人工智能联合研究中心共同提出的织女模型在全球自然语言处理领域权威榜单GLUE中以总平均分91.3分荣登榜首刷新了自然语言理解技术世界纪录。

由纽约大学、华盛顿大学、谷歌DeepMind等机构联合推出的通用语言理解评估标准（GLUE）榜单被认为是衡量自然语言处理预训练技术水平的重要指标之一。

在日前公布的GLUE榜单中，由武汉大学-京东可信人工智能联合研究中心共同提出的超大参数规模的自然语言处理模型“织女模型Vega v1”，以91.3的高分超越了同场竞技的微软、Facebook、斯坦福大学等企业和高校团队，充分证明了“织女模型”在人工智能技术上的领先地位。

GLUE榜单排名图

织女模型作为通用的语言模型，能够适用于多种自然语言处理任务，在未来有非常广泛的应用场景，例如智能问答、对话机器人、语法纠错、自动驾驶等。如果采用模型压缩、剪枝、蒸馏等方式，将织女模型轻量化，得到一个参数量更小的模型，并将其部署在智能终端中，将使人们的日常生活更加便利。

此外，除了模型本身的强大能力，团队同样采取了许多相匹配的高效微调策略，在下游具体的自然语言处理任务的少量标注样本下，对模型进行高效的参数更新，有效提升了织女模型的准确性。

相比于提交到GLUE榜单中的其他模型，织女模型在多个重要的预训练技术上实现了突破：如高效节能的并行化训练框架以及数据利用方法、数十亿参数量的创新模型架构、更好的自监督预训练目标以及让模型根据单词、短语、短句等不同粒度学习整个句子的表征，实现多粒度句子级表征等，这使得模型本身更具竞争力。

织女Vega v1模型测试结果图

GLUE榜单中共涵盖自然语言推断、语义相似度匹配、问答等9大NLP任务，在榜单设立初期提供了每个任务的人类测试结果，代表了各个任务的人类智能水平。随着预训练模型的不断研究，预训练模型已经能够在GLUE中多个任务上超过人类测试结果，但唯独在情感分析和指代消解任务上迟迟没有模型能够超过人类结果。

而织女模型不仅在GLUE榜单上以总平均分第一登顶榜首，也首次在这两个充满挑战的任务上超过了人类测试结果，表明了织女模型将预训练模型的智能水平提升到新的高度。

未来，团队还将考虑融合可信人工智能等技术对织女模型进行全面升级，使其不仅具有强大的文本理解能力，还能具备可解释性、保护隐私、公平性等重要属性。

武汉大学-京东可信人工智能联合研究中心

作为由武汉大学人工智能研究院、计算机学院与京东联合成立的科研机构，武汉大学-京东可信人工智能联合研究中心自2021年成立以来，已累计发表数十篇高水平研究论文，并在ICCV2021多目标跟踪竞赛的深度+视频大赛与全球自然语言处理领域顶级测试GLUE大赛中均取得世界第一的佳绩。

推荐阅读

• 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》

• 如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研

• 最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！

• 【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！

• 分层级联Transformer！苏黎世联邦提出TransCNN: 显著降低了计算/空间复杂度！

• 清华姚班教师劝退文：读博，你真的想好了吗？

• 2021李宏毅老师最新40节机器学习课程！附课件+视频资料

技术交流群邀请函

△长按添加小助手

即可申请加入深度学习/机器学习等技术交流群