中文版GPT-3：阿里达摩院发布超大规模语言模型PLUG，含超大规模中文生成

4月19日，阿里巴巴达摩院发布中文社区最大规模预训练语言模型PLUG（Pre-training for Language Understanding and Generation）。训练了业内规模最大的中文理解和生成模型PLUG，参数达270亿，在中文的多个下游理解和生成任务上，该模型效果达到state-of-the-art水平。本页面的所有生成展示，均是基于PLUG预训练模型的零样本生成，没有经过任何下游任务数据训练。

自18年谷歌BERT横空出世以来，预训练语言模型一跃成为自然语言处理领域的研究热点，海量数据与大规模模型的预训练+少量下游任务数据微调（Pre-training + Fine-tune）也成为NLP任务的新范式。从在开源数据集上进行评测到业务实践中的价值体现，预训练语言模型都被证明能够显著提高模型性能和算法效果。如果说预训练语言模型是2019年以来NLP领域的关键词，随着GPT系列模型的诞生，各大公司和研究机构的军备竞赛为其又冠上了大规模这一限定词。

自去年OpenAI发布超大规模预训练语言模型GPT-3引发全球热议后，中文领域同类模型的训练进程备受关注。与GPT-3类似，阿里达摩院本次发布的PLUG有望广泛应用于文本生成领域，成为“万能写作神器”。更重要的是，此类超大模型拥有极强的通用性，或将成为AI时代的新型基础设施之一。

试用场景

小说续写

输入：《骆驼祥子》。祥子，多么体面的祥子，变成个又瘦又脏的低等车夫。脸，身体，衣服，他都不洗，头发有时候一个多月不剃一回。他的车也不讲究了，什么新车旧车的，只要车份儿小就好。拉上买卖，稍微有点甜头，他就中途倒出去。坐车的不答应，他会瞪眼，打起架来，到警区去住两天才不算一回事!独自拉着车，他走得很慢，

输出：脚步很慢，他不能加快。他走到大车店门口，想看看有没有空车出来，却不料在街口正碰见王先生。祥子把车停在旁边，和他同行的，还有李先生。王先生正在和一个女人说话。祥子赶紧走进去，王先生立住了，祥子却不由他不走进去。祥子一个人进了屋，看见桌上放一张纸条，上面是：“我们的车，还在你这儿吧?“祥子拿起纸条来看，一边看一边笑，笑得眼泪也出来了，不知是泪，是笑的泪，因为笑而发抖的脸上，那些红色的皱纹像蚯蚓似的扭曲着，他把鼻子一擤，把眼一瞪。王先生和那女的都很高兴。“好好好，我的好朋友，你的好朋友啊，别生气了。

论文撰写

输入：随着计算机视觉的飞速发展,人脸识别技术已从简单场景发展到复杂场景,也即姿态、光照、表情、噪声、遮挡、化妆、年龄、种族、性别等差异化所呈现的复杂场景。尽管已有的人脸识别系统在特定约束环境下的识别成功率较高,

输出：但还是不能完全满足大规模商业应用的需求。目前，人脸识别在商业应用中主要采用图像比对的方式进行。因为其采用的是人脸图像的比对方法,在相同的环境下,如果人体不同部位的图像不同时,人脸的分类误差会越来越大。所以,人脸图像比对是人脸识别系统的关键技术之一,目前

生活解答

输入：电脑死机了怎么办？

输出：作为家长，我们对孩子学习成绩的关注度不仅仅是指孩子学习成绩，还包括孩子的学习状态、学习方法和学习习惯，如果孩子的学习成绩不是特别理想，我们是不是首先要帮助孩子找到原因？对孩子心理学的学习成绩，很多家长都说不好，有的父母会说我的孩子怎么这么笨，我的孩子都这么笨，我这么努力就是为了他学习。其实，孩子心理的学习成绩的好坏不仅是学习的效率，还有学习的能力。孩子从小学习的是他人对他的期望，他要有更好的人生，这样他的心理就会健康和谐，家长能够给孩子更多的关注，才会有更好的发展。

古诗生成

输入：关关雎鸠，在河之洲。窈窕淑女，君子好逑。参差荇菜，左右流之。窈窕淑女，寤寐求之。

输出：蒹葭采采，白露未已。有美一人，清扬婉兮。邂逅相遇，适我愿兮。心之所向，采我草之。我欲因之，长相厮守。蒹葭采采，白露未已。有美一人，清扬婉兮。邂逅相遇，适我愿兮。