中文版GPT-3:阿里达摩院发布超大规模语言模型PLUG,含超大规模中文生成

4月19日,阿里巴巴达摩院发布中文社区最大规模预训练语言模型PLUG(Pre-training for Language Understanding and Generation)。训练了业内规模最大的中文理解和生成模型PLUG,参数达270亿,在中文的多个下游理解和生成任务上,该模型效果达到state-of-the-art水平。本页面的所有生成展示,均是基于PLUG预训练模型的零样本生成,没有经过任何下游任务数据训练。

自18年谷歌BERT横空出世以来,预训练语言模型一跃成为自然语言处理领域的研究热点,海量数据与大规模模型的预训练+少量下游任务数据微调(Pre-training + Fine-tune)也成为NLP任务的新范式。从在开源数据集上进行评测到业务实践中的价值体现,预训练语言模型都被证明能够显著提高模型性能和算法效果。如果说预训练语言模型是2019年以来NLP领域的关键词,随着GPT系列模型的诞生,各大公司和研究机构的军备竞赛为其又冠上了大规模这一限定词。

自去年OpenAI发布超大规模预训练语言模型GPT-3引发全球热议后,中文领域同类模型的训练进程备受关注。与GPT-3类似,阿里达摩院本次发布的PLUG有望广泛应用于文本生成领域,成为“万能写作神器”。更重要的是,此类超大模型拥有极强的通用性,或将成为AI时代的新型基础设施之一。

试用场景

小说续写

输入:《骆驼祥子》。祥子,多么体面的祥子,变成个又瘦又脏的低等车夫。脸,身体,衣服,他都不洗,头发有时候一个多月不剃一回。他的车也不讲究了,什么新车旧车的,只要车份儿小就好。拉上买卖,稍微有点甜头,他就中途倒出去。坐车的不答应,他会瞪眼,打起架来,到警区去住两天才不算一回事!独自拉着车,他走得很慢,

输出:脚步很慢,他不能加快。他走到大车店门口,想看看有没有空车出来,却不料在街口正碰见王先生。祥子把车停在旁边,和他同行的,还有李先生。王先生正在和一个女人说话。祥子赶紧走进去,王先生立住了,祥子却不由他不走进去。祥子一个人进了屋,看见桌上放一张纸条,上面是:“我们的车,还在你这儿吧?“祥子拿起纸条来看,一边看一边笑,笑得眼泪也出来了,不知是泪,是笑的泪,因为笑而发抖的脸上,那些红色的皱纹像蚯蚓似的扭曲着,他把鼻子一擤,把眼一瞪。王先生和那女的都很高兴。“好好好,我的好朋友,你的好朋友啊,别生气了。

论文撰写

输入:随着计算机视觉的飞速发展,人脸识别技术已从简单场景发展到复杂场景,也即姿态、光照、表情、噪声、遮挡、化妆、年龄、种族、性别等差异化所呈现的复杂场景。尽管已有的人脸识别系统在特定约束环境下的识别成功率较高,

输出:但还是不能完全满足大规模商业应用的需求。目前,人脸识别在商业应用中主要采用图像比对的方式进行。因为其采用的是人脸图像的比对方法,在相同的环境下,如果人体不同部位的图像不同时,人脸的分类误差会越来越大。所以,人脸图像比对是人脸识别系统的关键技术之一,目前

生活解答

输入:电脑死机了怎么办?

输出:作为家长,我们对孩子学习成绩的关注度不仅仅是指孩子学习成绩,还包括孩子的学习状态、学习方法和学习习惯,如果孩子的学习成绩不是特别理想,我们是不是首先要帮助孩子找到原因?对孩子心理学的学习成绩,很多家长都说不好,有的父母会说我的孩子怎么这么笨,我的孩子都这么笨,我这么努力就是为了他学习。其实,孩子心理的学习成绩的好坏不仅是学习的效率,还有学习的能力。孩子从小学习的是他人对他的期望,他要有更好的人生,这样他的心理就会健康和谐,家长能够给孩子更多的关注,才会有更好的发展。

古诗生成

输入:关关雎鸠,在河之洲。窈窕淑女,君子好逑。参差荇菜,左右流之。窈窕淑女,寤寐求之。

输出:蒹葭采采,白露未已。有美一人,清扬婉兮。邂逅相遇,适我愿兮。心之所向,采我草之。我欲因之,长相厮守。蒹葭采采,白露未已。有美一人,清扬婉兮。邂逅相遇,适我愿兮。

 

你可能感兴趣的:(收集,自然语言处理)