NLP算法发展历程_3分钟热情学NLP第12篇

3分钟热情学NLP第12篇,NLP算法发展历程

从Word2Vec,GloVe,ELMo,Flair,GPT,BERT……

1、2013年,Word2vec模型,Google公司

无监督模型,与语境无关

2、2014年,GloVe模型,Stanford

GLoVe:Global Vectors for Word Representation
无监督模型,与语境无关

3、2018年3月,ELMo模型,AllenNLP/NAACL

ELMo:embedding from language model
与语境有关

参考信息:
2018年,AllenNLP的Matthew E. Peters等人在论文《Deep contextualized word representations》中首次提出了ELMo模型
论文地址:https://www.aclweb.org/anthology/N18-1202/

这篇论文来自华盛顿大学的工作,该论文同时被ICLR和NAACL接受,最后是发表在NAACL会议上,并获得了最佳论文。

4、2018年,Flair,Zalando Research团队

Flair是由Zalando Research开发的一个简单的自然语言处理(NLP)库。 Flair的框架直接构建在PyTorch上


NLP算法发展历程_3分钟热情学NLP第12篇_第1张图片
Flair简介

Flair的GitHub主页:https://github.com/flairNLP/flair

5、2018年6月11日,GPT,openAI

GPT:Generative Pre-Training,生成式预训练
论文:Improving Language Understanding by Generative Pre-Training,地址https://openai.com/blog/language-unsupervised/
包含1.17亿个参数

6、2018年10月,Bert,Google

BERT :Bidirectional Encoder Representations from Transformers)
2018年的10月11日,Google AI的Jacob Devlin和他的合作者在arxiv上放上了他们的文章,名为《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》
论文地址:https://arxiv.org/abs/1810.04805

NLP算法发展历程_3分钟热情学NLP第12篇_第2张图片
模型对比

7、2019年2月15日,GPT-2,openAI

包含15 亿参数

6、2020年5月28日,GPT-3,openAI

包含1750 亿参数量,是GPT-2的116倍
使用的最大数据集在处理前容量达到了 45TB
论文Language Models are Few-Shot Learners,地址:https://arxiv.org/abs/2005.14165

8,2020年,Switch Transformers,微软

论文Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity,地址:https://arxiv.org/abs/2101.03961

包含16000亿参数,是GPT-3的9倍

你可能感兴趣的:(NLP算法发展历程_3分钟热情学NLP第12篇)