GPT-2 第7页

在PyTorch中使用DistributedDataParallel进行多GPU分布式模型训练

先进的深度学习模型参数正以指数级速度增长:去年的GPT-2有大约7.5亿个参数，今年的GPT-3有1750亿个参数。

deephub·2020-09-11 20:41

一天star量破千，300行代码，特斯拉AI总监Karpathy写了个GPT的Pytorch训练库

2018诞生的GPT，1.17亿参数；2019年GPT-2，15亿参数；2020年GPT-3，1750亿参数。短短一年时间，GPT模型的参数量就呈指数级增长。GPT-3发布后不久，OpenAI即

liu志军·2020-08-26 13:09

gpt-2 文章自动生成_有助于您理解GPT-3的文章

gpt-2文章自动生成意见(Opinion)IusuallywouldpostinterestingarticlesrelatedtothetopicsofArtificialIntelligenceandMachineLearningthatIhavecomeacrossonMediumthisweek

weixin_26632369·2020-08-26 01:40

GPT-2 详解

和BERT的Transformer-encoder相比区别是有AttentionMask，GPT准确的讲内部是Decoder-OnlyBlock，http://jalammar.github.io/illustrated-gpt2/

guotong1988·2020-08-25 00:56

项目实战（十） - - GPT-2实现文本生成

项目实战（十）--GPT-2实现文本生成GPT-2实现文本生成1.Result呈现2.GPT-2VSBERT3.Self-AttentionVSMaskedSelf-Attention4.SamplingGPT

布拉拉巴卜拉·2020-08-22 13:26

强大如 GPT-3，1750 亿参数也搞不定中国话

2020-08-1417:31:342019年，GPT-2凭借将近30亿条参数的规模拿下来“最强NLP模型”的称号；2020年，1750亿条参数的GPT-3震撼发布，并同时在工业界与学术界掀起了各种争论

喜欢打酱油的老鸟·2020-08-21 08:07

这个AI用GPT-2写的剧本，预计2021年1月首播

编译｜Min出品｜大数据文摘查尔斯大学、Švanda剧院和布拉格表演艺术学院的研究人员目前正在进行一个有趣的研究项目，将人工智能和机器人技术与戏剧相融合。他们项目的主要目标是利用人工智能创造一个创新的戏剧表演，预计将于2021年1月首演。“我们研究背后的主要想法来自TomášStudeník，他是一位创新者，他注意到戏剧剧本R.U.R.的100周年纪念日即将到来，”进行这项研究的研究人员之一Rud

网易智能·2020-08-19 01:37

图解gpt-2

原文链接：https://www.sohu.com/a/336262203_129720完全图解GPT-2：看完这篇就够了（一）2019-08-2512:47来源:机器之心Pro原标题：完全图解GPT-

stay_foolish12·2020-08-18 02:23

中文版GPT-2，可用于写小说、诗歌、新闻等

原文链接：https://www.sohu.com/a/336251713_610300有人做出了中文版GPT-2，可用于写小说、诗歌、新闻等；15亿参数版GPT-2被两名研究生复现2019-08-2512

stay_foolish12·2020-08-18 02:50

GPT-2——代码的实践一:样例代码分析（无采样序列生成）generate_unconditional_samples.py 中数据流动图解

相信肯定很多小伙伴都对GPT-2高性能感兴趣，但是看了它原著的代码有点望而却步...本人也是为这个数据最终的流动困扰了几天，今天把它整理一个思维导图，分好几个层级希望对大家有帮助GPT-2generate_unconditional_samples.py

三头六臂的小白·2020-08-17 21:54

周伯文对话斯坦福教授曼宁：人机对话智能新进展需要新“图灵测试”

过去一年里，人工智能进展最大的方向在自然语言处理（NLP），BERT、GPT-2等预训练模型引领了很多方向的新时代，又催生出了大量商业应用机会。

BAAIBeijing·2020-08-13 11:01

预训练生成模型：结合VAE与BERT/GPT-2提高文本生成效果

论文标题：Optimus:OrganizingSentencesviaPre-trainedModelingofaLatentSpace论文作者：ChunyuanLi,XiangGao,YuanLi,XiujunLi,BaolinPeng,YizheZhang,JianfengGao论文链接：https://arxiv.org/abs/2004.04092代码链接：https://github.c

PaperWeekly·2020-08-11 16:16

带你一文了解GPT-2模型（transformer语言模型可视化）

GPT-2并不是专门写小说的语言架构——结构与仅含解码器的transformer相似，但它实则是基于transformer的语言模型，规模巨大，在海量的数据集上进行训练。本文将介

读芯术·2020-08-11 10:06

NLP模型应用之三：GPT与GPT-2

GPT模型GPT全称GenerativePre-Training，出自2018年OpenAi发布的论文《ImprovingLanguageUnderstandingbyGenerativePre-Training》，论文地址：https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf。在自然语言处理问题中，可从互联

xieyan0811·2020-08-11 01:25

FlyAI资讯：GPT-3的威力，助力AI领域

可能是因为它的前一代模型GPT-2也因“擅长...人工智能学习离不开实践的验证，推荐大家可以多在FlyAI-AI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。

iFlyAI·2020-08-10 16:17

转：【NLP神器】GitHub超9千星：一个API调用六种架构，27个预训练模型

只需一个API，直接调用BERT,GPT,GPT-2,Transfo-XL,XLNet,XLM等6大框架，包含了27个预训练模型。简单易用，功能强大。

szZack·2020-08-06 13:33

NLP Transformer 模型中 BPE(byte pair encoding 英文分词)详解 GPT-2 中的实现

NLP中Tranformer模型的BPE详解（GPT-2）简单解释概念BPE—bytepairencoding：GPT-2中的实现gpt-2代码解读简单解释概念BPE—bytepairencoding：

三头六臂的小白·2020-08-06 12:31

NLP GPT算法笔记

从这个意义上讲，我们可以说GPT-2本质上是键盘应用程序的下一个单词预测功能，但是它比您的手机具有更大，更复杂的功能。

Null_Pan·2020-08-06 12:57

被捧上天的GPT-3，商业化之路怎么走？

今年5月，已经得到微软Azure算力加持的OpenAI放出了GPT-3这个巨型NLP模型怪兽，包含1750亿参数，比2月份微软刚推出的全球最大深度学习模型TuringNLG大上十倍，是其前身GPT-2参数的

脑极体·2020-08-05 16:18

【项目实战全解】基于深度学习与自然语言处理的AI文本生成（自动写作）

文章目录一、项目演示：1：诗歌创作2：律诗与绝句3：小说篇4：自己的经济新闻篇二、原理解读Gpt-2简述何为语言模型与BERT的区别三、代码详解与训练教程训练数据半精度模型使用预训练步骤：四、生成文本文件结构注意五

周小夏(cv调包侠)·2020-08-04 11:11

完全图解GPT-2：看完这篇就够了（一）

其中，GPT-2由于其稳定、优异的性能吸引了业界的关注https://zhuanlan.zhihu.com/p/79714797https://jalammar.github.io/illustrated-gpt2

维尼弹着肖邦的夜曲·2020-08-04 08:51

openAI最近推出了一个新的语言模型 "GPT-2"

【转】openAI最近推出了一个新的语言模型"GPT-2"，由于效果太好(?)几乎可以以假乱真，所以openAI正在犹豫是否把这个project完整release出来。

weixin_30650859·2020-08-04 04:09

NLP论文解读：GPT-2

NLP论文解读：GPT-2摘要自然语言处理中，使用标注数据集的有监督fine-tuning方法成为主流。本文使用自行构建的新数据集WebText构建了一个语言模型直接处理下游任务。

susu944866518·2020-08-04 01:46

GPT-2代码解读[1]：Overview和Embedding

GPT-2代码解读[1]：Overview和EmbeddingAbstract随着Transformer结构给NLU和NLG任务带来的巨大进步，GPT-2也成为当前（2020）年顶尖生成模型的泛型，研究其代码对于理解

iSikai·2020-08-03 20:24

GPT-2代码解读[2]：Attention

GPT-2代码解读[2]：AttentionOverviewAttention模块的结构如上图所示，只有Linear部分是可训练的，第一次Linear将嵌入向量转换为Q，K，V1，第二次Linear将Attention

iSikai·2020-08-03 20:23

PyTorch分布式训练简明教程

例如，BERT和GPT-2等大型语言模型是在数百个GPU上训练的。对于多GPU训练，需要一种在不同GPU之间对模型和数据进行切分和调度的方法。

l7H9JA4·2020-08-03 18:57

OpenAI创建文本生成器GPT-2，因性能“太好”不敢发布引争议

OpenAI表示，这个新的自然语言模型GPT-2经过40千兆字节互联网文本样本的训练，可预测下一个单词。最终结

weixin_34007020·2020-08-03 11:54

GPT-2代码解读[3]：Block

GPT-2代码解读[3]：BlockOverview模型由12个基本块构成，每一块由三部分构成，我们已经考虑过和Embedding与Attention相关的部分，现在考虑最后一部分：Add&MLP。

iSikai·2020-08-03 11:50

GPT-2：OpenAI的NLP商业化野望

自然语言处理（NLP）技术正在生活的方方面面改变着我们的生活。客厅的智能音箱在跟你每天的对话中飞速进步，甚至开始跟你“插科打诨”来适应你的爱好习惯。电商客服总是能在第一时间回复，可能处理完你的问题，你也并未发觉TA可能只是一个智能客服。现实版的“图灵测试”每天都在发生。经常查阅外文资料的你也许早已习惯网页或几家搜索引擎的一键翻译，译文的质量好到让你觉得学外语的时间纯属浪费。闲来无聊当你刷信息流或者

脑极体·2020-08-03 10:19

GPT-3会让文字工作者和程序员失业吗？

OpenAI又放出了一个大家伙，GPT-3，是一种无监督的语言转换模型，是GPT-2的继承者。它在2020年5月首次被描述。

徐明勋·2020-08-03 10:02

MIT用GPT-2模型做了个名人发言模仿器

铜灵发自凹非寺量子位出品|公众号QbitAI模仿各路名人的推特行文，现在可以分分钟做到。MIT的研究科学家、深度学习课老师LexFridman做了一个新应用：DeepTweets，能通过一个人以往的推特内容进行内容模仿，自动生成新的伪推特。发布10小时，500多人在网友LexFridman的研究下点赞，网友@ArthDubey表示，从某种程度上来说，你搜索、查询和发推的时候很容易推断出你的倾向，基

QbitAl·2020-08-03 10:40

OpenAI发布具有1750亿个参数的GPT-3 AI语言模型

2005.14165guthub：https://github.com/openai/gpt-3OpenAI的一组研究人员最近发表了一篇论文，描述了GPT-3，这是一种具有1,750亿个参数的自然语言深度学习模型，比以前的版本GPT

无崖子0·2020-08-01 01:12

基于Transformers库的BERT模型：一个文本情感分类的实例解析

BERT的库来源于Transformers，这是一个由PyTorch编写的库，其集成了多个NLP领域SOTA的模型，比如bert、gpt-2、transformerxl等，并且可以自由选择已经预训练好的模型参数

程序员的自我反思·2020-07-31 15:17

GPT-3 Finetune

之后2019年初的GPT-2提出了me

kyle1314608·2020-07-29 20:13

简单粗暴，容量大，效果好，1750亿参数的GPT-3

如上图所示，x轴的参数，参数数量级越大，准确率越高……该研究使用了和GPT-2相同的模型和架构

shadowcz007·2020-07-28 10:33

微软开源深度学习优化库 DeepSpeed 连登 GitHub 趋势榜！

T-NLG拥有170亿个参数，性能远胜于其他大型深度学习语言模型，例如BERT和GPT-2。很难想象训练如此大规模的模型需要多少计算量。

CSDN资讯·2020-07-27 20:47

逆天的GPT-2居然还能写代码（但OpenAI却被无情吐槽）

问耕发自麦蒿寺量子位出品|公众号QbitAI昨天，OpenAI发布了逆天的GPT-2，举世皆惊。

量子位·2020-07-15 11:22

GPT-2技术学习（论文+原理+代码）

论文原理：代码：#1.论文：LanguageModelsareUnsupervisedMultitaskLearnerhttps://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf#2.原理：*2.1.【NLP】OpenAIGPT2详解https://zhuanlan.zhihu.com/p/572516

williamwong91·2020-07-15 07:14

GPT-2的大规模部署：AI Dungeon 2 如何支撑百万级用户

2020-02-1411:16导语：这是一个经典的文本冒险游戏早在2019年3月，我就建立了一个名为AIDungeon的hackathon项目。这个项目是一个经典的文本冒险游戏。故事的内容和所呈现的潜在动作都是通过机器学习产生的：图片来源：AIDungeonClassic这款游戏在hackathon很受欢迎，总会有一小群人在线，但总的来说，离我的预想还有差距。首先，玩家只能从游戏提供的选项中进行选

喜欢打酱油的老鸟·2020-07-15 07:11

GPT-2，吓坏创造者的「深度造假写手」

2019独角兽企业重金招聘Python工程师标准>>>简评：今年二月份刷屏的GPT-2着实厉害，那个生成续写故事的例子更是效果好到吓人一跳，它到底有多厉害，本文略微讲讲。

weixin_34389926·2020-07-15 05:12

【必备】GPT-2没什么神奇的，PyTorch 就可以复现代码

本文经AI开发者（ID:okweiwu,社区地址:https://ai.yanxishe.com）授权转载，禁止二次转载欢迎来到「带注释的GPT-2」。

机器学习算法与Python学习-公众号·2020-07-14 17:22

BERT训练问题（数据并行/模型并行）

训练出了世界上最大的语言模型——MegatronLM，包含83亿参数，比BERT大24倍，比GPT-2大5.6倍；还打破了实时对话AI的记录，仅耗时53分钟即可训练出行业

静静和大白·2020-07-14 14:18

使用NLP检测和对抗AI生成的假新闻

MOHDSANADZAKIRIZVI编译|VK来源|AnalyticsVidhya概述由AI生成的假新闻(神经假新闻)对于我们的社会可能是一个巨大的问题本文讨论了不同的自然语言处理方法，以开发出对神经假新闻的强大防御，包括使用GPT

磐创 AI·2020-07-14 10:48

AI界最危险武器GPT-2使用指南：从Finetune到部署

大数据文摘授权转载自安迪的写作间作者：Andy今早一起床就看到FrançoisChollet大神（Keras作者）发推，根据GPT-2中量模型的超长距离记忆想到了一种简单的不基于机器学习的文本生成方式，

BigDataDigest·2020-07-14 04:06

只需单击三次，让中文GPT-2为你生成定制故事

2019-11-1212:49:55机器之心报道机器之心编辑部想要GPT-2生成中文故事，听听它对各种主题的看法？

喜欢打酱油的老鸟·2020-07-14 03:22

GPT-2仅是“反刍”知识，真正理解语言还要改弦更张

作者|GaryMarcus译者|泓技编辑|夕颜出品|AI科技大本营（ID：rgznai100）【导读】OpenAI的GPT-2正被广泛地讨论，无论是《纽约客》还是《经济学人》，我们都能看到有关它的话题。

AI科技大本营·2020-07-14 01:05

15亿参数的NLP模型究竟有多强大？有人用它生成了一部《哈利·波特》

源/新智元上周，OpenAI发表了一个超大规模的“通用”NLP模型——GPT-2。

机器学习算法与Python学习-公众号·2020-07-07 20:33

机器学习模型越来越大，开发者应该如何部署？

然而，当OpenAI发布GPT-2时，这一差距好像缩小了。对于OpenAI构建的通用语言模型GPT-2，该领域的开发者都不陌生。通过简单增加模型大小，GPT-2有15亿个参数，是

喜欢打酱油的老鸟·2020-07-06 03:09

11月9日科技资讯|马云再谈对钱没有兴趣；比尔·盖茨：微软原本可以击败 Android！TypeScript 3.7 发布 | 极客头条

OpenAI开源了备受争议的GPT-2系统完整代码！微软用Rust取代C/C++迎来新进

科技新闻搬砖·2020-07-06 02:30

推荐频道

GPT-2