GPT-2 第5页

超越ReLU却鲜为人知，3年后被挖掘：BERT、GPT-2等都在用的激活函数

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达作为决定神经网络是否传递信息的「开关」，激活函数对于神经网络而言至关重要。不过今天被人们普遍采用的ReLU真的是最高效的方法吗？最近在社交网络上，人们找到了一个看来更强大的激活函数：GELU，这种方法早在2016年即被人提出，然而其论文迄今为止在GoogleScholar上的被引用次数却只有34次。其实，GELU已经被很多目前最

小白学视觉·2023-01-12 11:18

使用Paddle2.0构建一个经典的文本生成模型GPT-2

引入GPT-2是一种基于transformer的大型语言模型，是一个经典的文本生成模型该模型可以生成连贯的文本段落，完成阅读理解、问答、机器翻译等多项不同的语言建模任务本次就介绍一下如何使用Paddle2.0

jm_12138·2023-01-12 10:13

gpt-2 生成文本_使用gpt 2以任何语言生成文本

gpt-2生成文本Note:Thisblogwasoriginallypostedinthisfollowinglink.注意：此博客最初发布在以下链接中。

weixin_26750481·2023-01-11 11:33

Pytorch——GPT-2 预训练模型及文本生成

介绍在本次将学习另一个有着优秀表现的预训练模型：GPT-2模型，以及使用它进行文本生成任务实践。

javastart·2023-01-11 11:27

深度学习01 基本概念简介李宏毅2022

supervisedlearningself-supervisedlearning，pre-train（模型先练基本功downstreamtasks下游任务这个可以理解为，训练了编码器，也可以叫特征提取器GPT-3>T5>GPT

linyuxi_loretta·2023-01-11 06:13

从GPT到GPT3的论文笔记

这种机制叫做自回归（auto-regression），GPT-2，以及一些诸如TransformerXL和XLNet等后续出现的模型，本质上都是自回归模型，而BE

九桂·2023-01-09 09:31

GPT笔记

GPT-2和传统的语言模型一样，一次只输出一个token。模型通过语言模型方法进行学习。将原始文本与译文用特殊符号隔开输入到模型中，学习每个位置输出的损失，

等风来随风飘·2023-01-09 09:30

关于NLP模型GPT-2的学习笔记（一）

关于NLP模型GPT-2的学习笔记（一）文章目录前言一、GPT模型是什么？

bjwhile·2023-01-09 09:28

PyTorch+TensorRT！20倍推理加速！

机器学习与AI生成创作·2023-01-07 22:19

GPT-2

GPT2介绍方式训练数据集输入表征模型实验LanguageModelsareUnsupervisedMultitaskLearners介绍问题提出主要是为了解决现阶段深度学习模型针对某一特定任务的局限性，并且大多数模型对于数据分布较为敏感。多任务学习是解决泛化性的方式之一，但是也需要大范围针对性的数据和精妙的任务设计。预训练+微调的方式已经有很长的历史了，用词向量以及RNN中的隐向量。最近的研究表

cx_0401·2023-01-06 16:42

阅读文献“Language Models are Unsupervised Multitask Learner”（GPT-2）

阅读文献“LanguageModelsareUnsupervisedMultitaskLearner”（GPT-2）Abstractzero-shot：指在分类任务中没有A类的样本，只有B、C、D等类的样本

小千不爱内卷·2023-01-06 16:40

微软朱晨光：预训练模型下一步怎么走？突破PLM的「不可能三角」

从BERT和GPT-2开始，自监督预训练+监督式微调的范式取得了巨大的成功，刷新了语义相似度、机器阅读理解、常识推理和文本摘要等很多NLP领域的SOTA结果。

视学算法·2023-01-06 14:37

【回答问题】ChatGPT上线了！给我推荐20个比较流行的nlp预训练模型

源代码杀手·2023-01-03 18:01

GPT/GP2/GPT3

GPT，GPT-2，GPT-3论文精读【论文精读】_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1AF411b7xQ?

Kun Li·2023-01-02 10:06

GPT1、GPT2、GPT3原理

文章目录GPT-1：无监督学习GPT-1原理介绍预训练模型（无监督）fine-tuning（有监督）小结GPT-2：多任务学习GPT-2的改进模型参数为什么GPT-2能够适应多任务？

ywm_up·2023-01-02 10:35

GPT-2及与GPT的对比

对比5.其他：GPT-2将词汇表数量增加到50257个；最大的上下文大小(contextsize)从GPT的512提升到了1024tokens；batchsize增加到512。

Xu_Wave·2023-01-02 10:05

图解GPT-2（完整版）！

↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货译者：张贤，哈尔滨工程大学，Datawhale原创作者干货长文，建议收藏阅读，收藏等于看完。审稿人：Jepson,Datawhale成员,毕业于中国科学院，目前在腾讯从事推荐算法工作结构总览前言这篇文章翻译自http://jalammar.github.io/illustrated-gpt2/。多图详细解释当

Datawhale·2023-01-02 10:33

句子表征（各项异性等偏差）：PromptBERT: Improving BERT Sentence Embeddings with Prompts

这种现象也可以在Bert、GPT-2等预训练过的Transformers上观察到。二、已有的工作之前的一些工作

QianTu&·2023-01-01 07:59

李宏毅机器学习（六）自监督学习（一）

学习内容前情提要BERT与芝麻街这些都是BERT的组件BERT与进击的巨人BERT（340M参数）ELMO（94M）GPT-2（1542M）Megatron（8B）T5（11B）TuringNLG（17billion

追赶早晨·2022-12-30 21:33

【论文阅读】GPT系列论文详解

GPTIntroductionFrameworkUnsupervisedpre-trainingSupervisedfine-tuningTask-specificinputtransformationsExperimentLanguageModelsareUnsupervisedMultitaskLearners(GPT

长命百岁️·2022-12-28 14:13

谷歌原版bert模型tf转pytorch命令

从TensorFlow检查点转换提供了一个命令行界面，用于将原始的Bert/GPT/GPT-2/Transformer-XL/XLNet/XLM检查点转换为可以使用库的from_pretrained方法加载的模型

岩岩岩哥·2022-12-28 14:11

少数派实测报告：AI巨无霸模型GPT-3 | 附送API 调用方法「AI核心算法」

其中最值得注意的是，与之前GPT-2迭代的15亿个参数相比，新模型有1750亿个参数：模型尺寸扩大了近117倍！要知道，今年2月微软推出的深度学习模型Turi

九三智能控v·2022-12-27 18:11

GPT-2之文本生成

BPE算法原文中对BPE算法的实现：importreimportcollectionsdefget_stats(vocab):pairs=collections.defaultdict(int)forword,freqinvocab.items():symbols=word.split()foriinrange(len(symbols)-1):pairs[symbols[i],symbols[i+

weixin_43351935·2022-12-26 11:13

使用 GPT-2 生成文本

GPT-2在这里测试整个生成功能：https://transformer.huggingface.co/doc/gpt2-large使用因果语言建模(CLM)目标的英语语言预训练模型。

Sonhhxg_柒·2022-12-26 11:42

【PTM】GPT-2：四只角的独角兽

在有了之前论文的基础后读这篇论文就比较简单了，论文介绍的是OpenAI对GPT的一个改进模型GPT-2，其模型结构与GPT相比几乎没有什么变化，只是让模型变得更大更宽，并且取消了Fine-tuning的步骤

阿泽的学习笔记·2022-12-23 08:27

GPT2

1.概要GPT-2是使用transformer的解码块构建的，而BERT用的是编码块，但一个关键不同在于GPT-2是和传统语言模型一样，每次只输出一个token；模型实际运作方式是将已经输出的token

orangerfun·2022-12-23 08:56

图解GPT-2 | The Illustrated GPT-2 (Visualizing Transformer Language Models)

这是我翻译这位大佬的第二篇文章了，翻译授权见最后。其他工作：图解transformer|TheIllustratedTransformer图解BERT、ELMo（NLP中的迁移学习）|TheIllustratedBERT,ELMo,andco.文章目录翻译正文1GPT-2和语言模型1.1语言模型1.2Transformer的语言模型1.3和BERT的不同1.4Transformer组件的演变1.4

LolitaAnn·2022-12-23 07:22

深度学习系列29：VQ-GAN模型

VQGAN的突出点在于其使用codebook来离散编码模型中间特征，并且使用Transformer（GPT-2模型）作为编码生成工具。

IE06·2022-12-21 14:05

bert pytorch 序列标注_手把手教你用Pytorch-Transformers——部分源码解读及相关说明（一）...

简介Transformers是一个用于自然语言处理(NLP)的Python第三方库，实现Bert、GPT-2和XLNET等比较新的模型，支持TensorFlow和PyTorch。

weixin_39694264·2022-12-21 06:41

python transformers_Transformers 简介（上）

Transformers(以前称为pytorch-transformers和pytorch-pretrained-bert)提供用于自然语言理解(NLU)和自然语言生成(NLG)的最先进的模型(BERT，GPT

weixin_39860757·2022-12-20 15:27

GPT,GPT-2,GPT-3

视频讲解：GPT，GPT-2，GPT-3论文精读【论文精读】_哔哩哔哩_bilibili论文链接：GPT:https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdfGPT

Rose sait·2022-12-20 11:00

沐神学习笔记：GPT，GPT-2，GPT-3

课程连接：GPT，GPT-2，GPT-3论文精读【论文精读】本文混合课程内容及自己的思考，若有理解有误的地方请指正，谢谢！

victorup·2022-12-20 11:30

【NLP】GPT GPT-2 GPT-3语言模型

一、GPT简介我们说BERT是Transformer的encoder，那么GPT就是Transformer的decoder。GPT全称为GenerativePre-Training。参数量对比：ELMO-94M、BERT-340M、GPT-2-1542M（大规模）、GPT-3-175B（超大规模）二、GPT基本原理GPT的原理并不复杂，首我们知道它是基于Transformer的decoder结构。

Mr.zwX·2022-12-17 15:42

图解OpenAI的秘密武器GPT-2：可视化Transformer语言模型

其中OpenAI训练的GPT-2模型就展示出了惊艳的能力，它能够撰写出连贯而富有激情的论文，比当下其他所有的语言模型写的都好。

喜欢打酱油的老鸟·2022-12-17 07:05

英伟达PyTorch优化神器TensorRT重磅更新！10亿参数大模型实时运行，GPT推理加速21倍...

与原始PyTorch模型相比，TensorRT可以将T5、GPT-2的延迟降低9到21倍。众所周知，PyTorch和TensorFlow是两个非常受欢迎的深度学习框架。

视学算法·2022-12-14 20:40

NLP预训练模型系列-GPT-2

NLP预训练模型系列文章目录1.BERT2.GPT3.GPT-24.GPT-3目录NLP预训练模型系列文章目录前言1.Abstract2.Introduction3.Approach3.1TrainingDataset3.2InputRepresentation3.3Model4.Experiments5.GeneralizationvsMemorization6.Conclusion总结前言GP

Maxi_0902·2022-12-10 14:13

NLP-预训练模型-GPT系列：GPT-1(2018-06)、GPT-2(2019-02)、GPT-3(2020-05)、InstuctGPT(2022-01)、chatGPT(2022-11)

GPT1：ImporovingLanguageUnderstandingByGenerativePre-trainingGPT2：LanuageModelsAreUnsupervisedMultitaskLearnersGPT3：LanguageModelsAreFew-shotLearnersGitHub：https://github.com/openai/gpt-3从GPT三个版本的论文名也能

u013250861·2022-12-10 14:42

Github Copilot编程工具背后的算法技术

本文不仅介绍大哥大GPT-3，还对他的同胞兄弟GPT-1,GPT-2也进行

深度之眼·2022-12-08 12:13

GPT-1，GPT-2和GPT-3发展历程及核心思想，GTP-4展望

看了很多文章，还是这位大佬介绍的比较透彻，特此转载：词向量之GPT-1，GPT-2和GPT-3-知乎(zhihu.com)https://zhuanlan.zhihu.com/p/350017443目录前言

yimenren·2022-12-05 12:45

图解自注意力机制

写在最前边这个文章是《图解GPT-2|TheIllustratedGPT-2(VisualizingTransformerLanguageModels)》的一部分，因为篇幅太长我就单独拿出来了。

LolitaAnn·2022-12-03 21:37

预训练模型与微调

以下分享我的学习过程：了解模型：小说故事生成模型万事开头难，上视频：视频我喜欢看简短的从零实现GPT-2，瞎写笑傲江湖外传，金庸直呼内行_哔哩哔哩_bilibili这是一个非常简单的模型。

咖乐布小部·2022-12-02 13:08

GPT-2中文文本训练及生成

前排感谢这个开源项目：https://github.com/Morizeyao/GPT2-Chinese原文链接：https://moluuser.com/archives/74/记录下运行以上项目的流程。运行环境导入语料由于使用单一文本进行训练，只需要把数据集放置在./data/train.json即可。如果需要合并txt文本，使用批处理type*.txt>>all.txt即可。模型训练pyth

是木子啦~·2022-12-01 23:53

gpt-2 fintune 代码解读

在学习使用GPT-2获得了fintune的代码，阅读之后打上了中文注释，在这里发布出来：源码：源码来自github:https://github.com/nshepperd/gpt-2使用说明：https

_刘文凯_·2022-12-01 23:20

从近年顶会论文看基于GPT-2的端到端任务型对话系统

©PaperWeekly原创·作者|褚维芜单位|北京邮电大学硕士生研究方向|自然语言处理任务型人机对话系统旨在帮助用户完成特定领域中的特定任务，例如：餐馆预订、天气查询和航班预订等，具有很高的应用价值。然而，一些问题阻碍了任务型对话系统在实际应用中进行部署：一方面，任务型对话数据的收集和标注费时费力，且不同领域之间难以迁移；另一方面，虽然开放域的无标注对话数据易于获取、数据量大，利用这些数据可以训

PaperWeekly·2022-12-01 23:19

Paddle2.0 + CPM-LM：让AI帮你写文章吧

引入之前的两个项目分别介绍了GPT-2模型的构建，和如何使用GPT-2加载CPM模型实现问答机器人由于之前项目所使用的解码方式为Greedy_Search，生成的文本固定且单一，并不适合与写作类型的文本生成本次就修改一下之前项目的解码方式

jm_12138·2022-11-30 16:25

CPM-2细节发布！10大技术打通大模型「任督二脉」，单卡单机跑「千亿模型」不再是梦...

例如以单块NVIDIAV100GPU训练，GPT-1的计算时间是3天，到GPT-2计算时间就达到了200天，GPT-3的计算时间则增加到90年。

智源社区·2022-11-30 16:21

人工智能AI伪原创一键生成文章

AI文章是基于人工智能GPT-2训练搜索内容，提交任务后，不是马上就能获取内容，需要通过我们服务器进行多重处理后，返回你的网站，为待发布状态。GPT-2模型是GPT模型

原始大姐·2022-11-30 14:37

MIT发现语言模型内的事实知识可被修改？？

文|小伟前言众所周知，自回归语言模型(如GPT-2)里存储着大量的事实知识，比如语言模型可以正确的预测出埃菲尔铁塔所在的城市是巴黎市。那么语言模型是在什么地方存储这些知识呢？

夕小瑶·2022-11-30 10:49

Transformer: Attention Is All You Need,NIPS 2017

==============NLPModelEvolution：Transformer编码器层堆叠6层，解码器层堆叠6层Bert编码器层堆叠Base12层,Large24层GPT-1解码器层堆叠12层GPT

apche CN·2022-11-29 08:30

Bert and its family——GPT

当然，由于GPT-2的模型非常巨大，它在很多任务上

深度科研·2022-11-25 15:39

推荐频道

GPT-2

超越ReLU却鲜为人知，3年后被挖掘：BERT、GPT-2等都在用的激活函数

使用Paddle2.0构建一个经典的文本生成模型GPT-2

gpt-2 生成文本_使用gpt 2以任何语言生成文本

Pytorch——GPT-2 预训练模型及文本生成

深度学习01 基本概念简介 李宏毅2022

从GPT到GPT3的论文笔记

GPT笔记

关于NLP模型GPT-2的学习笔记（一）

PyTorch+TensorRT！20倍推理加速！

GPT-2

阅读文献“Language Models are Unsupervised Multitask Learner”（GPT-2）

微软朱晨光：预训练模型下一步怎么走？突破PLM的「不可能三角」

【回答问题】ChatGPT上线了！给我推荐20个比较流行的nlp预训练模型

GPT/GP2/GPT3

GPT1、GPT2、GPT3原理

GPT-2及与GPT的对比

图解GPT-2（完整版）！

句子表征（各项异性等偏差）：PromptBERT: Improving BERT Sentence Embeddings with Prompts

李宏毅机器学习（六）自监督学习（一）

【论文阅读】GPT系列论文详解

谷歌原版bert模型tf转pytorch命令

少数派实测报告：AI巨无霸模型GPT-3 | 附送API 调用方法「AI核心算法」

GPT-2之文本生成

使用 GPT-2 生成文本

【PTM】GPT-2：四只角的独角兽

GPT2

图解GPT-2 | The Illustrated GPT-2 (Visualizing Transformer Language Models)

深度学习系列29：VQ-GAN模型

bert pytorch 序列标注_手把手教你用Pytorch-Transformers——部分源码解读及相关说明（一）...

python transformers_Transformers 简介（上）

GPT,GPT-2,GPT-3

沐神学习笔记：GPT，GPT-2，GPT-3

【NLP】GPT GPT-2 GPT-3语言模型

图解OpenAI的秘密武器GPT-2：可视化Transformer语言模型

英伟达PyTorch优化神器TensorRT重磅更新！10亿参数大模型实时运行，GPT推理加速21倍...

NLP预训练模型系列-GPT-2

NLP-预训练模型-GPT系列：GPT-1(2018-06)、GPT-2(2019-02)、GPT-3(2020-05)、InstuctGPT(2022-01)、chatGPT(2022-11)

Github Copilot编程工具背后的算法技术

GPT-1，GPT-2和GPT-3发展历程及核心思想，GTP-4展望

图解自注意力机制

预训练模型与微调

GPT-2中文文本训练及生成

gpt-2 fintune 代码解读

从近年顶会论文看基于GPT-2的端到端任务型对话系统

Paddle2.0 + CPM-LM：让AI帮你写文章吧

CPM-2细节发布！10大技术打通大模型「任督二脉」，单卡单机跑「千亿模型」不再是梦...

人工智能AI伪原创一键生成文章

MIT发现语言模型内的事实知识可被修改？？

Transformer: Attention Is All You Need,NIPS 2017

Bert and its family——GPT

深度学习01 基本概念简介李宏毅2022