Gpt2

大力出奇迹——GPT系列论文学习（GPT,GPT2,GPT3,InstructGPT）

目录说在前面1.GPT1.1引言1.2训练范式1.2.1无监督预训练1.2.2有监督微调1.3实验2.GPT22.1引言2.2模型结构2.3训练范式2.4实验3.GPT33.1引言3.2模型结构3.3训练范式3.4实验3.4.1数据集3.5局限性4.InstructGPT4.1引言4.2方法4.2.1数据收集4.2.2各部分模型4.3总结说在前面最近以GPT系列为代表的大语言模型LLM掀起了一阵热
Hilbob·2023-07-25 17:49

python-中文闲聊的GPT2模型首次使用笔记

项目地址https://github.com/yangjianxin1/GPT2-chitchat运行项目下载bin模型地址https://github.com/yangjianxin1/GPT2-chitchat#model_share将下载的模型放在model文件夹中或者model/epoch40中运行已经训练好的模型pythoninteract.py--no_cuda--model_path
liwulin0506·2023-07-20 16:47

大语言模型的预训练[2]:GPT、GPT2、GPT3、GPT3.5、GPT4相关理论知识和模型实现、模型应用以及各个版本之间的区别详解

大语言模型的预训练[2]:GPT、GPT2、GPT3、GPT3.5、GPT4相关理论知识和模型实现、模型应用以及各个版本之间的区别详解1.GPT模型1.1GPT模型简介在自然语言处理问题中，可从互联网上下载大量无标注数据
汀、人工智能·2023-07-19 10:44

MindNLP-基于Mindspore2.0的GPT2预训练模型迁移教程

而自春节开始也是参与到了一项基于MindSpore的迁移工作，积攒了一些经验，所以最近蹭蹭ChatGPT的热度，搞了一下GPT2的模型迁移工作。
qq_43582235·2023-07-18 03:34

AIGC之文本内容生成概述（下）——Transformer

LSTM、Word2Vec、GloVe、ELMo等四种模型的技术发展，以及每种模型的优缺点与应用场景，全文超过一万字，显得冗长且繁杂，在下文部分我们将分开介绍Transformer、BERT、GPT1/GPT2
深度人工智能·2023-07-17 11:48

GPT模型与Transformer进行对比

gpt2与gpt的模型结构差别不大，但是采用了更大的数据集进行实验。
唐僧爱吃唐僧肉·2023-07-15 21:10

GPT2 slack bot 你开个头，我接着编？

最近，GPT2模型的发布，让人不禁想到，有没有可能让机器来完成这个任务呢？机器写十四行诗、机器写莎士比亚风格的文章，机器写对联，这些都已经成为了现实。
谷粒先生_·2023-06-24 10:12

textgen教程（持续更新ing...）

CSDN博文目录官方GitHub项目：shibing624/textgen:TextGen:ImplementationofTextGenerationmodels,includeLLaMA,BLOOM,GPT2
诸神缄默不语·2023-06-24 08:56

浅析GPT2中的autoregressive和BERT的autoencoding源码实现

经常使用BERT来做研究，因此对Encoder的架构较为熟悉，但是从来没有了解过GPT这样的Decoder架构，尤其对自回归的形式不知道源码是如何实现的。为了方便对比和讨论，接来下所探讨的源码都是基于HuggingFace这个框架的。Bert注意力机制先看一看Bert这个Encoder架构是如何实现autoencoding的。在BertModel这个类中，可以看到其结构是由BertEmbeddin
Charon_HN·2023-06-22 21:17

初学者：了解GPT

GPT什么是语言模型自编码（auto-enconde）语言模型自回归（auto-regressive）语言模型基于Transformer的语言模型Transformer进化GPT2概述GPT2详解输入编码多层
battle不停息·2023-06-18 20:31

从 GPT2 到 Stable Diffusion：Elixir 社区迎来了 Hugging Face

上周，Elixir社区向大家宣布，Elixir语言社区新增从GPT2到StableDiffusion的一系列神经网络模型。这些模型得以实现归功于刚刚发布的Bumblebee库。
·2023-06-16 22:36

DeepSpeed结合Megatron-LM训练GPT2模型笔记（上）

文章目录0x0.前言0x1.Megatron使用单卡训练GPT2依赖安装准备训练数据训练详细流程和踩坑0x2.Megatron使用单卡预测训练好的GPT2模型0x3.参数量和显存估计参数量估计训练显存占用估计
just_sort·2023-06-16 07:37

【DeepSpeed 教程翻译】二，Megatron-LM GPT2，Zero Redundancy Optimizer 和 ZeRO-Offload

文章目录0x0.前言0x1.Megatron-LMGPT2使用原始的Megatron-LM训练GPT2设置训练数据运行未修改的Megatron-LMGPT2模型开启DeepSpeed参数解析初始化和训练初始化使用训练
just_sort·2023-06-16 07:37

Meta开源音乐生成AI模型MusicGen；直白图解GPT2模型Self Attention注意力机制

AI新闻Meta开源音乐生成AI模型MusicGen摘要：Meta在Github上开源了其AI语言模型MusicGen，该模型基于Google2017年推出的Transformer模型，可将文本和旋律转化为完整乐曲。MusicGen支持文本与旋律的组合输入，并在测试中表现出更高的可信度和匹配度。Meta已允许该模型商业使用，并在Huggingface上发布了演示应用。AI视频编辑工具Gen2正式上
go2coding·2023-06-14 16:07

机器学习-搭建轻量级GPT2训练对话

在自己的机器上部署一个GPT简直太酷啦，因为模型数据缘故，所以这个机器人有时候傻傻的。。。需要安装环境：python3.7、Transformers==4.2.0、pytorch==1.7.0、nginx（映射网页文件）我的系统：MACm2Mac默认是有一个Python在系统上，但是版本低，所以我们再安装个Python3的版本覆盖它太简单了我就不放出来了。1.安装pytorch然后开始安装pyto
渣渣洒泪成长记·2023-06-11 23:48

基于prefix tuning + Bert的标题党分类器

版本的分类模型在语义理解上能力有限,于是,便使用的更大的模型来优化,最终准确率达到了93.7%,还不错吧.一、Prefix-Tuning介绍传统的fine-tuning是在大规模预训练语言模型(如Bert、GPT2
ToTensor·2023-06-11 21:33

详细理解GPT2模型结构及其训练过程—GPT系列训练与部署

GPT2模型环境搭建与调试请参考博文《GPT系列训练与部署—GPT2环境配置与模型训练》和《ColossalAIGPT2分布式训练调试配置—GPT系列训练与部署》
Coding的叶子·2023-06-10 03:12

GPT系列训练与部署——GPT2环境配置与模型训练

本文为博主原创文章，未经博主允许不得转载。本文为专栏《Python从零开始进行AIGC大模型训练与推理》系列文章，地址为“https://blog.csdn.net/suiyingy/article/details/130169592”。Colossal-AI提供了多种并行方式来运行GPT，不同并行方式的相应配置位于gpt2_configs文件夹下。运行示例程序的教程地址为“https://git
Coding的叶子·2023-06-10 03:40

ColossalAI GPT2分布式训练调试配置—GPT系列训练与部署

本专栏之前文章详细介绍了Colossal-AI环境搭建及GPT2数据处理与训练。Colossal-AI框架的主要优势在于分布式训练，进而提高训练效率。但是这种启动
Coding的叶子·2023-06-10 03:40

ChatGPT原理简介

承接上文GPT前2代版本简介GPT3的基本思想GPT2没有引起多大轰动，真正改变NLP格局的是第三代版本。
平凡人笔记·2023-06-10 01:10

Gradio的web界面演示与交互机器学习模型，全局状态与会话状态《4》

全局状态和会话状态，对于程序员来说都是很熟悉的了，开发中会经常遇到，这里看下在Gradio中是怎么使用的，以及对GPT2的一点介绍一、GlobalState全局状态如果定义的函数想要访问外部的数据，可以将变量写在外面成为一个全局变量
寅恪光潜·2023-06-08 14:17

国产的ChatGPT你使用了没

Chitgpt是一个基于GPT2预训练模型的自然语言处理AI模型，它可以用于生成文本、回答问题、对话交互等多种场景。本文将为大家介绍Chitgpt的使用方法。首先，我们需要安装Chitgpt模型。
134322·2023-06-08 14:21

transformers下载模型到本地（tensorflow2.0）

搜索gpt2（其他的模型类似，比如bert-base-
qq_34373543·2023-04-13 20:27

GPT1、GPT2、GPT3、InstructGPT

GPT全称是GenerativePre-TrainedTransformer。顾名思义，GPT的目的就是通过Transformer为基础模型，使用预训练技术得到的通用的文本模型。目前已经公布论文的有文本预训练GPT-1、GPT-2、GPT-3，以及InstructGPT。ChatGPT和InstructGPT在模型结构，训练方式上都完全一致，即都使用了指示学习(InstructLearning)和
m0_61688615·2023-04-13 02:15

GPT系列学习笔记：GPT、GPT2、GPT3GPT系列学习笔记：GPT、GPT2、GPT3

两个小时快速啃透，引爆AI聊天机器人领域大家有时间还是去看唐宇迪大佬讲，才一个半小时，收获很多~~~总结GPT、GPT2、GPT3的共同点是其结构都基于Transformer的Decoder层。
格日乐图~璇·2023-04-08 12:12

wkhtmltox 中文显示一半_中文GPT闲聊对话生成模型 开源工作 包括 GPT和GPT2

bojone/CDial-GPT-tfgithub.com今天发现有一个朋友的github更新了一个新的项目，于是我点进去扫了两眼。首先必然还是把两个预训练语言模型的压缩包下载下来。跟随者这个项目的步伐我发现了一个超级厉害的项目。thu-coai/CDial-GPTgithub.com在项目介绍中描述到。本项目提供了一个大规模中文对话数据集，并提供了在此数据集上的中文对话预训练模型（中文GPT模型
weixin_39929566·2023-04-07 10:55

Hugging face预训练模型下载和使用

后来这家公司又实现了其他的预训练模型，如GPT、GPT2、ToBERTa、T5等。此时，开源库的名字还叫pytorch-pretrained-bert就不太合适了，于是他们就将开源库的名字改成tra
☼Brilliant·2023-04-07 10:18

训练一个中文gpt2模型

前言这是我的github上的一个介绍，关于如何训练中文版本的gpt2的。
yuanzhoulvpi·2023-04-07 10:10

1张2080ti用一天训练GPT2-small效果如何？

few-shot任务上的极好效果，训练一个GPT是很多人都想尝试的事情，而训练一个大的GPT模型又需要耗费很多资源，因此训练一个GPT-small是比较适合大众的，只需1天就可以训练一个small版本的GPT2
hangguns·2023-04-06 18:21

gpt2生成文本的不同解码策略

自回归模型有：GPT2,XLNet,OpenAi-GPT,CTRL,TransfoX
桂花很香,旭很美·2023-03-29 05:08

优雅の使用transformer系列之gpt2-chitchat

前言 目前来说gpt2在生成式这块效果还是比较突出的。在尝试gpt2-chitchat这个项目的时候，聊得挺好，首先感谢作者的贡献，好像闲聊数据还@了我。
colin_gao·2023-03-15 19:19

利用GPT2训练中文闲聊模型

利用GPT2模型训练中文闲聊模型最近看了一下GPT2模型，看到很多博主都用来写诗歌，做问答等，小编突然萌生一个想法，利用GPT2来训练一个闲聊模型！！
SinGaln·2023-03-10 22:31

训练自己的GPT2-Chinese模型

gpt2对联训练模型gpt2古诗词训练模型gpt2通用中文模型gpt2通用中文小模型gpt2文学散文训练模型gpt2中文歌词模型环境搭建配置好GPU的pytorch环境a.
xiaozhi_小志·2023-03-10 22:28

【部署教程】基于GPT2训练了一个傻狗机器人 - By ChatGPT 技术学习

作者：小傅哥博客：https://bugstack.cn沉淀、分享、成长，让自己和他人都能有所收获！首先我想告诉你，从事编程开发这一行，要学会的是学习的方式方法。方向对了，才能事半功倍。而我认为最快且行之有效的技术技能学习，就是上手实践。先不要搞太多的理论，买回来的自行车不能上来就拆，得先想办法骑起来。所以小傅哥就是这样，学东西嘛。以目标为驱动，搭建可运行测试的最小单元版本。因为康威定律说；问题越
·2023-02-20 08:59

一招鉴别真假ChatGPT，并简要介绍ChatGPT、GPT、GPT2和GPT3模型之间的区别和联系

以下内容除红色字体部分之外，其他均来源于ChatGPT自动撰写。ChatGPT是基于GPT模型的对话生成模型，旨在通过对话模拟实现自然语言交互。它是为了改善人机对话体验而设计的，主要应用于聊天机器人、智能客服等场景。与GPT模型相比，ChatGPT在训练过程中引入了特殊的微调和优化方法，以提高在特定领域的对话生成质量和连贯性。ChatGPT在生成对话时更加注重上下文的连贯性和个性化的表达，以实现更
Coding的叶子·2023-02-19 20:27

Pytorch实现基于Transformer、Bert和GPT2的生成式聊天机器人

Pytorch实现基于Transformer、Bert和GPT2的生成式聊天机器人ChatBothttps://github.com/demi6od/ChatBot
demi6od·2023-02-17 17:51

LM详解 GPT3，GPT2, GPT1 论文译读

LM详解GPT3，GPT2,GPT1论文译读T5，ExploringtheLimitsofTransferLearningwithaUnifiedText-to-TextTransformer，2019arxivhttps
apche CN·2023-02-17 07:51

文献阅读：Language Models are Few-Shot Learners

在这篇文章当中，OpenAI提出了GPT3模型，将自回归语言模型的参数量从前作GPT2的1.5B直线提升到了175B，并且
Espresso Macchiato·2023-02-16 23:53

训练自己的GPT2模型（中文），踩坑与经验

GPT2与Bert、T5之类的模型很不一样！！！如果你对Bert、T5、BART的训练已经很熟悉，想要训练中文GPT模型，务必了解以下区别！！！
防搞活机·2023-02-05 23:32

从GPT到chatGPT（三）：GPT3（一）

#GPT3文章目录前言正文摘要介绍方法模型结构训练数据集训练过程评估小结前言OpenAI在放出GPT2后，并没有引起业界太大的影响和关注，究其原因，并不是zero-shot这种想法不够吸引人，而是GPT2
IGV丶明非·2023-02-01 08:17

bert 中文 代码 谷歌_Bert 预训练小结

值得吐槽的是huggingface之前发布的分支名叫pytorch-pretrain-bert，后来又加上了gpt2、XLNet一系列当红模型，结果索性改了个名字叫做pytorch-trans
weixin_39913141·2023-01-17 16:45

gpt2模型_用huggingface微调非英语gpt 2模型

gpt2模型Originallypublishedathttps://www.philschmid.deonSeptember6,2020.最初于2020年9月6日在https://www.philschmid.de
weixin_26630173·2023-01-17 13:40

从 GPT2 到 Stable Diffusion：Elixir 社区迎来了 Hugging Face

上周，Elixir社区向大家宣布，Elixir语言社区新增从GPT2到StableDiffusion的一系列神经网络模型。这些模型得以实现归功于刚刚发布的Bumblebee库。
·2023-01-14 21:57

从GPT到chatGPT（二）：GPT2

GPT2文章目录GPT2前言正文摘要方法概述训练数据输入表示模型结构实验语言模型Children’sBookTest（CBT）LAMBADAWinogradSchemaChallenge（WSC）ReadingComprehensionSummarizationTranslationQuestionAnsweringGeneralizationvsMemorizationDiscussionCon
IGV丶明非·2023-01-14 10:36

#41 AI-002-十分钟理解ChatGPT的技术逻辑及演进（前世 、今生）

#41AI-002-十分钟理解ChatGPT的技术逻辑及演进（前世、今生）目录目录0、前言1、什么是GPT2、GPT之技术演进时间线3、GPT之T-Transformer(2017)3.1、重点在好，还是重点在人
fei典型产品经理笔记·2023-01-11 12:36

训练诗词生成模型(GPT2)的一点心得

训练诗词生成模型的一点心得GPT2一、诗词对比其它文体二、模型选择三、训练集选取四、损失函数五、训练时间六、生成结果七、模型擅长的诗文类型八、将来可做的事情九、模型生成样例最近学习NPL的一些模型，训练了一个古诗生成模型作为练习
ruanqizhen·2023-01-11 11:32

gpt笔记

ThisistheworstAIeverGPT-3:LanguageModelsareFew-ShotLearners(PaperExplained)代码：gpt-4chan代码gpt-3论文几种前沿NLP模型的对比参考Gpt,gpt2
Melody2050·2023-01-09 09:56

CPT文本生成

huggingface中的transformers中提供了T5，MT5，BART，GPT，GPT2等模型方便进行生成式任务。我最近在看了一个关于预训练模型CPT的介绍，也可以进行生成式任务。
xuanningmeng·2023-01-07 07:17

OpenAI GPT

ImprovingLanguageUnderstandingbyGenerativePre-Training》中提出了GPT模型，后面又在论文《LanguageModelsareUnsupervisedMultitaskLearners》提出了GPT2
qq_38317254·2023-01-06 16:42

GPT-2

GPT2介绍方式训练数据集输入表征模型实验LanguageModelsareUnsupervisedMultitaskLearners介绍问题提出主要是为了解决现阶段深度学习模型针对某一特定任务的局限性
cx_0401·2023-01-06 16:42
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他