GPT-2

gpt-2语言模型训练

一、通过下载对应的语言模型数据集1.1根据你想让回答的内容，针对性下载对应的数据集，我下载的是个医疗问答数据集1.2针对你要用到的字段信息进行处理，然后把需要处理的数据丢给模型去训练，这个模型我是直接从GPT2的网站下载下来的依赖的必要文件截图如下：二、具体代码样例实现：importosimportpandasaspdfromtransformersimportGPT2Tokenizer,GPT2
谷隐凡二·2024-09-10 09:48

GPT-3：一个新应用生态系统诞生了

Transformerencoder-decoder模型之间由超过1,750亿个被称为参数的单词之间的加权值连接，将其15亿个参数的前身GPT-2打的落花流水。您只要输入要执行的任务
派派AI学院·2024-09-02 09:34

AIGC从入门到实战:模型搭建【GPT4ALL】

GPT相关模型的搭建：GPT-2：这是一个较早开源的模型，适合个人研究和学习。它有不同大小的版本，如117M、345M、774M和1.5B参数版本，可以根据你的计算资源选择不同大小的模型。
老童聊AI·2024-08-23 10:50

NLP_GPT到ChatGPT

GPT-2：2019年，OpenAI推出了GPT的升级版，拥有更多参数[15亿
you_are_my_sunshine*·2024-02-15 09:39

大模型基础知识

主流的开源模型体系GPT（GenerativePre-trainedTransformer）系列：由OpenAI发布的一系列基于Transformer架构的语言模型，包括GPT、GPT-2、GPT-3等
lichunericli·2024-02-13 13:46

OpenAI使用的海量数据集介绍

虽然具体的细节可能不完全公开，但我们可以根据历史信息和公开报道推测，这些数据集通常包含：WebText：早期版本的GPT（如GPT-2）使用的WebText是一个大规模的网络文本集合，包含了从互联网上抓取的高质量网页内容
科学禅道·2024-02-11 07:53

GPT-3 训练自己的数据教程详解

pipinstalltorchpipinstalltransformers下载预训练模型：从HuggingFace的模型库中下载GPT-2的预训练权重。
mqdlff_python·2024-02-08 06:30

介绍一下gpt2模型的原理

GPT-2（GenerativePre-trainedTransformer2）是OpenAI发布的一种生成式预训练模型，是GPT系列的第二代。
程序员奇奇·2024-02-08 00:39

多模态对比语言图像预训练CLIP：打破语言与视觉的界限，具备零样本能力

CLIP的设计类似于GPT-2和GPT-3，具备出色的零射击能力，可以应用于多种多模态任务。多模态对比语言图像预训练（ContrastiveLanguage-ImagePre-training
代码讲故事·2024-02-06 10:30

GPT-1, GPT-2, GPT-3, GPT-3.5, GPT-4论文内容解读

目录1ChatGPT概述1.1whatischatGPT1.2HowdoesChatGPTwork1.3TheapplicationsofChatGPT1.3ThelimitationsofChatGPT2算法原理2.1GPT-12.1.1Unsupervisedpre-training2.1.2Supervisedfine-tuning2.1.3语料2.1.4分析2.2GPT-22.3GPT-3
BGoodHabit·2024-02-06 06:36

有哪些流行的中文开源语言模型？

**GPT-2/GPT-3**：OpenAI发布的GPT系列模型，虽然主要是以英文
qq_20984273·2024-02-04 06:41

transformer_多头注意力机制代码笔记

transformer_多头注意力机制代码笔记以GPT-2中多头注意力机制代码为例classCausalSelfAttention(nn.Module):"""因果掩码+多头自注意力机制Avanillamulti-headmaskedself-attentionlayerwithaprojectionattheend.Itispossibletousetorch.nn.MultiheadAtten
等风来随风飘·2024-02-01 08:29

Transformer 自然语言处理（二）

一个著名的例子是OpenAI的GPT-2，当给出以下提示时：¹在一个令人震惊的发现中，科学家们发现了一群生活在安第斯山脉偏远、以前未被探索过的山谷中的独
绝不原创的飞龙·2024-02-01 07:57

LLM语言模型，特别是GPT，对美国各种职业和行业的潜在影响

GPT模型的选择和相关指标论文中选择了最为知名的几个GPT模型进行比较，包括GPT-3、GPT-2和GPT。在使用这些模型时，通过衡量
百态老人·2024-01-31 09:00

Byte Pair Encoding（BPE）算法及代码笔记

Transformer中构建词表的方法，大致分为如下几个步骤：将语料中的文本切分为字符统计高频共现二元组将共现频率最高的二元组合并加入词表重复上述第二和第三直到词表规模达到预先设置的数量，或没有可以合并的二元组为止以GPT
等风来随风飘·2024-01-29 13:50

GPT-2 开源模型本地搭建（一）

GPT-2开源模型本地搭建1、GPT使用心得2、py环境准备2.1安装MicrosoftVisualC++14.0运行库2.2环境安装1.安装python3.6或3.72.安装pip3安装tensorflow4
天罚神·2024-01-28 11:55

【论文笔记】GPT，GPT-2，GPT-3

参考：GPT，GPT-2，GPT-3【论文精读】GPTTransformer的解码器，仅已知"过去"，推导"未来"论文地址：ImprovingLanguageUnderstandingbyGenerativePre-Training
爱学习的卡比兽·2024-01-28 06:44

GPT4+Python近红外光谱数据分析及机器学习与深度学习建模

详情点击链接：GPT4+Python近红外光谱数据分析及机器学习与深度学习建模第一：GPT4入门基础1、ChatGPT概述（GPT-1、GPT-2、GPT-3、GPT-3.5、GPT-4模型的演变）2、
慢腾腾的小蜗牛·2024-01-28 05:54

复现六：大模型评测教程

沿着这条路线，随后又陆续发布了GPT-2和GPT-3模型。与此同时，谷歌也探索了不同的大规模预训练模型方案，例如如T5,Flan等。OpenAI在2022年11月发布ChatGPT，展示了
cq99312254·2024-01-27 03:55

大语言模型(LLM)有哪些？

最早的版本是GPT-1，之后发展到了GPT-2和GPT-3，目前最新版本是GPT-4，2023年3月14日发布。GPT系列模型通过预训练和微调的方式，可以生成高质量的文本。BERTBER
图灵追慕者·2024-01-25 03:13

GPT-5最新官方剧透；Yann LeCun称对 AI 严格立法还为时尚早

GPT-2非常糟糕，3相当糟糕，4也糟糕，5应该能算okay。如果对比初代iPhone和最新iPhone15，会感觉是截然不同的设备，AI也是如此。
无际Ai·2024-01-25 01:37

GPT4+Python近红外光谱数据分析及机器学习与深度学习建模

详情点击链接：GPT4+Python近红外光谱数据分析及机器学习与深度学习建模第一：GPT41、ChatGPT（GPT-1、GPT-2、GPT-3、GPT-3.5、GPT-4模型的演变）2、ChatGPT
夏日恋雨·2024-01-25 00:08

大模型用model.generate 直接产生文本的id以及获得模型生成文本概率的方法

使用模型的generate方法当使用大型语言模型（如GPT-2、GPT-3、BERT等）的generate方法直接产生文本时，通常返回的是文本的tokenID序列。
samoyan·2024-01-24 23:55

解码器生成策略：大模型 Decoder 的应用与实践

近年来，随着数百万个网页数据的训练，大型基于Transformer的语言模型如OpenAI的GPT-2逐渐崭露头角。
百度_开发者中心·2024-01-24 16:13

基于ChatGPT4+Python近红外光谱数据分析及机器学习与深度学习建模教程

详情点击链接：基于ChatGPT4+Python近红外光谱数据分析及机器学习与深度学习建模教程第一：GPT41、ChatGPT（GPT-1、GPT-2、GPT-3、GPT-3.5、GPT-4模型的演变）
夏日恋雨·2024-01-23 07:31

GPT-5，奥特曼最新剧透

GPT-2非常糟糕，3相当糟糕，4也糟糕，5应该能算okay。如果对比初代iPhone和最新iPhone15，会感觉是截然不同的设
虚无火星车·2024-01-23 05:03

OpenCompass 大模型评测

沿着这条路线，随后又陆续发布了GPT-2和GPT
桑_榆·2024-01-22 20:49

gpt-2 生成文本_对gpt 2进行了微调，以实现神奇的收集风味文本生成

gpt-2生成文本AtemplateforfinetuningyourownGPT-2model.用于微调您自己的GPT-2模型的模板。
weixin_26730921·2024-01-22 12:56

第四课：GPT2

文章目录第四课：GPT21、学习总结：GPT2的学习目标和概念任务调节零样本学习和零短任务迁移模型结构GPT-2自注意力掩码实现1-创建qkv2-评分3-合并注意力头4-Projecting课程ppt及代码地址
一条大蟒蛇6666·2024-01-22 02:40

大模型学习笔记05——大模型的数据

GPT-2的训练数据基于Reddit，根据
等风来随风飘·2024-01-20 11:35

从零实现GPT-2，瞎写笑傲江湖外传，金庸直呼内行

使用PyTorch实现GPT-2模型，采用笑傲江湖小说文本训练，究竟小师妹和盈盈情感修罗场结局如何，且听GPT-2娓娓道来...从零实现GPT-2，瞎写笑傲江湖外传，金庸直呼内行context="任盈盈和令狐冲相拥而眠
布尔艺数·2024-01-20 10:25

Hugging Face怎么通过国内镜像去进行模型下载（hf-mirror.com）

该公司最著名的产品是Transformers库，这是一个广泛使用的Python库，它提供了大量预训练模型，如BERT、GPT-2、T5和其他模型，这些模型可以用于各种NLP任务，如文本分类、情感分析、文本生成等
星宇星静·2024-01-19 04:18

基于GPT4+Python近红外光谱数据分析及机器学习与深度学习建模

详情点击链接：基于ChatGPT4+Python近红外光谱数据分析及机器学习与深度学习建模教程第一：GPT4基础1、ChatGPT概述（GPT-1、GPT-2、GPT-3、GPT-3.5、GPT-4模型的演变
慢腾腾的小蜗牛·2024-01-12 18:35

GPT4助力Python数据分析与可视化、人工智能建模及论文高效撰写

详情点击链接：GPT4助力Python数据分析与可视化、人工智能建模及论文高效撰写第一：GPT4基础入门1、ChatGPT概述（GPT-1、GPT-2、GPT-3、GPT-3.5、GPT-4模型的演变）
夏日恋雨·2024-01-12 06:35

基于ChatGPT4+Python近红外光谱数据分析及机器学习与深度学习建模教程

详情点击链接：基于ChatGPT4+Python近红外光谱数据分析及机器学习与深度学习建模教程第一：GPT4基础1、ChatGPT（GPT-1、GPT-2、GPT-3、GPT-3.5、GPT-4模型的演变
夏日恋雨·2024-01-11 19:35

10、InstructGPT：Training language models to follow instructions with human feedback

GPT-2用的是纯无监督预训练。GPT-3沿用了GPT-2的纯无监督预训练，但是数据大了好几个量级。
C--G·2024-01-11 06:34

预训练模型的分类，以及代表模型介绍

代表性模型有GPT系列（GPT-1、GPT-2、GPT-3等）。自编码语言模型：这类模型通过随机Mask输入句子中的部分单词，并训练模型以根据上下文预测这些被Mask的单词。代表性模
香至-人生万事须自为，跬步江山即寥廓。·2024-01-09 13:00

基于GPT-2的新闻文本生成——News Creator，使用MindSpore实现

基于GPT-2的新闻本文生成——NewsCreator基于GPT-2的新闻本文生成项目——NewsCreator，是一个创新的自然语言处理项目，使用GPT-2作为核心模型，并结合专为新闻内容设计的AGnews
青云遮夜雨·2024-01-07 13:54

ChatGPT背后：从0到1，OpenAI的创立之路

他擅长将企业发展从1放大到1000，但自OpenAI创立到GPT-2的发布期间，，还有更多的故事。Gre
边缘计算社区·2024-01-03 14:54

2023-12-29 低配大模型gpt-2本地部署

点击快速C语言入门低配大模型gpt-2本地部署前言一、`ggml.cpp`编译二、阿里福音书总结前言要解决问题:想本地部署个大模型,发现,能比较正常下载的只有gpt-2了,出于某种未可说原因,meta的
不停感叹的老林_·2023-12-31 04:41

GPT系列概述

但是世界不仅仅是GPTGPT其实也只是冰山一角，2022年每4天就有一个大型模型问世GPT历史时刻GPT-1带回到2018年的NLP所有下游任务都需要微调（再训练）GPT-2以不变应万变，需要注意的GPT
十有久诚·2023-12-30 16:21

【自然语言处理】类似GPT的模型

GPT-2
Oo_Amy_oO·2023-12-30 07:31

GPT-3: Language Models are Few-Shot Learners

WebText：文章采用了类似GPT-2中的WebText文档收集清洗方法获得了更大范围的网页数据。BooksCorpora：此外文章增加了两个来自网络的书籍语料库。Wiki：增加了英语百科语料库。
u013308709·2023-12-30 06:31

GPT系列综述

GPT-2用的是纯无监督预训练。GPT-3沿用了GPT-2的纯无监督预训练，但是数据大了好几个量级。
AmberlikeNLP·2023-12-29 13:16

什么是GPT

1、损失函数就是预测下一个词2、所有下游任务都需要微调（再训练）3、gpt1是decoder，解码器二、gpt-2（开源）1、zero-shot（不做任何训练）在这开始耍起来了，下游任务不训练，不微调2
快乐apple家·2023-12-29 13:46

BloombergGPT—金融领域大模型

GPT-3有1750亿个参数，比以前的GPT-2模型增加了一百倍，并且在现在流行的一系列LLM任务中表现出色，包括阅读理解、开放式问答和代码生成。在GPT-3之后，
dzysunshine·2023-12-28 17:37

龙芯loongarch64服务器编译安装tokenizers

这个库提供了各种各样的预训练分词器，如BPE、Byte-PairEncoding(Byte-LevelBPE)、WordPiece等，这些都是现代NLP模型（如BERT、GPT-2、RoBERTa等）广泛使用的分词方法
番茄小能手·2023-12-21 07:09

GPT-2能监督GPT-4，Ilya带头OpenAI超级对齐首篇论文来了：AI对齐AI取得实证结果

人类无法监督超级人工智能，但人工智能可以。过去一年，以「预测下一个Token」为本质的大模型已经横扫人类世界的多项任务，展现了人工智能的巨大潜力。在近日的一次访谈中，OpenAI首席科学家IlyaSutskever大胆预言，如果模型能够很好地预测下一个词，那么意味着它能够理解导致这个词产生的深刻现实。这意味着，如果AI按照现有路径发展下去，也许在不久的将来，一个超越人类的人工智能系统就会诞生。但更
智云研·2023-12-20 18:49

OpenAI超级对齐团队发布第一篇论文，Ilya带头研究，用GPT-2监督GPT-4

由OpenAI首席科学IlyaSutskever领导的“超级对齐”团队发布了他们的第一篇论文，提出了“弱对强泛化”的概念以及用小模型GPT-2监督大模型GPT-4的方法，展示了未来控制超级AI智能的有效手段
夕小瑶·2023-12-20 13:46

OpenAI超级对齐团队发布第一篇论文，Ilya带头研究，用GPT-2监督GPT-4

由OpenAI首席科学IlyaSutskever领导的“超级对齐”团队发布了他们的第一篇论文，提出了“弱对强泛化”的概念以及用小模型GPT-2监督大模型GPT-4的方法，展示了未来控制超级AI智能的有效手段
夕小瑶·2023-12-20 13:15
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他