GPT-3

大规模语言模型的模型结构--解码器结构（PaLM，BLOOM，InstructGPT系列）

在BERT发布之前的GPT-1就是decoder-only的语言模型，但在GPT-3发布并展示其惊人表现后，decoder-only的语言模型数量呈现井喷式地增长，直到现在依旧是占比最大的模型类型。
hanscalZheng·2023-10-01 11:56

大规模语言模型的模型结构---编码器-解码器结构（GLM,UL2系列）

2020年OpenAI发布了由包含1750亿参数的神经网络构成的生成式大规模预训练语言模型GPT-3(Gener-ativePre-trainedTransformer3)。
hanscalZheng·2023-10-01 11:26

大模型的最大bug，回答正确率几乎为零，GPT到Llama无一幸免

我让GPT-3和Llama学会一个简单的知识：A就是B，然后反过来问B是什么，结果发现AI回答的正确率竟然是零。这是什么道理？
库库的里昂·2023-09-25 20:01

GPT研究

1.分词2.embedding在大型语言模型（如GPT-3）中，“embedding”（嵌入）通常指的是词嵌入（WordEmbeddings）或位置嵌入（PositionEmbeddings）。
. . . . .·2023-09-25 00:27

GPT-3/ChatGPT 复现的经验教训

为什么所有公开的对GPT-3的复现都失败了？我们应该在哪些任务上使用GPT-3.5或ChatGPT？对于那些想要复现一个属于自己的GPT-3或ChatGPT的人而言，第一个问题是关键的。
YONG823_API·2023-09-23 04:38

《预训练周刊》第4期：智源「悟道1.0」发布、GPT-3对新一代APP的赋能路径

No.04智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点，为了帮助研究与工程人员了解这一领域的进展和资讯，智源社区整理了第4期《预训练周刊》，从论文推荐、研究动态、热点讨论等几个维度推荐近期发生在预训练模型领域值得关注的信息。本期周刊，我们选择了5篇预训练相关的论文，涉及语音转文本、长文档和质效权衡、自监督预训练以及生物医学领域的探索。此外，在研究动态
智源社区·2023-09-22 16:14

Learn Prompt-GPT-4:综述

--OpenAIGPT-4，顾名思义是GPT-3和GPT-3.5的下一代模型。相比前面的模型，GPT-4多出了多模态的能力，简单来说，GPT-4除了具备理解输入的文本和生成文本
xiaoshun007～·2023-09-22 15:08

微调GPT-3.5 Turbo是空中楼阁吗？

想象一下庞大的GPT-3
·2023-09-22 15:43

[论文笔记]Prompt Tuning

总体介绍最近的研究表明，提示设计(promptdesign)在通过文本提示调节冻结的GPT-3模型行为方面表现出惊人的有效性。提示通常由一些任务描述
愤怒的可乐·2023-09-22 09:47

ChatGPT追祖寻宗：GPT-3技术报告要点解读

追祖寻宗：GPT-1论文要点解读_五点钟科技的博客-CSDN博客ChatGPT追祖寻宗：GPT-2论文要点解读_五点钟科技的博客-CSDN博客本文的标题之所以取名技术报告而不是论文，是因为长达63页的GPT
五点钟科技·2023-09-22 01:14

Transformer之傲慢与偏见：主流大语言模型的技术细节揭秘

以下是这些模型的技术原理细节：GPT系列（如GPT-3）Transformer架构：GPT使用Tran
Walter Sun·2023-09-21 12:00

LoRA模型是什么？

具有数十亿参数的强大模型，如GPT-3，要对其进行微调以适应特定任务或领域的成本非常高。LoRA提议冻结预训练模型的权重，并在每个Transformer块中注入可训练层（称为秩分解矩阵）。
黑风风·2023-09-21 05:02

ChatGPT技术原理

Task03ChatGPT技术原理目录阶段一：有监督微调Supervisedfine-tuning(SFT)阶段二：训练回报模型（RewardModel,RM）阶段三：使用强化学习微调SFT模型ChatGPT是由GPT
Runjavago·2023-09-21 05:19

GPT家族

的训练无监督预训练有监督微调任务相关的输入变换GPT-1的数据集网络结构的细节无监督训练有监督微调GPT-1的性能总结GPT-2GPT-2的核心思想GPT-2的数据集模型结构GPT-2的性能与GPT-1的区别总结GPT
Runjavago·2023-09-21 05:45

GPT，GPT-2，GPT-3，InstructGPT的进化之路

从2018年的初代GPT开始，到GPT-2、GPT-3、
TFATS·2023-09-21 00:22

AIGC入门 - LLM 信息概览

OpenPre-trainedTransformerLanguageModels，即“开放的预训练Transformer语言模型”，是MetaAI团队在2022年5月发布了开源大模型OPT-175B，媲美GPT
TFATS·2023-09-20 09:30

Text2Cypher：大语言模型驱动的图查询生成

毕竟，从GPT-3开始展现出超出预期的“理解能力“开始，我一直在做Graph+LLM技术组合、互补的研究、探索和分享，截止到现在NebulaGraph已经在LlamaIndex与Langchain项目做出了不少领先的贡献
·2023-09-19 17:24

LLM 07-大模型训练

7.1目标函数我们研究三类语言模型的目标函数：只包含解码器（Decoder-only）的模型（例如，GPT-3）：计算单向上下文嵌入（contextualembeddings），一次生成一个token只包含编码器
Gocara·2023-09-19 11:27

LLM 08-分布式训练

在这些不同的领域中，一个共同的特点就是模型规模越来越大，比如GPT-3模型的参数量达到1750亿。即使用1024张80GB的A100，那么完整训练GPT-3的时长都需要1个月。
Gocara·2023-09-19 11:27

如何用 Laf 接入一个免费的 AI 模型，并获得阿里达摩院大佬的点赞？

laf首先我们介绍一下今天的主角ClaudeClaude是最近新开放的一款AI聊天机器人，是世界上最大的语言模型之一，比之前的一些模型如GPT-3要强大得多，因此Claude被认为是ChatGPT最有力的竞争对手
·2023-09-18 18:39

超大规模AI异构计算集群的设计和优化

从GPT-3开始，模型已经被推到了千亿参数量的维度。
百度智能云·2023-09-18 07:16

大语言模型之十-Byte Pair Encoding

Tokenizer诸如GPT-3/4以及LlaMA/LlaMA2大语言模型都采用了token的作为模型的输入输出，其输入是文本，然后将文本转为token（正整数），然后从一串token（对应于文本）预测下一个
shichaog·2023-09-18 04:57

人工智能大模型及适用场景

GPT-3和GPT-4等版本
defdsdddev·2023-09-17 21:51

GPT的使用场景及开发方法

GPT（GenerativePre-trainedTransformer）是一系列以Transformer架构为基础的自然语言处理（NLP）模型，其中最知名的是GPT-3。
defdsdddev·2023-09-17 21:51

LLM-2021：GPT-J【GPT-3开源替代品】【EleutherAI 】

GitHub-kingoflolz/mesh-transformer-jax:ModelparalleltransformersinJAXandHaikuGPT-J是一个基于GPT-3，由60亿个参数组成的自然语言处理
u013250861·2023-09-17 04:40

【Datawhale课程笔记-简单学点大模型】大模型的能力

大模型的能力参考GITHUB：https://github.com/datawhalechina/so-large-lm/blob/main/第二章：大模型的能力.md深入探讨GPT-3——这个具有代表性的大型语言模型的能力
JeffDingAI·2023-09-16 22:40

大模型RLHF算法更新换代，DeepMind提出自训练离线强化学习框架ReST

这些技术造就了像GPT-3、PaLM等基座生成模型，在这些基座模型之上，研究人员通过引入人类反馈的强化学习算法（RLHF）开发出了例如ChatGPT这些与人类偏好保持一致的可聊天模型
TechBeat人工智能社区·2023-09-15 17:32

OpenAI开发系列（二）：大语言模型发展史及Transformer架构详解

一、介绍在2020年秋季，GPT-3因其在社交媒体上病毒式的传播而引发了广泛关注。
算法小陈·2023-09-15 06:45

GPT-1，GPT-2和GPT-3发展历程及核心思想，GTP-4展望

看了很多文章，还是这位大佬介绍的比较透彻，特此转载：词向量之GPT-1，GPT-2和GPT-3-知乎(zhihu.com)https://zhuanlan.zhihu.com/p/350017443目录前言1.GPT-1：无监督学习2.GPT-2：多任务学习3.GPT-3：海量参数4.GTP-4----100万亿参数WSE-2芯片和GPT-4模型我们可以从GPT-4中期待什么？前言Generati
文昊桑·2023-09-14 18:58

假性记忆，书写机器

7月，人工智能研究公司OpenAI大张旗鼓地发布了其最新的语言生成器GPT-3。GPT-3，即GenerativePre-trainedTransformer3（生成型预训练变换
ConanXin·2023-09-14 18:22

Sudowrite:基于人工智能的AI写作文章生成工具

【产品介绍】名称Sudowrite成立/上线时间2023年具体描述Sudowrite是一个基于GPT-3的人工智能写作工具，可以帮助你快速生成高质量的文本内容，无论是小说、博客、营销文案还是学术论文。
Mr.长安·2023-09-14 01:06

chatGPT笔记

三、instructGPT跟GPT-3的网络结构是否一样四、GPT和BERT有啥区别五、chatGPT的训练过程是怎样的？
hit56实验室·2023-09-13 12:53

LLM 02-大模型的能力

LLM02-大模型的能力我们将深入探讨GPT-3——这个具有代表性的大型语言模型的能力。
Gocara·2023-09-13 05:42

ChatGPT在工业领域的研究与应用探索-数据与工况认知

截至2021年9月，最新版本是GPT-3。在过去的几年里，ChatGPT已经取得了显著的进步，具备更强的自然语言处理和生成能力。目前，ChatGPT的应用领域广泛，包括但不限于：（1
iNeuOS工业互联网·2023-09-12 07:09

AIGC之文本内容生成概述（下）—— GPT

GPT的发展到目前为止，已经经历了多个版本更替，从最早的GPT-1、到GPT-2、GPT-3，再到
深度人工智能·2023-09-10 08:21

《自然语言处理》chapter7-预训练语言模型

同时参考沐神的两个视频：GPT，GPT-2，GPT-3论文精读【论文精读】BERT论文逐段精读【论文精读】概述自然语言处理的核心在于如何更好地建模语言。
Jiawen9·2023-09-10 04:49

做个善用工具的人

一直很佩服那些思维清晰，表达能力强和善用工具的人，同样是人，高效率是他们的标签，前两天听万维钢老师的专栏《我们专栏用上了AI》，提到OpenAI公司应用AI语言模型和GPT-3，只要你能清晰准确的表达自己的需求
小丽_7436·2023-09-08 02:41

使用 LangChain 实现 AI 转型：文本数据游戏规则改变者

随着OpenAI的GPT-3在2020年的突破性发布，我们见证了LLM的受欢迎程度稳步上升，随着该领域的最新进展，这种受欢迎程度只会加剧。
·2023-09-07 16:50

使用 LangChain 实现 AI 转型：文本数据游戏规则改变者

随着OpenAI的GPT-3在2020年的突破性发布，我们见证了LLM的受欢迎程度稳步上升，随着该领域的最新进展，这种受欢迎程度只会加剧。
·2023-09-07 16:19

大模型的能力边界在哪里？

这些大模型，尤其是像GPT-3这样的巨型语言模型，展示了令人印象深刻的自然语言处理能力，甚至能够生成高质量的文本、回答问题、模仿不同的写作风格，甚至作曲、绘画等等。
云长歌·2023-09-06 09:05

【趣味条漫】拿什么管理你，我的 K8S ？

据报道，OpenAI为了满足大型神经网络模型（如GPT-3，CLIP和DALL·E）的训练需要，甚至已经将Kubernetes集群规模扩展至了7500个节点，面对如此庞大的集群，选择合适的K8S管理方式至关重要
百度云原生计算·2023-09-05 14:17

CVPR 2023 | Prophet: 用小模型启发大语言模型解决外部知识图像问答

杭州电子科技大学研究方向|跨模态学习大规模语言模型（LargeLanguageModel，LLM）无疑是时下最火热的AI概念，它不仅是人工智能领域近两年的研究热点，也在近期引发了全社会的广泛关注和讨论，OpenAI的GPT
PaperWeekly·2023-09-05 12:28

An Empirical Study of GPT-3 for Few-Shot Knowledge-Based VQA

GPT-3对基于小样本知识的VQA的实证研究摘要引言相关工作方法OK-VQA上的实验VQAv2上的实验结论摘要基于知识的视觉问答（VQA）涉及回答需要图像中不存在的外部知识的问题。
UnknownBody·2023-09-05 12:27

The Power of Scale for Parameter-Efficient Prompt Tuning及prefix tuning与prompt tuning的区别

2.Prompttuning在GPT-3中，提示标记P={p1
BBBBBAAAAAi·2023-09-05 05:05

炸裂——关于Azure OpenAI的几个更新

从GPT-3惊艳世界开始，到AzureOpenAI的发布，到GPT-4…这段时间真的是——根本停不下来。首先容我得瑟一下，我应该算是第一批用上AOAI的、特别是GPT-4模型
dotNET跨平台·2023-09-04 22:42

PaddleNLP使用Vicuna

例如，130亿参数的LLaMA模型在大多数基准上可以胜过参数量达1750亿的GPT-3，而且可以在单块V100GPU上运行。
永胜永胜·2023-09-03 18:41

ChatGPT：革命性的自然语言处理技术

它的前身是GPT-3（生成式对抗网络，第三代），但在NLP领域的应用却更加广泛。它由OpenAI开
Nick同学·2023-09-03 15:49

哪个视觉语言模型更优？InstructBLIP、MiniGPT-4？全面评估基准LVLM-eHub告诉你

夕小瑶科技说原创作者|王思若LLaMA、GPT-3等大型语言模型实现了对自然语言强大的理解和推理能力，为AI社区构筑了强大的语言基座模型。进而，继续迭代的GPT-4，更是赋予了模型处理图像的视觉能力。
夕小瑶·2023-09-02 08:38

被称为计算机视觉新里程碑的SAM模型到底是什么？

许多研究人员认为「这是CV的GPT-3时刻，因为SAM已经学会了物体是什么的一般概念，甚至是未知的物体、不熟悉的场景（如水下、细胞显微镜）和模糊的情况」，并展示了作为
景联文科技·2023-09-01 10:51

GPT-3在化学中进行低数据发现是否足够？

今天介绍一份洛桑联邦理工学院进行的工作，这份工作被发表在化学期刊预印本网站上。对于这份工作，有兴趣的朋友可以通过我们的国内ChatGPT镜像站进行测试使用，我们的站点并没有针对特定任务进行建设，是通用性质的。化学领域进行机器学习研究十分的麻烦，化学任务总是无法形成大规模数据集，这对于数据驱动主导的机器学习算法并不友好。除此之外，每项化学任务都需要结合大量的特殊的专业知识。这篇文章尝试用GPT来进行
JUVETUS·2023-08-31 20:00
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他