gpt-3

GPT-1，GPT-2和GPT-3发展历程及核心思想，GTP-4展望

看了很多文章，还是这位大佬介绍的比较透彻，特此转载：词向量之GPT-1，GPT-2和GPT-3-知乎(zhihu.com)https://zhuanlan.zhihu.com/p/350017443目录前言1.GPT-1：无监督学习2.GPT-2：多任务学习3.GPT-3：海量参数4.GTP-4----100万亿参数WSE-2芯片和GPT-4模型我们可以从GPT-4中期待什么？前言Generati
yimenren·2022-12-05 12:45

她用10年日记训练GPT-3，对话童年的自己，网友：AI最治愈的应用

原来，一个脑洞大开的网友Michelle，用GPT-3造了一个栩栩如生的“童年Michelle”。然后她和童年的自己聊起了天，对方甚至还写来一封信。
QbitAl·2022-12-05 10:45

LLM.int8()——自适应混合精度量化方法

abs/2208.07339GitHub链接：GitHub-TimDettmers/bitsandbytes:8-bitCUDAfunctionsforPyTorch随着模型参数规模的增加，大模型（如GPT
Law-Yao·2022-12-05 09:23

怎么让AI和神经网络效率更高？

自AI与神经网络问世以来，AI的研究好像日渐深入，但是目前好像都只是局限于拼算力，没有创新性的神经网络与AI，以openai的gpt-3为例，这一个通用性领域的人工智能，是输入了整个词库，已经广泛的学习了人类的知识
晓天2020·2022-12-04 15:28

挑战 Google 搜索？OpenAI 发布最强 AI 对话系统 ChatGPT

GPT-3发布的两年后，我们没等来它的亲弟弟GPT-4，而是在今天亲眼见证了OpenAI带来了一种全新的AI聊天机器人——ChatGPT，也可以称之为是GPT-3家族里面的亲戚，它不仅可以解释代码、编写情景喜剧脚本
Oracle中文开发者社区·2022-12-04 09:56

OpenAI：基于对比学习的预训练文本&代码表征技术

其实，这篇论文在春节放假期间我就看了，模型是套用GPT-3的模型，只是采用对比学习的方法，又继续预训练了一波；但是里面有个结论假设还挺有意思的，就是「搜索任务和句子相似任务，在句向量表征中是冲
刘聪NLP·2022-12-03 16:31

PyTorch 新库 TorchMultimodal 使用说明：将多模态通用模型 FLAVA 扩展到 100 亿参数

以自然语言处理为例，语言模型已经从几亿参数（BERT）发展到了几千亿参数（GPT-3），对下游任务的性能提升显示出重大作用。业界对大规模语言模型如何扩展进行了广
HyperAI超神经·2022-12-03 11:16

挑战 Google 搜索？OpenAI 发布最强 AI 对话系统 ChatGPT

GPT-3发布的两年后，我们没等来它的亲弟弟GPT-4，而是在今天亲眼见证了OpenAI带来了一种全新的AI聊天机器人——ChatGPT，也可以称之为是GPT-3家族里面的亲戚，它不仅可以解释代码、编写情景喜剧脚本
CSDN资讯·2022-12-02 17:17

YOLOv4、SimCLR和GPT-3均上榜

点击上方“CVer”，选择加"星标"置顶重磅干货，第一时间送达作者|陈大鑫本文转载自：AI科技评论近日，有位外国网友在Reddit上发帖称利用metacurate.io持续读取了2020年度arxiv上有关AI、机器学习、NLP和数据科学的大量论文资源。到2020年末，metacurate.io总共检索了94,000多个论文链接。然后，汇总到一起，并根据7天的社交媒体热度对所有论文进行热度评分，最
Amusi（CVer）·2022-12-02 11:08

一览群智率先开启多模态预训练“大模型”的落地应用，深度探索行业价值

随着OpenAI超大规模语言模型GPT-3的发布，预训练语言模型在自然语言理解能力上再次被推至
一览群智·2022-12-01 23:18

特斯拉改版Model3更便宜/ 贾跃亭又被申请限消/ GPT-3更新…今日更多新鲜事在此...

日报君发自凹非寺量子位|公众号QbitAI大家好，今天是11月29日星期二。科技圈都发生了哪些大事？来和日报君一起康康～特斯拉重新设计Model3特斯拉的Model3要升级了，这次成本会大大削减。据路透社消息，四名知情人士透露，特斯拉正在设计一款新的Model3，代号为“Highland”。为了降低生产成本并增加现已推出五年的Model3的吸引力，新的车型将会减少内部组件的数量和复杂性，并且可能对
QbitAl·2022-12-01 22:36

PyTorch 新库 TorchMultimodal 使用说明：将多模态通用模型 FLAVA 扩展到 100 亿参数

以自然语言处理为例，语言模型已经从几亿参数（BERT）发展到了几千亿参数（GPT-3），对下游任务的性能提升显示出重大作用。业界对大规模语言模型如何扩展进行了广
·2022-12-01 14:56

智源社区AI周刊No.105：谷歌FLAN-T5 30亿参数即超越GPT-3性能；Copilot推出语音编程新功能，但面临诉讼...

今年早些时候提出的Chain-of-Thought（CoT）方法，结合其他指令微调方式，在PaLM、T5等模型上进行了验证，让30亿规模的模型性能超过了1750亿的GPT-3。智源社区也邀请了
智源社区·2022-11-30 17:49

MILA、Salesforce等提出RICE-N：用AI寻找气候谈判最佳方案机制，将举办全球挑战赛...

据丹麦哥本哈根大学研究者统计，单次训练1750亿参数的GPT-3模型所消耗的电力，
智源社区·2022-11-30 17:48

GPT-3不算机器学习算法创新？2020年AI顶会最佳论文榜单引发激烈争论

今年，顶会的最佳论文，既有ECCV的“2D变3D”的NeRF，当然，也有今年引起轰动的GPT-3，它来自NeurIPS2020。
QbitAl·2022-11-30 16:53

CPM-2细节发布！10大技术打通大模型「任督二脉」，单卡单机跑「千亿模型」不再是梦...

例如以单块NVIDIAV100GPU训练，GPT-1的计算时间是3天，到GPT-2计算时间就达到了200天，GPT-3的计算时间则增加到90年。
智源社区·2022-11-30 16:21

走进一款新的文生图模型 - Nvidia eDiff-I

在前几期的IDPInspirtation，我们曾经介绍过大语言模型GPT-3，图像编辑模型Imagic和RunwayEraseandReplace。
·2022-11-30 07:28

吴恩达：2020 年，这些 AI 大事件让我无法忘怀...

贝爽编辑|青暮转自|AI科技评论日前，吴恩达在圣诞节之际回顾了2020年AI的一些重大事件，包括AI应对新冠疫情、数据集存在种族偏见、对抗虚假信息算法、AlphaFold预测蛋白质三维结构、1750亿参数的GPT
湾区人工智能·2022-11-27 03:58

自压缩神经网络

从使用GPT-3[1]的文本生成到使用Imagen[2]的图像生成，研究人员付出了相当大的努力来创建更大、更复杂的架构，以实现越来越令人印象深刻的壮举。此外，现代神经网络的成功使其在各种应用中部署。
Imagination官方博客·2022-11-27 02:48

270亿参数、刷榜CLUE，达摩院神作！

自去年OpenAI发布英文领域超大规模预训练语言模型GPT-3后，中文领域同类模型的训练进程备受关注。
视学算法·2022-11-26 20:37

270亿参数、刷榜CLUE，阿里达摩院发布最大中文预训练语言模型PLUG（开放测试）...

自去年OpenAI发布英文领域超大规模预训练语言模型GPT-3后，中文领域同类模型的训练进程备受关注。
深度学习技术前沿·2022-11-26 20:07

270亿参数、刷榜CLUE，阿里达摩院发布最大中文预训练语言模型PLUG

自去年OpenAI发布英文领域超大规模预训练语言模型GPT-3后，中文领域同类模型的训练进程备受关注。
PaperWeekly·2022-11-26 20:30

全球最大AI巨量模型，参数2457亿炼丹16天最懂中文

晓查梦晨发自凹非寺量子位报道|公众号QbitAI一个比GPT-3还大的AI模型，如果把近5年中文互联网能爬取到的内容看了个遍，会怎么样？能学会日语。
喜欢打酱油的老鸟·2022-11-26 18:41

OpenAI开放GPT-3独家授权，马库斯：呵呵。浪潮源巨量语言预训练模型开放免费API。

本文部分内容由源大模型创作而成，读者可前往源开放平台（air.inspur.com）注册申请体验源模型的内容创作能力。通用认知智能是人工智能的发展新阶段，能够像人一样思考、推理和决策，一直是人工智能的目标和期待。而预训练大模型则有望实现人工智能从感知到认知的跃迁，将更高效地赋能AI产业化和产业AI化。在过去两年中，谷歌、DeepMind、OpenAI等科技机构陆续推出自己的巨量预训练模型，也开源了
wawa_nudt·2022-11-26 18:10

AI周报丨中文巨量模型源1.0比GPT-3强在哪里？；谷歌用协同训练策略实现多个SOTA，单一ViT模型执行多模态多任务

国内外先后出现了参数量高达千亿甚至万亿的语言模型，比如谷歌的T5（110亿）、OpenAI的GPT-3（1,750亿）、智源研究院的WuDao2.0（1.75万亿）……有人不禁会问，语言模型的参数越来越大
极链AI云·2022-11-26 18:05

用更少GPU完成更多计算量，中文巨量模型源1.0比GPT-3强在哪里？

源1.0与GPT-3的参数量、算力对比。训练源1.0解决的二三难事MDFS系统的流程图。精筛后数据大小与原始语料大小对比。图上左为张量并行，上右为数据并行
计算机视觉研究院·2022-11-26 18:34

中文巨量模型“源1.0”：语料质量清洗与数据分析方法

2021年，浪潮人工智能研究院发布了中文巨量模型“源1.0”，其参数规模为2457亿，训练采用的中文数据集达5TB，超越美国OpenAI组织研发的GPT-3模型。
AI科技大本营·2022-11-26 18:04

中文巨量模型“源1.0”的学习优化方法

最近，浪潮人工智能研究院发布了中文巨量模型“源1.0”，参数量达2457亿，超越美国OpenAI组织研发的GPT-3。
CSDN云计算·2022-11-26 18:24

中文巨量模型“源1.0”的小样本学习优化方法

浪潮发布了中文巨量模型“源1.0”，参数量达2457亿，超越美国OpenAI组织研发的GPT-3。
浪潮圈·2022-11-26 18:23

大模型狂潮背后：AI基础设施的“老化”与改造工程

全球顶尖的科技公司纷纷踏上“军备竞赛”之路，立志训练出规模最大的模型（MUM、OPT、GPT-3、Megatron），而其他专注于生产系统的公司也相继扩大其原有模型，并取得良好成果。
OneFlow深度学习框架·2022-11-26 15:12

NLP精选10个实现项目推荐-涉及预训练、知识图谱、智能问答、机器翻译、对话等...

自然语言处理技术近几年发展非常快，像BERT、GPT-3、图神经网络、知识图谱等技术被大量应用于项目实践中。
Evan-yzh·2022-11-26 15:38

NLP精选10个实现项目推荐-涉及预训练Bert、知识图谱、智能问答、机器翻译、对话等...

自然语言处理技术近几年发展非常快，像BERT、GPT-3、图神经网络、知识图谱等技术被大量应用于项目实践中。
风度78·2022-11-26 15:27

强烈推荐十大NLP主流经典项目：预训练BERT、知识图谱、智能问答、机器翻译、文本自动生成等...

自然语言处理技术近几年发展非常快，像BERT、GPT-3、图神经网络、知识图谱等技术被大量应用于项目实践中。
PaperWeekly·2022-11-26 14:24

训练一个130亿参数的模型要用几个GPU？微软：一个就够

前不久，谷歌发布了参数量为1.6万亿的语言模型SwithTransformer，将GPT-3创下的参数量记录（1750亿）推至新高。
PaperWeekly·2022-11-25 10:10

【SCIR笔记】ACL2020表格预训练工作速览

作者：哈工大SCIR潘名扬、窦隆绪来自：工大SCIR1.简介近年来预训练语言模型(BERT、ERNIE、GPT-3)迅速发展，促进了NLP领域各种任务上的进步，例如阅读理解、命名实体识别等任务。
zenRRan·2022-11-24 20:19

10大NLP精选项目-涉及预训练Bert、知识图谱、智能问答、机器翻译、对话等

自然语言处理技术近几年发展非常快，像BERT、GPT-3、图神经网络、知识图谱等技术被大量应用于项目实践中。
Evan-yzh·2022-11-23 21:30

【译】2021年国外十大AI自动写作软件评测

这就是为什么她可以为你带来不同的人工智能故事，包括最新的人工智能应用程序、惊人的deepfake工具，以及革命性的深度学习和GPT-3。Rose有很多AI相关的文章很不错
极速learner·2022-11-23 02:56

从GPT-3到DETR，一起来盘点2020有哪些突破？

从OpenAI的GPT-3，再到AlphaFold，都是令人振奋的成就。与此同时，数据科学在机器学习、自然语言处理（NLP）、计算机视觉等领域中蓬勃发展。
深度学习技术前沿·2022-11-22 21:21

《预训练周刊》第25期：HyperCLOVA：数十亿级韩语生成式预训练变换器、GPT-3在生物医学领域不是好的小样本学习器...

No.25智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点，为了帮助研究与工程人员了解这一领域的进展和资讯，智源社区整理了第25期《预训练周刊》，从论文推荐、研究动态、资源推荐等维度推荐近期发生在预训练模型领域值得关注的信息。本期周刊，我们选择了11篇预训练相关的论文，涉及图像分割、多模态理论、图像问答、大语言模型、无监督强化学习、预训练优化、文本理解测
智源社区·2022-11-22 11:01

2020年人工智能十大技术进展

位于北京的智源人工智能研究院请“智源学者”们从全球的研究成果中评选了一份年度成就名单，其中有文本能力惊人的自然语言处理预训练模型GPT-3，有惊艳结构生物学领域的AlphaFold2，也有不少中国学者的成果
人工智能学家·2022-11-21 09:40

AI画画催生新职业：现在出售DALL·E 2提示词就能赚钱，平台抽成20%

衡宇发自凹非寺量子位|公众号QbitAIDALL·E2、GPT-3提示词在线交易平台，了解一下？
QbitAl·2022-11-21 08:47

如何训练2457亿参数量的中文巨量模型“源1.0”

从2018年的BERT到2020年的GPT-3，NLP语言模型经历了爆发式的发展过程，其中BERT模型的参数量为3.4亿，而GPT-3的模型参数量达到了1750亿。
浪潮圈·2022-11-20 22:59

中文巨量模型“源1.0”：模型结构与生成效果解析

其参数量达2457亿，超越美国OpenAI组织研发的GPT-3。
CSDN云计算·2022-11-20 22:57

中文巨量模型“源1.0”的模型结构与生成效果解析

其参数量达2457亿，超越美国OpenAI组织研发的GPT-3。
浪潮圈·2022-11-20 22:54

NLP千亿预训练模型的“第四范式”之Prompt Learning介绍分享

点击上方“AI遇见机器学习”，选择“星标”公众号重磅干货，第一时间送达论文转载自知乎专栏：ai炼丹师作者：避暑山庄梁朝伟一、背景随着GPT-3诞生，最大的版本多达1750亿参数，是BERT-BASE的一千多倍
Evan-yzh·2022-11-20 08:41

NLP的“第四范式”之Prompt Learning总结：44篇论文逐一梳理

©作者|杨浩单位|阿里达摩院研究方向|自然语言处理背景随着GPT-3诞生，最大的版本多达1750亿参数，是BERT-BASE的一千多倍。
PaperWeekly·2022-11-20 07:26

【GPT-3】第1章 大型语言模型时代

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟目录fo
Sonhhxg_柒·2022-11-15 09:13

阿里云机器学习PAI开源中文NLP算法框架EasyNLP，助力NLP大模型落地

作者：临在、岑鸣、熊兮一导读随着BERT、Megatron、GPT-3等预训练模型在NLP领域取得瞩目的成果，越来越多团队投身到超大规模训练中，这使得训练模型的规模从亿级别发展到了千亿甚至万亿的规模。
阿里云大数据AI技术·2022-11-01 13:43

“我让 AI 帮我写论文，还拿了个 A”

两年前最先进的语言模型GPT-3发布后曾引起了不少话题，但体验起来不如画画那么便捷直观富有冲击力，后来声音也小了很多。打破这种平静的，是几天前一位Red
IT界那些事儿·2022-10-31 13:23

GPT系列：生成式预训练与零样本学习

GPT系列：生成式预训练与零样本学习本文的主要参考是李沐老师关于GPT系列的解读：GPT，GPT-2，GPT-3论文精读【论文精读】。
Adenialzz·2022-10-28 05:03
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他