gpt-3

阿里开源 支持10万亿模型的自研分布式训练框架EPL(Easy Parallel Library)

相比之前发布的大模型GPT-3，M6实现同等参数规模，能耗仅为其1%。M6模型训练使用的正是阿里云
·2022-03-09 17:16

GPT-3被超越？解读低能耗、高性能的GlaM模型

GPT-3自问世以来在多项自然语言处理的任务上都有超强的表现。但是训练GPT-3这样庞大
NLP论文解读·2022-03-08 21:00

2天训练出15亿参数大模型，国产开源项目力克英伟达Megatron-LM，来自LAMB作者团队...

所以如果告诉你，现在只用一半数量的GPU，也能完成同样的GPT-3训练呢？你会觉得关键钥匙是什么？不卖关子了。实现如此提升的，是一个名为Colossal-AI的GitHub开源项目。而且该
QbitAl·2022-03-08 13:22

以小25倍参数量媲美GPT-3的检索增强自回归语言模型：RETRO

©NLP论文解读原创•作者|吴雪梦Shinemon研究方向|计算机视觉导读说明：一个具有良好性能的语言模型，一定量的数据样本必不可少。现有的各种语言模型中，例如GPT3具有1750亿的参数量，前不久发布的源1.0单体模型参数量达2457亿，DeepMind团队一起新发布的语言模型Gopher[1]也具有2800亿参数量，更有巨无霸模型MT-NLP参数量高达5300亿（如图2所示）！为了获得更高的性
NLP论文解读·2022-03-03 16:00

英媒：人工智能终于接近人类智能了吗？

文章来源：金融时报作者：JohnThornhill图片来源：网络编辑：江上波摘要：GPT-3被誉为人工智能领域的重大突破，有人认为它甚至显示出初步意识迹象，另一些人则指出GPT-3存在可笑的缺陷。
人工智能学家·2022-03-02 11:47

1.6万亿参数的语言模型：谷歌大脑提出Switch Transformer，预训练速度可达T5的7倍

刚刚，GoogleBrain高级研究科学家BarretZoph发帖表示，他们设计了一个名叫「SwitchTransformer」的简化稀疏架构，可以将语言模型的参数量扩展至1.6万亿（GPT-3是1750
喜欢打酱油的老鸟·2022-02-16 10:36

1.6万亿参数，秒杀GPT-3！谷歌推出超级语言模型Switch Transformer，比T5快4倍

转载自：新智元【导读】继GPT-3问世仅仅不到一年的时间，Google重磅推出SwitchTransformer，直接将参数量从GPT-3的1750亿拉高到1.6万亿，并比之前最大的、由google开发的语言模型
zenRRan·2022-02-16 10:05

人工智能开讲：1750亿参数，史上最大AI模型GPT-3上线：不仅会写文，答题，还懂数学

更多文章可点击个人主页机器之心编辑部时隔一年，OpenAI放出的预训练语言模型GPT-3再次让人刮目相看。
大数据AI人工智能专家培训讲师叶梓团队·2022-02-16 10:05

1750亿参数，史上最大AI模型GPT-3上线：不仅会写文章、答题，还懂数学

时隔一年，OpenAI放出的预训练语言模型GPT-3再次让人刮目相看。「我们训练了GPT-3，一种具有1750亿参数的自回归语言模型，这个数字比以往任何非稀疏语言模型都多10倍。
算法与数学之美·2022-02-16 10:34

AI 语言模型真的是越大越好吗？这个模型优于 Gopher

去年6月，OpenAI发布GPT-3模型时，就重写了语言AI的规则手册。该实验室的研究人员标明，简单地扩大神经网络的规模和训练数据可以显著提高各种语言任务的性能。RETRO模型自GPT-3发布以后，许
AI科技大本营·2022-02-14 09:19

在Hinton看来是“宇宙答案”GPT-3，到LeCun这里却“对世界一无所知”

萧箫发自凹非寺量子位报道|公众号QbitAI“有些人对大型语言模型（类似于GPT-3）能做的事，有着不切实际的幻想……GPT-3对于这世界的运作方式一无所知。”
QbitAl·2022-02-14 09:49

“年薪 25 万只是白菜价”已成过去式，AI 岗位年薪下降 8.9%，最新薪酬报告发布

与此同时，人工智能的发展也未辜负各方的努力，近些年间，随着AlphaGo战胜人类围棋高手柯洁、深度机器学习Deepfake实现“换脸”技术、AI预训练模型BERT发布、GPT-3惊艳亮相等标志性事件的发生
小怪兽是我·2022-02-10 16:37

详解人工智能领域重大突破：GPT-3

简介：GPT-3是自然语言处理=领域重新发布出来最大的Transformer模型，超过之前的记录-微软研究院Turing-LG的170亿参数-约10倍。
AI研习社·2022-02-03 14:46

程序员在互联网内卷的环境下如何蜕变的？

2021内年互联网的严冬--大裁员AI程序员（阿尔法go、GPT-3的后代、Copilot、）低代码，零代码（超过2千多万的搜索记录）35岁人生枯荣线的魔咒互联网寒冬、裁员、低代码、AI程序员、35
·2021-12-09 12:37

“中国GPT-3”赛事来了

在度过了一段观望阶段后，广大开发者纷纷用GPT-3开发出各种不同的应用：从智能写作到网页代码自动生成，从写作助手到AI心理医生，这些应用不仅非常有趣，还产生了很大的应用和商业价值。
Datawhale·2021-12-03 21:00

OpenAI 真的 Open 了，GPT-3 使用将更加开放

GPT-3是一种大型语言模型，可以自动编写电子邮件和文章、撰写诗歌、跨十几种编程语言
AI科技大本营·2021-11-19 16:00

微软宣布 Power Fx 开源！

今年5月，微软通过与OpenAI的GPT-3模型的集成进一步提升了语言能力，PowerFx可以使用自然语言代替复杂的公式进行计算。微软宣布PowerFx开源！微软宣布PowerFx开源！
·2021-11-17 10:48

AI 与小学生的做题之战，孰胜孰败？

近日，OpenAI训练了一个新系统，可以解决小学数学题，大大提升了GPT-3的逻辑推理问题。新系统可以解决小学数学问题，60亿参数的GPT-3采用“新方法”，准确率直接翻倍！甚
AI科技大本营·2021-11-02 18:00

智能写作

智能写作现成工具：GPT-3智能取名恐龙起名哪家强？智能写诗为啥林黛玉那么小就会写诗了？用诗词模板，你上你也行！
Debroon·2021-10-08 23:29

全球最大AI巨量模型，参数2457亿炼丹16天专注中文，打造者绝对让你意外

晓查梦晨发自凹非寺量子位报道|公众号QbitAI一个比GPT-3还大的AI模型，如果把近5年中文互联网能爬取到的内容看了个遍，会怎么样？能学会日语。
QbitAl·2021-09-30 13:21

玩大模型，奖金50000元，是时候展示你真正的技术了

近年来，数据驱动的深度学习在很多领域取得了成功，而训练数据规模不断增大的同时，也发展出了许多大规模的预训练模型，其中GPT-3等模型甚至可以达到千亿级别的参数量。
OneFlow深度学习框架·2021-09-29 17:53

OpenAI “杀”死了那个成功模拟已故未婚妻的 GPT-3 机器人

“逝者已矣,生者如斯”，意为死去的人已离我们而去，活着的人要好好生活。可人非圣贤，明知不可拘泥于过去，却总会在深夜不禁回想起过往的美好，并在心里说一句：“我真的好想你。”但已故之人如何能听到？只能天一亮，便压下心中思念，再次开启新的一天，如此日复一日。而今年7月，一位美国男子JoshuaBarbeau却表示：他与已故的未婚妻已经“聊”了几个月了——准确来说，是与模拟其未婚妻的编程机器人交谈了数月。
大圆子啊·2021-09-10 13:20

深度学习中的分布式训练

以NLP行业为例，从最开始的Bert-base只有1亿左右的参数量，到千亿级别的GPT-3，再到今年6月发布的目前全球最大预训练模型“悟道2.0”，参数规模达到惊人的1.75万亿，整个业界都由一种向更大模型发展的趋势
·2021-08-03 12:41

Copilot 自动编程AI工具

OpenAI与GitHub联合构建的AI自动编程工具Copilot，Copilot基于自然语言处理模型GPT-3搭建而成，Copilot预览版已经正式上线VisualStudioCode平台OpenAI
ejinxian·2021-07-18 11:52

危机！感觉Python开发者要失业了

2020年6月OpenAI发布了最新的GPT-3模型，它不仅能够实现一些强大的自然语言处理功能，还带来了另外一项有趣的突破--能够生成React代码。
七步编程·2021-07-05 23:53

一个全新且牛逼的代码补全生成器！OpenAI和GitHub联合发布一开源力作

然而，它不仅完美继承了GPT-3的各项缺点，而且目前尝试10次也只有57%的正确率。这真的能用么？码农圈流传一句：一杯茶，一包烟，一行代码写一天。每个程序员可能都会面临的问题：代码憋不出来
Github中文社区·2021-07-02 13:03

OpenAI与GitHub联手推出AI代码生成工具，比GPT-3更强大

作者|琰琰、青暮比GPT-3更强大！昨日，微软与OpenAI共同推出了一款AI编程工具GitHubCopilot，这款工具基于GitHub及其他网站的源代码，可根据上文提示为程序员自动编写下文代码！
·2021-06-30 16:00

GPT-3 Python API试用

试用了一下Ideageneration功能，示例代码如下：importopenaiopenai.api_key="***"response=openai.Completion.create(engine="davinci",prompt="BlogtopicsdealingwithdailylifelivingonMars\r\n1.",temperature=0.3,top_p=1,freque
兮嘉·2021-06-25 19:55

论文阅读_自然语言模型GPT-3

论文：https://arxiv.org/abs/2005.14165代码：https://github.com/openai/gpt-3OpenAI于2020年6月发表了GPT-3论文《LanguageModelsareFew-ShotLearners
xieyan0811·2021-06-04 05:55

GPT-3模型为何难以复现？这也许是分布式AI框架的最优设计

撰文|成诚2020年，最轰动的AI新闻莫过于OpenAI发布的GPT-3了。它的1750亿参数量及其在众多NLP任务上超过人类的出众表现让大家坚信：大模型才是未来。
OneFlow深度学习框架·2021-05-14 10:40

盘古大模型参与者解读盘古β大模型

α已经开源gitee链接，它是基于GPT-3结构的网络，主打生成类任务。β是基于Transformer结构的网络，更擅长理解类任务，田其老师台上互动的就是β，
华为云·2021-05-07 11:04

初露锋芒的深度学习

【神经网络系列】初露锋芒的深度学（一）就在最近，GoogleBrain高级研究科学家BarretZoph发帖表示他们设计了一个名为SwitchTransformer的简化稀疏架构，直接将参数量从GPT-
海数据实验室·2021-04-29 21:33

从最强AI算力到“元脑”2.0，智算加速产业变革

2020年7月，OpenAI实验室推出拥有1750亿参数的NLP模型GPT-3，其训练数据集规模超过500GB，算力需求达到了3640Petaflop/s-day。
AI科技大本营·2021-04-22 18:05

270亿参数的“中文版GPT-3”来了！阿里达摩院发布超大规模语言模型PLUG

自18年谷歌BERT横空出世以来，预训练语言模型一跃成为自然语言处理领域的研究热点，海量数据与大规模模型的预训练+少量下游任务数据微调（Pre-training+Fine-tune）也成为NLP任务的新范式。从在开源数据集上进行评测到业务实践中的价值体现，预训练语言模型都被证明能够显著提高模型性能和算法效果。如果说预训练语言模型是2019年以来NLP领域的关键词，随着GPT系列模型的诞生，各大公司
AI科技大本营·2021-04-19 16:12

达摩院用128张GPU烧出“中文版GPT-3”，我试了下，这文风不是开往幼儿园的车…...

杨净子豪发自凹非寺量子位报道|公众号QbitAI首先，请先看一段“正经”的文字：他笑意中的那份温柔，只想给她好好珍藏，即便这一切不会发生，至少在他的世界里，她是无忧无虑的快乐的。就连他对她的关心，她都不在意了，还有什么不放心的呢？“好，我答应你。不过，如果我们能有个孩子，我一定做个好爸爸。”桥豆麻袋！！！这难道不是什么某某天堂、某江文学、某点中文上的小说情节？误会了误会了。这是最新发布的全球最大规
QbitAl·2021-04-19 12:53

【最新】2021年自然语言处理(NLP)算法学习路线！

像BERT、GPT-3、图神经网络、知识图谱等技术应运而生。我们正处在信息爆炸的时代、面对每天铺天盖地的网络资源和论文、很多时候我们面临的问题并不是缺资源，而是找准资源并高效学习。
公众号机器学习与生成对抗网络·2021-04-09 15:32

千呼万唤始出来——GPT-3终于开源！

不过，不是官方开的（别打我EleutherAI推出的名为GPT-Neo的开源项目，于今晨4点于twitter正式宣布：已经开源了复现版GPT-3的模型参数（1.3B和2.7B级别），并将其更新在Colabnotebook
夕小瑶·2021-03-22 17:00

GPT-2大战GPT-3：OpenAI内部的一场终极对决

而GPT-3又是GPT-2的10倍。那么问题来了，应该选择那个Transformer呢？
人工智能学家·2021-03-12 16:14

OpenAI亲谈：我们眼中的GPT-3、大规模语言模型的局限性与出路在哪

2021-02-0619:35:18编译|陈彩娴、青暮编辑|陈大鑫近日，OpenAI政策研究主管MilesBrundage在推特上分享了一篇新论文，论文内容是对一个GPT-3研讨会的总结。
喜欢打酱油的老鸟·2021-02-15 18:06

对话京东科技算法科学家吴友政：回望2020，NLP技术发展速度强劲

2020年我们又迎来了GPT-3，1750亿参数让其自诞生就引起了开发者们的激烈讨论。
·2021-02-09 11:43

对话京东科技算法科学家吴友政：回望2020，NLP技术发展速度强劲

2020年我们又迎来了GPT-3，1750亿参数让其自诞生就引起了开发者们的激烈讨论。
·2021-02-07 14:52

更适合文本分类的轻量级预训练模型解析

在12月落幕的NeurIPS2020会议上，最新语言模型GPT-3荣膺最佳论文奖。OpenAI的研究人员使用了多达45TB的文本数据来训练它的1750亿个参数。
·2021-02-05 11:33

AI突破的「阴暗面」：怎样防止GPT-3跟人类学坏？

原文：IEEESpectrum编译：梦佳近期，大规模语言模型频频出现在公众视野中。前有Google发布首个万亿级模型SwitchTransformer，参数量达到1.6万亿，速度是Google之前开发的最大语言模型（T5-XXL）的4倍。后有快手快手落地业界首个万亿参数推荐精排模型。智源研究院也在今年1月发布了面向认知的我国最大规模的预训练模型「文汇」，参数量仅次于OpenAI的DALL·E模型。
BAAIBeijing·2021-02-04 19:00

TransOMCS：从语言图提取常识知识

2020年大火的GPT-3，其参数量达到了千亿级别，规模已经接近人类神经元的数量。这说明，GPT-3的表示能力已经接近人类了，但它仍有一些认知局限——没有常识。
AITIME论道·2021-02-01 18:17

GPT-3 自动帮你写

GPT-3来帮你！本文作者通过手动输入简单的英文描述秒Get到SQL了。
AI科技大本营·2021-01-28 18:21

GPT-3自动生成SQL语句 | 代码开源

金磊发自凹非寺量子位报道|公众号QbitAI“无所不能”的GPT-3，现在又来解放程序员们的双手了。像这样，只需用简单的英文问下GPT-3“上个月注册了多少个用户”。
QbitAl·2021-01-28 13:11

GPT-3距离下一代AI生态平台还有多远？

作者：BenDickson距离GPT-3走进大众视野已经过去半年之久，从商业角度，GPT-3未来能否形成AI生态，为内容生产者创造可盈利的新业务。这一点还有待考证。
BAAIBeijing·2021-01-27 18:00

直播预告丨NLP领域的2020年大事记及2021展望

过去两年，自然处理领域最受关注的模型之一便是BERT，各大公司和高校陆续发布了自己的预训练语言模型；2020年，OpenAI发布的GPT-3，这是一种具有1,750亿个参数的自然语言深度学习模型，它的出现是比号称
·2021-01-26 19:41

知物由学 | 更适合文本分类的轻量级预训练模型

在12月落幕的NeurIPS2020会议上，语言模型GPT-3荣膺最佳论文奖。OpenAI的研究人员使用了多达45TB的文本数据来训练它的1750亿个参数。
网易易盾·2021-01-26 19:40

AI 浪淘沙 week（118-122）

3.EleutherAI发布复刻版GPT-3模型代码库GPT-neo预计将赶上GPT-3尺寸4.谷歌人工智能博客发文总结图像和视频中相似姿势识别5.可解释人工智能：工程
开源精选·2021-01-25 14:18
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他