megatron

Megatron + zero

矩阵分块并行计算MLPself-attentionembedding层小节3.PPpipeline并行（算子间）显存效率：计算效率：3D并行的合并合并数据并行和流水线并行3D混合并行混合精度精度选择训练megatron
我想静静，·2023-06-09 04:20

[源码解析] 模型并行分布式训练 Megatron (4) --- 如何设置各种并行

edu.csdn.net/course/detail/36074Python实战量化交易理财系统https://edu.csdn.net/course/detail/35475[源码解析]模型并行分布式训练Megatron
u012804784·2023-04-03 00:46

模型并行分布式训练 Megatron (4) --- 如何设置各种并行

0x00摘要NVIDIAMegatron是一个基于PyTorch的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现GPT3，值得我们深入分析其背后机理。我们接下来就仔细分析一下。0x02初始化initialize_model_parallel方法用来设置模型并行，所以我们接下来就具体分析。2.1全局变量因为前文_in
CRMEB定制开发·2023-04-03 00:07

模型并行 | 大规模语言模型架构 Megatron

随着AI模型的规模越来越大，分布式训练技术越来越被广泛使用。现行的分布式训练方法主要包含两个部分：数据并行（DataParallel）和模型并行（ModelParallel）。数据并行是将模型完整拷贝到多张显卡中，对批次数据进行并行计算，适合规模小而数据多的训练场景；而模型并行适合超大规模参数的模型训练，将模型不同的部分分别加载到不同的显卡中，依次计算得出结果。Megratron是NVIDIA提出
幻方AI小编·2023-04-02 23:03

谷歌多模态大模型PaLI：采用参数量为4B的ViT-e，效果超过BEiT-3

在语言方面，T5、GPT-3、Megatron-Turing、GLAM、Chinchilla和PaLM等模型显示出了在大文本数据上训练大型transformer的明显优势。
视学算法·2023-01-31 10:41

超越BEiT-3！谷歌提出多模态大模型PaLI：刷新多个数据集SOTA！

在语言方面，T5、GPT-3、Megatron-Turing、GLAM、Chinchilla和PaLM等模型显示出了在
Amusi（CVer）·2023-01-31 10:59

Megatron-Deepspeed 预训练 GPT-小白踩坑与解决

Megatron-Deepspeed预训练GPT-小白踩坑与解决记录在使用megatrondeepspeed训练大模型gpt时，遇到的坑1.成功运行的最终步骤1.1配置分布式环境：1.1.1硬件配置：3090
Chenql716·2023-01-30 20:18

李宏毅机器学习（六）自监督学习（一）

学习内容前情提要BERT与芝麻街这些都是BERT的组件BERT与进击的巨人BERT（340M参数）ELMO（94M）GPT-2（1542M）Megatron（8B）T5（11B）TuringNLG（17billion
追赶早晨·2022-12-30 21:33

如何提升大规模Transformer的训练效果？Primer给出答案

微软和Nvidia不久前联合发布的"Megatron-Turning"更是创造了最新记录：其参数数目
夕小瑶·2022-12-18 15:32

大模型狂欢背后：AI基础设施的“老化”与改造工程

全球顶尖的科技公司纷纷踏上“军备竞赛”之路，立志训练出规模最大的模型（MUM、OPT、GPT-3、Megatron），而其他专注于生产系统的公司也相继扩大其原有模型，并取得良好成果。
OneFlow深度学习框架·2022-12-16 12:08

EasyNLP 开源中文 NLP 算法框架

1、背景随着BERT、Megatron、GPT-3等预训练模型在NLP领域获得前瞻的成果，许多多团队也进入超大规模训练中，使得训练模型从亿级别发展到了千亿甚至万亿的规模。
ejinxian·2022-12-12 16:28

Efficient Large-Scale Language Model Training on GPU ClustersUsing Megatron-LM

EfficientLarge-ScaleLanguageModelTrainingonGPUClustersUsingMegatron-LM1INTRODUCTION在这篇文章中展示了如何将tensor，pipeline，data并行组合，扩展到数千个GPU上。提出了一个新的交错流水线调度，可以提升10%的吞吐量。proposeanovelinterleavedpipeliningschedule
黄昏贩卖机·2022-11-30 13:24

大模型狂潮背后：AI基础设施的“老化”与改造工程

全球顶尖的科技公司纷纷踏上“军备竞赛”之路，立志训练出规模最大的模型（MUM、OPT、GPT-3、Megatron），而其他专注于生产系统的公司也相继扩大其原有模型，并取得良好成果。
OneFlow深度学习框架·2022-11-26 15:12

阿里云机器学习PAI开源中文NLP算法框架EasyNLP，助力NLP大模型落地

作者：临在、岑鸣、熊兮一导读随着BERT、Megatron、GPT-3等预训练模型在NLP领域取得瞩目的成果，越来越多团队投身到超大规模训练中，这使得训练模型的规模从亿级别发展到了千亿甚至万亿的规模。
阿里云大数据AI技术·2022-11-01 13:43

OneFlow的大模型分片保存和加载策略

比如，由DeepSpeed和Megatron驱动的Megatron图灵自然语言生成模型（MT-NLG）具有5300亿个参数，是迄今为止训练过的最大和最强大的单片Transformer语言模型，支持这样的大规模语言模
OneFlow深度学习框架·2022-10-13 15:28

OneFlow的大模型分片保存和加载策略

比如，由DeepSpeed和Megatron驱动的Megatron图灵自然语言生成模型（MT-NLG）具有5300亿个参数，是迄今为止训练过的最大和最强大的单片Transformer语言模型，支持这样的大规模语言模型
·2022-10-08 14:59

为了高性能、超大规模的模型训练，这个组合“出道”了

从最初的transformer模型的几百万个参数一直到最新的5300亿个参数的Megatron-Turing(MT-NLG530B)模型（如图所示），客户对于前所未有的大规模训练和微调大型模
·2022-08-05 00:33

EasyNLP开源｜中文NLP+大模型落地，EasyNLP is all you need

作者|临在、岑鸣、熊兮来源|阿里开发者公众号一导读随着BERT、Megatron、GPT-3等预训练模型在NLP领域取得瞩目的成果，越来越多团队投身到超大规模训练中，这使得训练模型的规模从亿级别发展到了千亿甚至万亿的规模
·2022-04-29 14:42

2天训练出15亿参数大模型，国产开源项目力克英伟达Megatron-LM，来自LAMB作者团队...

鱼羊明敏发自凹非寺量子位|公众号QbitAI当今AI之势，影响纵深发展的矛盾是什么？一方面，大模型风头正劲，效果惊艳，人人都想试试。但另一方面，硬件基础上动不动就是上万张GPU的大规模集群在日夜燃烧，钞能力劝退。所以如果告诉你，现在只用一半数量的GPU，也能完成同样的GPT-3训练呢？你会觉得关键钥匙是什么？不卖关子了。实现如此提升的，是一个名为Colossal-AI的GitHub开源项目。而且该
QbitAl·2022-03-08 13:22

[源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础

[源码解析]模型并行分布式训练Megatron(1)—论文&基础文章目录[源码解析]模型并行分布式训练Megatron(1)---论文&基础0x00摘要0x01Introduction1.1问题1.2数据并行
罗西的思考·2022-02-27 11:45

[源码解析] 模型并行分布式训练Megatron (5) --Pipedream Flush

[源码解析]模型并行分布式训练Megatron(5)--PipedreamFlush目录[源码解析]模型并行分布式训练Megatron(5)--PipedreamFlush0x00摘要0x01背景0x02
罗西的思考·2022-02-14 17:00

[源码解析] 模型并行分布式训练 Megatron (4) --- 如何设置各种并行

[源码解析]模型并行分布式训练Megatron(4)---如何设置各种并行目录[源码解析]模型并行分布式训练Megatron(4)---如何设置各种并行0x00摘要0x01前文回顾0x02初始化2.1全局变量
罗西的思考·2022-02-10 18:00

[源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现

[源码解析]模型并行分布式训练Megatron(3)---模型并行实现目录[源码解析]模型并行分布式训练Megatron(3)---模型并行实现0x00摘要0x01并行Transformer层1.1初始化
罗西的思考·2022-02-08 16:00

[源码解析] 模型并行分布式训练Megatron (2) --- 整体架构

[源码解析]模型并行分布式训练Megatron(2)---整体架构目录[源码解析]模型并行分布式训练Megatron(2)---整体架构0x00摘要0x01启动1.1分布式启动1.2构造基础1.2.1获取模型
罗西的思考·2022-02-07 20:00

[源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础

[源码解析]模型并行分布式训练Megatron(1)---论文&基础目录[源码解析]模型并行分布式训练Megatron(1)---论文&基础0x00摘要0x01Introduction1.1问题1.2数据并行
罗西的思考·2022-01-27 18:00

中英文最大AI模型世界纪录产生，大模型竞赛新阶段来了

本周，英伟达与微软联合发布了5300亿参数的“威震天-图灵”（Megatron-Turing），成为迄今为止全球最大AI单体模型。
QbitAl·2021-10-15 14:29

微软、英伟达联手推出语言模型 MT-NLP，5300亿参数，现存最大！

编译|禾木木出品|AI科技大本营（ID:rgznai100）微软和英伟达联手推出最大、最强的人工智能语言模型：Megatron-Turing自然语言生成模型(MT-NLG)。
AI科技大本营·2021-10-12 16:26

Dialog显示引起的问题 Activity has leaked window DecorView@5704632[] that was originally added here

dialog显示引起的界面无法打开的问题，报错信息如下：03-0818:02:48.521:E/WindowManager(6340):Activitycom.linc.megatron.activity.ExamActivityhasleakedwindowcom.android.internal.policy.impl.PhoneWindow
再见孙悟空_·2020-08-15 15:49

ACL2020 | FastBERT：放飞BERT的推理速度

所以BERT之后的发展也比较清晰，一部分壕大佬们继续搞预训练提升效果，当你对BERTLarge望而却步的时候，又出了GPT2，又双出了威震天Megatron-
夕小瑶·2020-06-30 02:40

微软发布史上最大AI模型：170亿参数横扫各种语言建模基准，将用于Office套件...

170亿参数量，是此前最大的语言模型英伟达“威震天”（Megatron）的两倍，是OpenAI模型GPT-2的10多倍。
DevolperFront·2020-06-21 19:56

连起码的一次野餐都准备不好，还想当领导？

4c564f09e5bf20a60832f08b853e2f45.jpg英明领袖威震天威震天（MEGATRON）霸天虎的第一代首领威震天，一个失意却百折不挠的军队首领！名言：“我的饥饿就是我的权利！”
南山图图·2020-03-22 21:06

[第13次听写] 变形金刚(六) 甩掉字幕看电影

Wind,以前是字幕组组长,好久不练听力了,感觉有些生锈.我打算每天早上做1分钟听写,看看自己能坚持多久,把你听写的文本粘贴到评论中和我一起坚持吧~变形金刚(六).PNG点击这里看视频我的听写Arcee,Megatron'sgettingaway.Don'tworry
Wind教口语·2020-03-05 11:16

微软发布史上最大NLG模型：基于Transformer架构，170亿参数加持

此模型的参数高达170亿，是英伟达的Megatron（也就是现在第二大Transformer模型）的两倍，是OpenAI的GPT-2的十
喜欢打酱油的老鸟·2020-02-12 11:55

JS无形装逼，最为致命

作者|megatron炼金|juejin.im/post/5cc55eb5e51d456e577f93f0单行简洁的代码很难维护（有时甚至难以理解），但这并不能阻止广大攻城狮们脑洞，在编写简洁的代码后获得一定的满足感
coder_girl·2019-12-07 08:53

JS无形装逼，最为致命

作者：megatron链接：https://juejin.im/post/5cc55eb5e51d456e577f93f0（点击尾部阅读原文前往）除了三目运算，你还知道其他的装逼姿势吗？
零度源码·2019-05-10 12:00

【BDKO】A Little Story

但这次他有求于眼前这只自大的小蜘蛛，不得不无视他那夸张的表情，耐着性子重复了一遍自己的请求：“对，没错，我希望你能分享一下，你和Megatron平
不甜k·2017-10-22 18:34

Android问题集锦之二十：Activity has leaked window that was originally added

当时是离开一个activity，然后提示是否退出此界面，接下来就打印此错误：03-0818:02:48.521:E/WindowManager(6340):Activitycom.linc.megatron.activity.ExamActivityhasleakedwindowcom.andr
lincyang·2014-03-08 18:00

Database System Implementation

IntroductionMegatron2000ImplementationDetails  Tobegin,Megatron2000usesthefilesystemtostoreitsrelations.Forexample
lmm2003·2011-10-25 14:00

友情的基础

Megatron:Whatwouldyoubewithoutme?Optimus:Let’sfindout.央视对百度的炮轰持续数日后突然停歇，让人揣测百度公关是不是已经与央视签好了互不侵犯协议。
笑面男 可可·2011-08-25 18:00

友情的基础

Megatron:Whatwouldyoubewithoutme?Optimus:Let’sfindout.央视对百度的炮轰持续数日后突然停歇，让人揣测百度公关是不是已经与央视签好了互不侵犯协议。
笑面男 okici·2011-08-25 18:00

变形金刚的译名

擎天柱:OptimusPrime威震天:Megatron高度赞赏内地对变形金刚的译名高度赞赏变形金刚创造性的经典译名!我们内地对变形金刚的译名真是长了咱们的志气!那些名字起的很有气质,也很有个性!
yahoon·2007-10-01 09:54
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他