Megatron

【DeepSpeed 教程翻译】三，在 DeepSpeed 中使用 PyTorch Profiler做性能调试和Flops Profiler教程翻译

模型训练的循环标记任意代码范围ProfileCPU/GPU的活动Profile内存消耗0x2.FlopsProfiler总览Flops测量多GPU，多节点，数据并行和模型并行例子和DeepSpeed运行时一起使用在Megatron-LM
just_sort·2024-09-08 17:39

DeepSpeed与Megatron的区别和联系

DeepSeedDeepSeed代表性功能MegatronMegatron代表性功能备注GPU底层优化有开创性的全栈GPU内核设计FP6量化更牛逼FusedCUDAKernels毕竟Megatron是Nvidia
爱串门的小马驹·2024-08-22 04:16

JAVA-数组查找元素

字符串数组publicstaticvoidmain(String[]args){String[]arr={"Megatron","s司马铁锤","Laden","angelbaby","b比尔盖茨","
zyt.com·2024-02-13 09:43

Megatron-LM源码系列(七)：Distributed-Optimizer分布式优化器实现Part2

1.使用入口DistributedOptimizer类定义在megatron/optimizer/distrib_optimizer.py文件中。
MLTalks·2024-02-04 06:22

[论文笔记] PAI-Megatron 源码解读之Mistral的滑动窗口sliding window

这段代码是_make_causal_mask函数中处理滑动窗口局部注意力的部分。这里的目的是创建一个额外的掩码，以便在自注意力机制中只考虑每个位置附近的一定数量的位置，而不是所有之前的位置。这通常用于减少计算复杂性和提高长序列处理的效率。代码分析如下：diagonal=past_key_values_length-sliding_window+1:这里计算的是上三角矩阵（triu）的开始对角线的索
心心喵·2024-01-30 20:08

Dialog显示引起的问题 Activity has leaked window DecorView@5704632[] that was originally added here

dialog显示引起的界面无法打开的问题，报错信息如下：03-0818:02:48.521:E/WindowManager(6340):Activitycom.linc.megatron.activity.ExamActivityhasleakedwindowcom.android.internal.policy.impl.PhoneWindow
闲暇部落·2024-01-22 14:05

[论文笔记] PAI-Megatron 1、Qwen continuing pretrain(CT)千问预训练

通义千问开源模型在PAI灵骏的最佳实践-知乎https://github.com/alibaba/Pai-Megatron-Patch/blob/main/examples/megatron.md背景：
心心喵·2024-01-17 06:54

[论文笔记] Megatron LM 本地调试

本地要改成这样：exportGPUS_PER_NODE=8exportMASTER_ADDR=localhost#127.0.0.1exportMASTER_PORT=9988exportNNODES=1exportNODE_RANK=0exportWORLD_SIZE=8DISTRIBUTED_ARGS="--use-dummy-data\--nproc_per_node$GPUS_PER_NO
心心喵·2024-01-13 20:40

[论文笔记] PAI-Megatron中qwen和mistral合并到Megtron-LM

/mnt/nas/pretrain/code/Megatron-LM/megatron/tokenizer/__init__.py或者tokenizer.py在build_tokenizer.py函数中
心心喵·2024-01-13 20:08

增量预训练经验积累（3）

1、BLOOM与Megatron-DeepSpeed1.1BLOOM训练细节BLOOM的模型架构与GPT3非常相似，只是增加了一些改进，176BBLOOM模型的训练于2022年3月至7月期间，耗时约3.5
GUANYX~·2024-01-03 22:51

Megatron-LM源码系列(五)： FP16使用

1.FP16参数指定训练模型要使用fp16时，训练启动参数中指定--fp16,对应megatron/arguments.py中的定义如下：group.add_argument('--fp16',action
MLTalks·2024-01-01 10:24

Megatron-LM源码系列(六)：Distributed-Optimizer分布式优化器实现Part1

1.使用说明在megatron中指定--use-distributed-optimizer就能开启分布式优化器,参数定义在megatron/arguments.py中。
MLTalks·2024-01-01 10:24

Megatron模型并行研究

Megatron模型并行研究1.技术调研a.Megatron-LMMegatron-LM针对的是特别大的语言模型，使用的是模型并行的训练方式。
Charles_yy·2023-12-21 21:02

Accelerate 0.24.0文档 四：Megatron-LM

参考《Megatron-LM》文章目录一、Megatron-LM集成简介二、环境配置设置conda环境的步骤：二、AccelerateMegatron-LMPlugin三、自定义训练过程四、检查点转换五
神洛华·2023-12-02 00:59

NVIDIA大模型平台软件全家桶开启云智能第二曲线

早在2019年，NVIDIA就推出了Megatron-LM
阿川2015·2023-11-09 19:18

LLM-分布式训练工具01-DeepSpeed：ZeRO系列【将显存优化进行到底】

前言目前训练超大规模语言模型主要有两条技术路线：TPU+XLA+TensorFlow/JAX和GPU+PyTorch+Megatron-LM+DeepSpeed。
u013250861·2023-11-03 07:41

[linux] megatron转换huggingface权重报错return super().find_class(mod_name, name) No module named megatron

find_class(mod_name,name)moduleno_mtl1994的博客-CSDN博客在python脚本中，添加当前目录到path即可：importsyssys.path.insert(0,'/xx/Megatron-LM
心心喵·2023-10-31 03:10

[源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现

[源码解析]模型并行分布式训练Megatron(3)—模型并行实现文章目录[源码解析]模型并行分布式训练Megatron(3)---模型并行实现0x00摘要0x01并行Transformer层1.1初始化
罗西的思考·2023-10-29 08:45

阿里云AIGC- 使用Megatron-Deepspeed训练GPT-2并生成文本

本文介绍如何使用GPU云服务器，使用Megatron-Deepspeed框架训练GPT-2模型并生成文本。
量化交易曾小健(金融号)·2023-10-29 08:43

详解MegatronLM Tensor模型并行训练(Tensor Parallel)

1.背景介绍MegatronLM的第一篇论文【Megatron-LM:TrainingMulti-BillionParameterLanguageModelsUsingModelParallelism】
MLTalks·2023-10-29 08:12

Megatron-LM源码系列(一): 模型并行初始化

github:https://github.com/NVIDIA/Megatron-LM在本系列中，我们将探讨Megatron-LM的源代码。
MLTalks·2023-10-29 08:41

Megatron-LM源码系列(二)：Tensor模型并行和Sequence模型并行训练

代码库地址:https://github.com/NVIDIA/Megatron-LM/tree/23.051.整体介绍模型并行训练实现的核心代码在megatron/core/目录下，按README.md
MLTalks·2023-10-29 08:41

Megatron-LM GPT 源码分析（二） Sequence Parallel分析

引言本文接着上一篇【Megatron-LMGPT源码分析（一）TensorParallel分析】，基于开源代码GitHub-NVIDIA/Megatron-LM:Ongoingresearchtrainingtransformermodelsatscale
HaoBBNuanMM·2023-10-29 08:36

Megatron-LM GPT 源码分析（一） Tensor Parallel分析

引言本文基于开源代码GitHub-NVIDIA/Megatron-LM:Ongoingresearchtrainingtransformermodelsatscale，通过GPT的模型运行示例，从三个维度
HaoBBNuanMM·2023-10-29 08:35

Megatron-LM GPT 源码分析（三） Pipeline Parallel分析

引言本文接着上一篇【Megatron-LMGPT源码分析（二）SequenceParallel分析】，基于开源代码GitHub-NVIDIA/Megatron-LM:Ongoingresearchtrainingtransformermodelsatscale
HaoBBNuanMM·2023-10-29 08:03

[nlp]apex安装报错cannot import name ‘UnencryptedCookieSessionFactoryConfig‘ from ‘‘pyramid.session‘ 报错

modulenotfounderror:nomodulenamed'amp_c_是七叔呀的博客-CSDN博客速览：apex安装常见的三个报错并成功解决（亲测有效）_安装apex库错误-CSDN博客NVIDIAAPEX安装完全指南及Megatron-LM
心心喵·2023-10-18 02:02

Megatron-LM源码系列(四)：重计算(recompute)

github:https://github.com/NVIDIA/Megatron-LM1.recompute参数配置在megatron/arguments.py中有重计算的参数配置如下：group.add_argument
MLTalks·2023-10-18 02:51

Megatron-LM GPT 源码分析（二） Sequence Parallel分析

引用本文基于开源代码https://github.com/NVIDIA/Megatron-LM，延续上一篇Megatron-LMGPT源码分析（一）TensorParallel分析通过对GPT的模型运行示例
HaoBBNuanMM·2023-10-16 07:42

Megatron-LM GPT 源码分析（一） Tensor Parallel分析

引用本文基于开源代码https://github.com/NVIDIA/Megatron-LM，通过GPT的模型运行示例，从三个维度-模型结构、代码运行、代码逻辑说明对其源码做深入的分析。
HaoBBNuanMM·2023-10-16 07:39

大语言模型（LLM）分布式训练框架总结

的研究报告(Scalinglawsforneurallanguagemodels)曾经指出模型的性能常与模型的参数规模息息相关，那么如何训练一个超大规模的LLM也是大家比较关心的问题，常用的分布式训练框架有Megatron-LM
PaperWeekly·2023-09-30 00:07

大模型并行训练指南：通俗理解Megatron-DeepSpeed之模型并行与数据并行

前言本文可以看做是本文《千亿参数开源大模型BLOOM背后的技术，这是其英文原文》与相关论文的解读，但修正了部分细节错误，以及补充了大量的解释说明，使得其读起来一目了然、通俗易懂第一部分BLOOM与其背后的Megatron-DeepSpeed1.1BLOOM
v_JULY_v·2023-09-20 14:30

淘天集团联合爱橙科技开源大模型训练框架Megatron-LLaMA

9月12日，淘天集团联合爱橙科技正式对外开源大模型训练框架——Megatron-LLaMA，旨在让技术开发者们能够更方便地提升大语言模型训练性能，降低训练成本，并保持和LLaMA社区的兼容性。
阿里技术·2023-09-15 11:28

阿里云PAI-灵骏大模型训练工具Pai-Megatron-Patch正式开源！

作者：李鹏，王明，施晨，黄俊导读随着深度学习大语言模型的不断发展，其模型结构和量级在快速演化，依托大模型技术的应用更是层出不穷。对于广大开发者来说不仅要考虑如何在复杂多变的场景下有效的将大模型消耗的算力发挥出来，还要应对大模型的持续迭代。开发简单易用的大模型训练工具就成了应对以上问题广受关注的技术方向，让开发者专注于大模型解决方案的开发，降低大模型训练加速性能优化和训练/推理全流程搭建的人力开发成
阿里云大数据AI技术·2023-09-14 07:53

ChatGPT实战与私有化大模型落地

文章目录大模型现状baseline底座选择数据构造迁移方法评价思考领域大模型训练技巧Tokenizer分布式深度学习数据并行管道并行向量并行分布式框架——Megatron-LM分布式深度学习框架——Colossal-AI
uncle_ll·2023-09-10 13:32

【BBuf的cuda学习笔记十】Megatron-LM的gradient_accumulation_fusion优化

0x0.前言这篇文章来解析一下Megaton-LM涉及到的一个优化gradient_accumulation_fusion。这里fusion的意思是在gemm接口中会将当前的结果累加到先前计算的梯度上，所有这些都在一个操作中完成，可以避免多次访问globalmemory提升算子的带宽。下面解析一下这个优化的调度逻辑和cuda实现。0x1.调度逻辑解析gradient_accumulation_fu
just_sort·2023-09-04 05:25

大模型训练的性能指标：吞吐率 Throughput 是指什么？

经常看大模型的论文，特别是Megatron-LM的好几篇论文做了大量的性能对比，各种并行切分的策略。里面有大量的throughput（吞吐量）。
taoqick·2023-09-04 02:40

找分布式工作复习学习系列---市面分布式框架解析之Megatron-LM（三）

通过对Megatron的学习，期望掌握的是：Transformer如何通过multi-node,multi-GPU实现，例如其中的multi-headattentionlayer,point-wisefeed-f
加油11dd23·2023-09-02 23:50

ModaHub魔搭社区：ChatGLM-RLHF：无需微调 教程

大部分的RLHF代码都是在分布式框架，不适合学习和使用，本代码的RLHF代码不需要Megatron或者deepspeed框架，只需要传统的炼丹torch和显卡就好了，RLHF的Critic用的ChatGLM
LCHub低代码社区·2023-08-31 09:22

[NLP]深入理解 Megatron-LM

Megatron-LM综合应用了数据并行（DataParallelism），张量并行（TensorParallelism）和流水线并行（PipelineParallelism）来复现GPT-3.在自然语言处理
舒克与贝克·2023-08-27 05:46

【Megatron-DeepSpeed】张量并行工具代码mpu详解(四)：张量并行版Embedding层及交叉熵的实现及测试

相关博客【Megatron-DeepSpeed】张量并行工具代码mpu详解(四)：张量并行版Embedding层及交叉熵的实现及测试【Megatron-DeepSpeed】张量并行工具代码mpu详解(三
BQW_·2023-08-14 04:54

学术论文GPT源码解读：从chatpaper、chatwithpaper到gpt_academic

、Alpaca、ChatGLM-6B、deepspeedchat、transformer、langchain、langchain-chatglm知识库准备做的：chatpaper、deepspeed、Megatron-LM
v_JULY_v·2023-08-13 14:36

【DeepSpeed 教程】四，DeepSpeed ZeRO++博客和代码解析

DeepSpeed-Chat打造类ChatGPT全流程笔记一【DeepSpeed教程翻译】三，在DeepSpeed中使用PyTorchProfiler和FlopsProfilerDeepSpeed结合Megatron-LM
just_sort·2023-07-28 18:46

Megatron-LM：Transformer模型专用分布式张量模型并行方法

论文标题：Megatron-LM:TrainingMulti-BillionParameterLanguageModelsUsingModelParallelism论文链接：https://arxiv.org
酷酷的群·2023-07-25 20:43

【Megatron-DeepSpeed】张量并行工具代码mpu详解(二)：Collective通信操作的封装mappings

相关博客【Megatron-DeepSpeed】张量并行工具代码mpu详解(一)：并行环境初始化【Megatron-DeepSpeed】张量并行工具代码mpu详解(二)：Collective通信操作的封装
BQW_·2023-07-17 05:44

大模型训练框架Megatron原理系列转载

原文：[源码解析]模型并行分布式训练Megatron(1)---论文&基础https://www.cnblogs.com/rossiXYZ/p/15840803.html目录[源码解析]模型并行分布式训练
张博208·2023-06-22 04:52

EasyNLP开源｜中文NLP+大模型落地，EasyNLP is all you need

作者|临在、岑鸣、熊兮来源|阿里开发者公众号一导读随着BERT、Megatron、GPT-3等预训练模型在NLP领域取得瞩目的成果，越来越多团队投身到超大规模训练中，这使得训练模型的规模从亿级别发展到了千亿甚至万亿的规模
·2023-06-17 14:22

DeepSpeed零冗余优化器Zero Redundancy Optimizer

训练万亿级模型使用ZeRO-Infinity卸载到CPU和NVMe分配MassiveMegatron-LM模型以内存为中心的平铺注册外部参数提取权重如果您还没有这样做，我们建议您在逐步完成本教程之前先阅读有关入门和Megatron-LMGPT
AI生成曾小健·2023-06-17 02:56

DeepSpeed结合Megatron-LM训练GPT2模型笔记（上）

文章目录0x0.前言0x1.Megatron使用单卡训练GPT2依赖安装准备训练数据训练详细流程和踩坑0x2.Megatron使用单卡预测训练好的GPT2模型0x3.参数量和显存估计参数量估计训练显存占用估计
just_sort·2023-06-16 07:37

【DeepSpeed 教程翻译】二，Megatron-LM GPT2，Zero Redundancy Optimizer 和 ZeRO-Offload

文章目录0x0.前言0x1.Megatron-LMGPT2使用原始的Megatron-LM训练GPT2设置训练数据运行未修改的Megatron-LMGPT2模型开启DeepSpeed参数解析初始化和训练初始化使用训练
just_sort·2023-06-16 07:37

[细读经典]Megatron论文和代码详细分析(1)

[细读经典]Megatron论文和代码详细分析(1)导航：迷途小书僮：[细读经典]Megatron论文和代码详细分析(2)102赞同·41评论文章正在上传…重新上传取消前言作为一款支持multi-node
AI生成曾小健·2023-06-16 03:36
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他