DeepSpeed

大模型分布式训练deepspeed环境搭建

1.deepspeed介绍1.1简介DeepSpeed是一个由微软开发的开源深度学习优化库，旨在提高大规模模型训练的效率和可扩展性。

transformer变压器·2025-06-24 20:25

DeepSpeed 深度学习学习笔记：高效训练大型模型

主要参考官网文档，对于具体内容还需参考官方文档1.引言：为什么需要DeepSpeed？

·2025-06-22 14:16

π0.5与π0区别

今天详细的阅读了π0与π0.5的论文，让deepspeed帮总结了一下区别，我发现总结得太好了，肯定比我总结的好，也挺准确，直接发在这里，供未来复习。

持续学习的程序员+1·2025-06-18 23:30

五大主流大模型推理引擎深度解析：llama.cpp、vLLM、SGLang、DeepSpeed和Unsloth的终极选择指南

在人工智能的竞技场上，大模型推理框架就像是为超级跑车精心调校的引擎系统——选对了能让你的AI应用一骑绝尘，选错了可能连"停车场"都开不出去。这些框架的核心价值在于将训练好的"大脑"转化为实际可用的"肌肉记忆"，而选择标准则需要像职业赛车手挑选装备般精准。在人工智能的竞技场上，大模型推理框架就像是为超级跑车精心调校的引擎系统——选对了能让你的AI应用一骑绝尘，选错了可能连"停车场"都开不出去。这些框

我就是全世界·2025-06-07 18:37

大模型微调指南之 LLaMA-Factory 篇：一键启动LLaMA系列模型高效微调

文章目录一、简介二、如何安装2.1安装2.2校验三、开始使用3.1可视化界面3.2使用命令行3.2.1模型微调训练3.2.2模型合并3.2.3模型推理3.2.4模型评估四、高级功能4.1分布训练4.2DeepSpeed4.2.1

CodeSilence·2025-05-11 19:10

llamafactory-cli cuda 显存动不动不够的一个解决办法

其实关键就是使用deepspeed以及各种参数调整。以下是使用deepspeed的命令，记一笔为了以后改参数。

取啥都被占用·2025-05-11 18:35

探索开源大模型体系：当今AI的引领者

目录1.HuggingFaceTransformers2.OpenAIGPT3.DeepSpeed4.Megatron-LM5.AllenNLP总结在当今人工智能的迅猛发展中，大模型（LargeModel

一叶千舟·2025-05-07 00:21

大模型时代开发者，谁最吃香？

技能：深度学习理论、分布式训练框架（Megatron-LM、DeepSpeed）、领域迁移学习

程序员差不多先生·2025-04-29 04:28

大模型面经 | DeepSpeed中ZeRO-1、ZeRO-2和ZeRO-3的区别是什么？

皮先生!·2025-04-23 06:55

DeepSpeed多卡训练问题梳理

环境背景内网centos8.3_x86_64环境gcc版本8.3.1python版本3.8nvidia驱动对应cuda版本为11.6（通过nvida-smi可以获取）cudatoolkit版本为11.3（通过nvcc-V可以获取）依赖安装由于内网环境没有网络，需要通过外网执行以下命名获取所有的依赖库以及依赖的依赖并导入内网。pipdownload-rrequirement.txt-d./在内网通过

1lI·2025-04-13 11:51

老婆问我：“大模型的参数到底是什么东西？”

以DeepSpeed-R1最大版本为例，它有671B个参数（B代表十亿）。你可以把这些参数想象成一张巨大的网格，每个网格中都存储着一个数值。

·2025-03-31 15:54

如何提升大模型的训练效率deepspeed 和 flash attition

DeepSpeed详解核心特性1.ZeRO（零冗余优化器）通过消除数据并行训练中的内存冗余，显著降低模型参数、梯度和优化器状态的内存占用。

冰蓝蓝·2025-03-28 07:30

DeepSpeed-Chat：Reward Model【奖励模型】

第二阶段：奖励模型微调奖励模型(RM)微调类似于第一阶段有监督微调(SFT)。但是，RM和SFT微调之间存在几个关键差异：训练数据差异：对于SFT微调，数据是查询（query）和答案（answer）拼接在一起。然而，对于RM微调，每批数据由两个查询-答案对组成，即具有高分答案和低分答案的相同查询。这也导致了如下所述的第二个差异。训练目标差异：对于RW，训练目标是pairwiserankingsco

u013250861·2025-03-22 13:31

一步到位！7大模型部署框架深度测评：从理论到DeepSeek R1:7B落地实战

本文深入解析主流模型部署框架（Transformers、ModelScope、vLLM、LMDeploy、Ollama、SGLang、DeepSpeed），结合其技术原理、优缺点及适用场景，并提供DeepSeekR1

人肉推土机·2025-03-22 05:12

Megatron-LM训练框架和Deepspeed训练框架最主要的异同和优劣是什么

DeepSpeed核心：ZeRO优化技术（ZeroRedundancyOptimize

强化学习曾小健·2025-03-19 09:15

ChatGPT智能聊天机器人实现

云端源想·2025-03-17 14:57

【大模型开发】深入解析 DeepSpeed：原理、核心技术与示例代码

深入解析DeepSpeed：原理、核心技术与示例代码DeepSpeed是由微软开源的高性能深度学习训练优化引擎，专注于帮助研究人员和工程团队在分布式环境中高效地训练超大规模模型。

云博士的AI课堂·2025-03-11 08:57

【大模型开发】大模型背后的基础组件与生态概览

本文将介绍其中几大核心组件和框架，包括HuggingFaceTransformers、DeepSpeed、Megatron-LM，以及其他相关工具和方法，展示它们在训练效率

云博士的AI课堂·2025-03-11 08:56

transformers.deepspeed

报错：nomodulenamedtransformers.deepspeed原因：版本更新后，已取消transformers.deepspeed新版本中更改为transformers.integrations.deepspeed

icesord·2025-03-03 02:56

什么是语料清洗、预训练、指令微调、强化学习、内容安全；什么是megatron，deepspeed，vllm推理加速框架

什么是语料清洗、预训练、指令微调、强化学习、内容安全目录什么是语料清洗、预训练、指令微调、强化学习、内容安全语料清洗预训练指令微调强化学习内容安全什么是megatron，deepspeed，vllm推理加速框架语料清洗语料清洗是对原始文本数据进行处理的过程

ZhangJiQun&MXP·2025-02-21 19:45

DeepSpeed Chat大模型训练【训练类ChatGPT 的大模型】

第1章：DeepSpeed-Chat模型训练实战本章内容介绍如何使用微软最新发布的DeepSpeedChat来训练类ChatGPT的大模型。通过本章内容，你将了解：DS-Chat是什么？

u013250861·2025-02-20 23:40

DeepSeek和ChatGPT的全面对比

/35B/120B闭源175B+位置编码RoPE+NTK扩展ALiBiAttention机制FlashAttention-3FlashAttention-2激活函数SwiGLUProGeGLU训练框架DeepSpeed

陈皮话梅糖@·2025-02-20 12:00

DeepSpeed 在三台T4卡上部署deepseek-r1:32b

如果你只需要使用DeepSpeed在三台T4卡上部署deepseek-r1:32b模型进行推理，而不进行训练，可以按照以下步骤进行部署。推理部署的重点是利用多台机器和多块GPU来加速模型的推理过程。

MonkeyKing.sun·2025-02-10 14:33

大规模语言模型从理论到实践 DeepSpeed实践

大规模语言模型从理论到实践DeepSpeed实践文章目录大规模语言模型从理论到实践DeepSpeed实践1.背景介绍1.1大规模语言模型的兴起1.2训练和部署LLM的挑战1.3DeepSpeed：赋能LLM

AI天才研究院·2025-02-06 01:59

VSCode：deepspeed调试【.vscode/launch.json配置】

在控制台利用whichdeepspeed找到deepspeed路径：/home/wyr/anaconda3/envs/rlhf/bin/deepspeed{//使用IntelliSense了解相关属性。

u013250861·2025-01-31 10:05

Python 安装库报错 “python setup.py egg_info did not run successfully.“

，我在安装deepspeed报错示例如下：Preparingmetadata(setup.py)...errorerror:subprocess-exited-with-er

SmallerFL·2025-01-27 00:09

Windows 11安装DeepSpeed报错（Unable to pre-compile async_io）已解决

Windows11安装DeepSpeed报错（Unabletopre-compileasync_io）问题解决_pipinstalldeepspeed报错-CSDN博客

day_day_up1·2025-01-26 06:48

LLM-1-chatglm-安装deepspeed报错

安装pipinstalldeepspeed报错Lookinginindexes:https://mirror.baidu.com/pypi/simpleCollectingdeepspeedUsingcachedhttps://mirror.baidu.com/pypi/packages/9f/64/4a3643f61b15dbfec1cab0172f4bdae1d45e1ab3cd73bb060

愚昧之山绝望之谷开悟之坡·2025-01-25 04:27

亲测解决unable to import torch, please install it if you want to pre-compile any deepspeed ops.

这个问题是小虎在win上下载deepspeed导致。原因是windows不支持deepspeed。

狂小虎·2025-01-25 03:50

DeepSpeed 常见问题解决方案

DeepSpeed常见问题解决方案DeepSpeedDeepSpeedisadeeplearningoptimizationlibrarythatmakesdistributedtrainingandinferenceeasy

申晓容Lucille·2025-01-23 06:12

vscode accelerate deepspeed配置

accelerate训练{//UseIntelliSensetolearnaboutpossibleattributes.//Hovertoviewdescriptionsofexistingattributes.//Formoreinformation,visit:https://go.microsoft.com/fwlink/?linkid=830387"version":"0.2.0","c

Ctrl_Cver·2025-01-21 13:31

Windows 11安装DeepSpeed报错（Unable to pre-compile async_io）问题解决

Windows11安装DeepSpeed报错（Unabletopre-compileasync_io）问题解决报错如下Preparingmetadata(setup.py)...errorerror:subprocess-exited-with-error

happy coding·2025-01-18 13:52

LLM系列(4)：通义千问7B在Swift/DeepSpeed上微调秘诀与实战陷阱避坑指南

LLM系列(4)：通义千问7B在Swift/DeepSpeed上微调秘诀与实战陷阱避坑指南阿里云于2023年8月3日开源通义千问70亿参数模型，包括通用模型Qwen-7B以及对话模型Qwen-7B-Chat

汀、人工智能·2024-09-12 00:21

Deepspeed 结合huggingface Trainer实现多机分布式训练

目前工作中只使用了单机多卡做微调训练，为了提升训练效率，特实验多机多卡分布式训练。一、环境准备本试验使用两台机器（manager，worker），操作系统ubuntu22.4，每台机器有4个GPU为了使安装配置统一，使用docker容器，docker的安装这里不做介绍。1.网络配置-创建overlay共享网络初始化集群，在manager机器上运行:dockerswarminit#输出结果:Swar

ningzhao·2024-09-10 17:38

大模型多机多卡脚本实例 - 增量预训练 -accelerate和deepspeed命令多机多卡训练有什么不同

第一步，同步权重ls-l/data/xxx/gpu008/MoeRemake/train/etuning/LLaMA-Factory2/models/xxx-Base-10B-200k-Llama第二步，同步环境：./scp_batch.sh"/data/xxx/miniconda3/envs/etuning4/""/data/vayu/miniconda3/envs/etuning4/"gpu0

AI生成曾小健·2024-09-10 16:33

【DeepSpeed 教程翻译】三，在 DeepSpeed 中使用 PyTorch Profiler做性能调试和Flops Profiler教程翻译

文章目录0x0.前言0x1.在DeepSpeed中使用PyTorchProfiler做性能调试Profile模型训练的循环标记任意代码范围ProfileCPU/GPU的活动Profile内存消耗0x2.

just_sort·2024-09-08 17:39

LLM系列(3)：探索大模型RLHF优化之道：DeepSpeed-Chat超快速入门，对齐训练精度提升一步到位

LLM系列(3)：探索大模型RLHF优化之道：DeepSpeed-Chat超快速入门，对齐训练精度提升一步到位随着ChatGPT的惊艳表现，各类大模型产品如雨后春笋丛出不穷。

汀、人工智能·2024-09-07 04:18

deepspeed 报错 up NCCL communicator and retreiving ncclUniqueId from [0] via c10d key-value store 解决

参考https://github.com/NVIDIA/nccl/issues/708问题使用deepspeed的时候报错RuntimeError:[1]issettingupNCCLcommunicatorandretreivingncclUniqueIdfrom

B站：阿里武·2024-08-24 15:24

DeepSpeed与Megatron的区别和联系

数据并行更牛逼Zero系列的分布式数据并行方案有优化器分片Megatron也做了类似Zero1的优化器分片，但数据并行没有deepspeed强模型并行有更牛逼Me

爱串门的小马驹·2024-08-22 04:16

Windows安装DeepSpeed

文章目录问题描述解决方案AssertionError:Unabletopre-compileasync_io参考文献问题描述DeepSpeed是一款微软推出的深度学习优化库，它使分布式训练和推理变得简单高效

XerCis·2024-02-13 12:30

Windows下安装DeepSpeed

Windows1164bitsVisualStudio2022CUDAv11.8Python3.10PyTorch2.0.0+cu118下载DeepSpeedgitclonehttps://github.com/microsoft/DeepSpeed.git

syson·2024-02-09 19:21

DeepSpeed 搭建碰到的问题

Windows系统来做一些前沿开发，估计连微软自家的孩子们也都鄙视，在Win11下搭建Deepspeed环境，遇到PSC:\WINDOWS\system32>pipinstalldeepspeedCollectingdeepspeedDownloadingdeepspeed

汤圆爸爸·2024-02-09 19:51

Window系统安装deepspeed库

直接在conda环境中安装deepspeed会报错：pipinstalldeepspeederror:subprocess-exited-with-error×pythonsetup.pyegg_infodidnotrunsuccessfully

不在摆烂·2024-02-09 19:21

LLaMA 模型和DeepSpeed 框架联系与使用

2.DeepSpeed框架介绍DeepSpeed是一个开源深度

samoyan·2024-02-05 13:28

使用deepspeed继续训练LLAMA

目录1.数据训练配置2.模型载入3.优化器设置4.DeepSpeed设置5.DeepSpeed初始化6.模型训练LLAMA模型子结构：1.数据训练配置利用PyTorch和Transformers库创建数据加载器

samoyan·2024-02-05 13:58

大模型LORA微调总结

大模型LORA微调总结大模型微调总结模型加载使用deepspeed不使用deepspeed使用lora加载分词器数据加载构建source和target构建input_ids和labels标签补齐构建训练器

江小皮不皮·2024-02-03 15:48

语言大模型的分布式训练与高效微调指南

原文：语言大模型的分布式训练与高效微调指南-知乎目录收起1分布式训练2ZeRO驱动的数据并行3全分片数据并行4实现5高效微调6实践指南7关于DeepSpeed和FSDP的更多内容OneFlow编译翻译｜

javastart·2024-01-28 05:20

大语言模型分布式训练技术原理

分布式训练技术原理数据并行FSDPFSDP算法是由来自DeepSpeed的ZeroRedundancyOptimizer技术驱动的，但经过修改的设计和实现与PyTorch的其他组件保持一致。

三更科技公社·2024-01-27 19:52

GLM国产大模型训练加速

相比原始的基于PyTorch、DeepSpeed、Apex的GLM实现，OneFlow的性

百度_开发者中心·2024-01-24 16:43

LLM包含的知识

ZeRO的三个级别、Deepspeed理论与实战等等是必备

AI知识图谱大本营·2024-01-22 22:23

推荐频道