deepspeed

VSCode：deepspeed调试【.vscode/launch.json配置】

在控制台利用whichdeepspeed找到deepspeed路径：/home/wyr/anaconda3/envs/rlhf/bin/deepspeed{//使用IntelliSense了解相关属性。
u013250861·2025-01-31 10:05

Python 安装库报错 “python setup.py egg_info did not run successfully.“

，我在安装deepspeed报错示例如下：Preparingmetadata(setup.py)...errorerror:subprocess-exited-with-er
SmallerFL·2025-01-27 00:09

Windows 11安装DeepSpeed报错（Unable to pre-compile async_io）已解决

Windows11安装DeepSpeed报错（Unabletopre-compileasync_io）问题解决_pipinstalldeepspeed报错-CSDN博客
day_day_up1·2025-01-26 06:48

LLM-1-chatglm-安装deepspeed报错

安装pipinstalldeepspeed报错Lookinginindexes:https://mirror.baidu.com/pypi/simpleCollectingdeepspeedUsingcachedhttps://mirror.baidu.com/pypi/packages/9f/64/4a3643f61b15dbfec1cab0172f4bdae1d45e1ab3cd73bb060
愚昧之山绝望之谷开悟之坡·2025-01-25 04:27

亲测解决unable to import torch, please install it if you want to pre-compile any deepspeed ops.

这个问题是小虎在win上下载deepspeed导致。原因是windows不支持deepspeed。
狂小虎·2025-01-25 03:50

DeepSpeed 常见问题解决方案

DeepSpeed常见问题解决方案DeepSpeedDeepSpeedisadeeplearningoptimizationlibrarythatmakesdistributedtrainingandinferenceeasy
申晓容Lucille·2025-01-23 06:12

vscode accelerate deepspeed配置

accelerate训练{//UseIntelliSensetolearnaboutpossibleattributes.//Hovertoviewdescriptionsofexistingattributes.//Formoreinformation,visit:https://go.microsoft.com/fwlink/?linkid=830387"version":"0.2.0","c
Ctrl_Cver·2025-01-21 13:31

Windows 11安装DeepSpeed报错（Unable to pre-compile async_io）问题解决

Windows11安装DeepSpeed报错（Unabletopre-compileasync_io）问题解决报错如下Preparingmetadata(setup.py)...errorerror:subprocess-exited-with-error
happy coding·2025-01-18 13:52

LLM系列(4)：通义千问7B在Swift/DeepSpeed上微调秘诀与实战陷阱避坑指南

LLM系列(4)：通义千问7B在Swift/DeepSpeed上微调秘诀与实战陷阱避坑指南阿里云于2023年8月3日开源通义千问70亿参数模型，包括通用模型Qwen-7B以及对话模型Qwen-7B-Chat
汀、人工智能·2024-09-12 00:21

Deepspeed 结合huggingface Trainer实现多机分布式训练

目前工作中只使用了单机多卡做微调训练，为了提升训练效率，特实验多机多卡分布式训练。一、环境准备本试验使用两台机器（manager，worker），操作系统ubuntu22.4，每台机器有4个GPU为了使安装配置统一，使用docker容器，docker的安装这里不做介绍。1.网络配置-创建overlay共享网络初始化集群，在manager机器上运行:dockerswarminit#输出结果:Swar
ningzhao·2024-09-10 17:38

大模型多机多卡脚本实例 - 增量预训练 -accelerate和deepspeed命令多机多卡训练有什么不同

第一步，同步权重ls-l/data/xxx/gpu008/MoeRemake/train/etuning/LLaMA-Factory2/models/xxx-Base-10B-200k-Llama第二步，同步环境：./scp_batch.sh"/data/xxx/miniconda3/envs/etuning4/""/data/vayu/miniconda3/envs/etuning4/"gpu0
AI生成曾小健·2024-09-10 16:33

【DeepSpeed 教程翻译】三，在 DeepSpeed 中使用 PyTorch Profiler做性能调试和Flops Profiler教程翻译

文章目录0x0.前言0x1.在DeepSpeed中使用PyTorchProfiler做性能调试Profile模型训练的循环标记任意代码范围ProfileCPU/GPU的活动Profile内存消耗0x2.
just_sort·2024-09-08 17:39

LLM系列(3)：探索大模型RLHF优化之道：DeepSpeed-Chat超快速入门，对齐训练精度提升一步到位

LLM系列(3)：探索大模型RLHF优化之道：DeepSpeed-Chat超快速入门，对齐训练精度提升一步到位随着ChatGPT的惊艳表现，各类大模型产品如雨后春笋丛出不穷。
汀、人工智能·2024-09-07 04:18

deepspeed 报错 up NCCL communicator and retreiving ncclUniqueId from [0] via c10d key-value store 解决

参考https://github.com/NVIDIA/nccl/issues/708问题使用deepspeed的时候报错RuntimeError:[1]issettingupNCCLcommunicatorandretreivingncclUniqueIdfrom
B站：阿里武·2024-08-24 15:24

DeepSpeed与Megatron的区别和联系

数据并行更牛逼Zero系列的分布式数据并行方案有优化器分片Megatron也做了类似Zero1的优化器分片，但数据并行没有deepspeed强模型并行有更牛逼Me
爱串门的小马驹·2024-08-22 04:16

Windows安装DeepSpeed

文章目录问题描述解决方案AssertionError:Unabletopre-compileasync_io参考文献问题描述DeepSpeed是一款微软推出的深度学习优化库，它使分布式训练和推理变得简单高效
XerCis·2024-02-13 12:30

Windows下安装DeepSpeed

Windows1164bitsVisualStudio2022CUDAv11.8Python3.10PyTorch2.0.0+cu118下载DeepSpeedgitclonehttps://github.com/microsoft/DeepSpeed.git
syson·2024-02-09 19:21

DeepSpeed 搭建碰到的问题

Windows系统来做一些前沿开发，估计连微软自家的孩子们也都鄙视，在Win11下搭建Deepspeed环境，遇到PSC:\WINDOWS\system32>pipinstalldeepspeedCollectingdeepspeedDownloadingdeepspeed
汤圆爸爸·2024-02-09 19:51

Window系统安装deepspeed库

直接在conda环境中安装deepspeed会报错：pipinstalldeepspeederror:subprocess-exited-with-error×pythonsetup.pyegg_infodidnotrunsuccessfully
不在摆烂·2024-02-09 19:21

LLaMA 模型和DeepSpeed 框架联系与使用

2.DeepSpeed框架介绍DeepSpeed是一个开源深度
samoyan·2024-02-05 13:28

使用deepspeed继续训练LLAMA

目录1.数据训练配置2.模型载入3.优化器设置4.DeepSpeed设置5.DeepSpeed初始化6.模型训练LLAMA模型子结构：1.数据训练配置利用PyTorch和Transformers库创建数据加载器
samoyan·2024-02-05 13:58

大模型LORA微调总结

大模型LORA微调总结大模型微调总结模型加载使用deepspeed不使用deepspeed使用lora加载分词器数据加载构建source和target构建input_ids和labels标签补齐构建训练器
江小皮不皮·2024-02-03 15:48

语言大模型的分布式训练与高效微调指南

原文：语言大模型的分布式训练与高效微调指南-知乎目录收起1分布式训练2ZeRO驱动的数据并行3全分片数据并行4实现5高效微调6实践指南7关于DeepSpeed和FSDP的更多内容OneFlow编译翻译｜
javastart·2024-01-28 05:20

大语言模型分布式训练技术原理

分布式训练技术原理数据并行FSDPFSDP算法是由来自DeepSpeed的ZeroRedundancyOptimizer技术驱动的，但经过修改的设计和实现与PyTorch的其他组件保持一致。
三更科技公社·2024-01-27 19:52

GLM国产大模型训练加速

相比原始的基于PyTorch、DeepSpeed、Apex的GLM实现，OneFlow的性
百度_开发者中心·2024-01-24 16:43

LLM包含的知识

ZeRO的三个级别、Deepspeed理论与实战等等是必备
AI知识图谱大本营·2024-01-22 22:23

【Deepspeed-DeepSpeedZeroOptimizer-01】ZeRO源码精读01：DeepSpeedZeroOptimizer（ZeRO-1，ZeRO-2）

ZeRO-1，分区优化器状态ZeRO-2，在1的基础上分区梯度至于为什么没有把ZeRO-3一起写，暂时不清楚Deepspeed团队的设计，ZeRO3是在一个单独的文件中的，我们将
陈超帅·2024-01-22 10:30

DeepSpeed通过系统优化加速大模型推理

原文地址：DeepSpeed:Acceleratinglarge-scalemodelinferenceandtrainingviasystemoptimizationsandcompression原文作者
嵌入式视觉·2024-01-19 03:13

深度学习：大规模模型分布式训练框架DeepSpeed

深度学习：大规模模型分布式训练框架DeepSpeedDeepSpeed简介DeepSpeed核心特点DeepSpeed如何工作？DeepSpeed如何使用？
AI Player·2024-01-16 12:31

nvcc找不到导致安装deepspeed错误

nvcc找不到会导致安装不了deepspeed需要先安装nvcc，安装命令：一定要加后面的-cconda-forge才能好使condainstallcuda-nvcc-cconda-forge网上有教程是
ALisa*·2024-01-11 17:32

LLaMA Efficient Tuning

GPU训练train_bash1、预训练pt2、指令监督微调sft3、奖励模型训练rm4、PPO训练ppo5、DPO训练dpo多GPU分布式训练1、使用HuggingfaceAccelerate2、使用DeepSpeed
小田_·2024-01-10 07:22

深度学习中的稀疏注意力

Single-HeadAttention）2.多头注意力（Multi-HeadAttention）3.稀疏注意力（SparseAttention）二、稀疏注意力的示意图三、与FlashAttention的区别总结一、稀疏注意力的特点DeepSpeed
JOYCE_Leo16·2024-01-07 20:15

增量预训练经验积累（3）

1、BLOOM与Megatron-DeepSpeed1.1BLOOM训练细节BLOOM的模型架构与GPT3非常相似，只是增加了一些改进，176BBLOOM模型的训练于2022年3月至7月期间，耗时约3.5
GUANYX~·2024-01-03 22:51

多机多卡分布式训练

1.环境搭建分布式训练框架：accelerate+deepspeed+pdsh(可有可无)基础环境：cuda、显卡驱动、pytorch1.1安装相关包cuda安装：参考官网安装步骤wgethttps:/
china_xin1·2023-12-31 07:46

基于DeepSpeed对 llama2-7b的LORA精调

DeepSpeed数据并行研究1.技术调研a.DeepSpeedDeepSpeed是一个开源深度学习训练优化库，其中包含一个新的显存优化技术——ZeRO（零冗余优化器）。
Charles_yy·2023-12-21 21:32

AIGC - Qwen大模型：Qwen-7B模型推理部署

身边也没有其他的带显卡电脑恰好，在腾讯云看到了GN7的显示优惠活动，60块钱15天，NvidiaT4的AI卡，直接斥巨资购买了15天；不过这段时间准备搭一台自己用的服务器，初步计划是可以插4块GPU，内存上到200G，还是用DeepSpeed
有意思科技·2023-12-18 02:47

一些意外的bug

__file__若import的包名与pip安装的包的路径不一致，则copy过去具体：1、keyllamaerrortransformers问题，需安装4.282、deepspeed没有adam_cuda
一条水里的鱼·2023-12-16 09:32

deepspeed使用vscode进行远程调试debug环境配置与解读

如何生成可参考右边的帮助文档文章目录前言一、vscode命令参数传递1、验证参数py文件#2、第一种vscode调用方法(launch.json配置)#3、第二种vscode调用方法(launch.json配置)二、deepspeed
tangjunjun-owen·2023-12-15 01:40

torch.distributed.init_process_group()详细说明(RANK/WORLD_SIZE)

WORLD_SIZE说明3、LOCAL_RANK说明三、环境变量与应用1、使用系统环境配置2、init_process_group直接配置3、多个进程应用（world_size=2）四、模型应用前言最近在研究deepspeed
tangjunjun-owen·2023-12-15 01:10

从零开始训练一个ChatGPT大模型（低资源，1B3）

macrogpt-prertrain大模型全量预训练(1b3),多卡deepspeed/单卡adafactor源码地址：https://github.com/yongzhuo/MacroGPT-Pretrain.git
Macropodus·2023-12-06 13:54

用通俗的方法讲解：大模型微调训练详细说明（附理论+实践代码）

介绍了使用deepspeed和LoRA进行大模型训练的相关代码。给出了petals的介绍，它可以将模型划分为多个块，每个用户的机器负责其中一块，分摊了计算压力。
Python算法实战·2023-12-05 11:04

周报8_YMK

ExtremelyEfficientCollectiveCommunicationforGiantModelTraining（https://arxiv.org/pdf/2306.10209.pdf）是微软DeepSpeed
YMK_0·2023-12-03 14:57

LLM 分布式训练框架 | DeepSpeed与Accelerate

简单记录下根据网上资料（如Reference中所列）所学到的一些知识，这里主要介绍的是deepspeed分布式训练框架相关概念。
#苦行僧·2023-11-30 23:40

保姆级LLM训练教程：阿里云平台使用accelerate,deepspeed多机多卡训练Chatglm2-6B

我看网上的教程，都基本上可能他们自己都能调通，但是，很多细节都没有给出，包括决定成败的因素：机器之间的免密连接。如果之前做过分布式集群搭建的，这肯定是难不倒他们的，但是对于一个普通的小白，如何从0到1去搭建多机多卡训练是个很大的难题，我也走了不少的坑，如果对大家有帮助请给一个小小的关注。第一步设备环境选择服务器首先，实验环境，我选择的是阿里云的两台服务器，选择ECS服务器。服务器的话，可以选择抢占
小鸡不简单·2023-11-28 09:13

DeepSpeed-Chat 打造类ChatGPT全流程 笔记一

这篇文章主要是对DeepSpeedChat的功能做了一些了解，然后翻译了几个主要的教程了解了一些使用细节。最后在手动复现opt-13b做actor模型，opt-350m做reward模型进行的chatbot全流程训练时，踩了一些坑也分享出来了。最后使用训练后的模型做serving展示了一下对话效果并简要分析了一下chatbot的推理代码。后续，我会尝试深入到DeepSpeedChat的三个训练阶段
just_sort·2023-11-25 09:52

pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed模型训练

pytorch单精度、半精度、混合精度、单卡、多卡（DP/DDP）、FSDP、DeepSpeed（环境没搞起来）模型训练代码，并对比不同方法的训练速度以及GPU内存的使用代码：pytorch_model_trainFairScale
胖胖大海·2023-11-21 03:02

Accelerate 0.24.0文档 二：DeepSpeed集成

文章目录一、DeepSpeed简介二、DeepSpeed集成（Accelerate0.24.0）2.1DeepSpeed安装2.2AccelerateDeepSpeedPlugin2.2.1ZeROStage
神洛华·2023-11-17 06:34

Extreme-scale model training

我们于今年2月份发布了DeepSpeed。
张博208·2023-11-17 04:03

DeepSpeed的hostfile文件

文章目录一.hostfile文件二.linux别名创建2.1使用SSH配置文件三.参考文档一.hostfile文件DeepSpeed多机多卡训练时，需要配置hostfile文件，hostfile文件是一个主机名
cv_lhp·2023-11-17 02:36

【NLP】DeepSpeed-FastGen：通过 MII 和 DeepSpeed-Inference 为LLM生成高通量文本

虽然DeepSpeed、PyTorch等框架可以在LLM训练期间定期实现良好的硬件利用率，但这些应用程序的交互性和开放式文本生成等任务的较差算术强度已成为现有系统中推理吞吐量的瓶颈。为此，由Pa
Sonhhxg_柒·2023-11-11 06:42
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他