DeepSpeed

大模型微调实践

模型训练参考源：https://zhuanlan.zhihu.com/p/620885226#Chatglm-6B%E6%A8%A1%E5%9E%8B%E5%BE%AE%E8%B0%83大模型微调的工具包有：deepspeed
YingJingh·2023-06-24 05:10

[论文笔记] chatgpt系列 2.1 DeepSpeed-chat 简介

DeepSpeedExamples/applications/DeepSpeed-Chatatmaster·microsoft/DeepSpeedExamples·GitHubDeepSpeed-Chat
心心喵·2023-06-20 12:55

2022年8月的10篇论文推荐

很久没有推荐论文了，但是在推荐新论文之前，首先推荐一个新闻：谷歌分享了公司内部如何使用代码生成案例，3%的新代码是由语言模型(LanguageModel)、DeepSpeed(DeepSpeed)编写的
·2023-06-18 10:48

[DeepSpeed]初代chatGPT模型部署实践

DeepSpeedChat部署方式中间遇到很多坑，解决方法都写这里了DeepSpeed部署中bug以及解决方法环境基于阿里云GPU云服务器部署实践操作系统版本：Ubuntu18.04GPU驱动版本：470.161.03GPU
编程牧马人·2023-06-17 11:19

重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！

（开源地址：https://github.com/microsoft/DeepSpeed）据悉，DeepSpeedChat是基于微软DeepSpeed深度学习优化库开发而成，具备训练、强化推理等功能，还使用了
手把手教你学AI·2023-06-17 03:27

微软开源深度学习优化库 DeepSpeed，可训练 1000 亿参数的模型

微软日前开源了一个深度学习优化库DeepSpeed，通过提高规模、速度、可用性并降低成本，可以在当前一代的GPU集群上训练具有超过1000亿个参数的深度学习模型，极大促进大型模型的训练。
寒冰屋·2023-06-17 02:28

DeepSpeed零冗余优化器Zero Redundancy Optimizer

卸载到CPU和NVMe分配MassiveMegatron-LM模型以内存为中心的平铺注册外部参数提取权重如果您还没有这样做，我们建议您在逐步完成本教程之前先阅读有关入门和Megatron-LMGPT-2的DeepSpeed
AI生成曾小健·2023-06-17 02:56

DeepSpeed结合Megatron-LM训练GPT2模型笔记（上）

文章目录0x0.前言0x1.Megatron使用单卡训练GPT2依赖安装准备训练数据训练详细流程和踩坑0x2.Megatron使用单卡预测训练好的GPT2模型0x3.参数量和显存估计参数量估计训练显存占用估计0x4.Megatron使用多卡训练GPT2模型2卡数据并行2卡模型并行0x5.总结0x0.前言本文基于DeepSpeedExamples仓库中给出的Megatron相关例子探索一下训练GPT
just_sort·2023-06-16 07:37

【DeepSpeed 教程翻译】二，Megatron-LM GPT2，Zero Redundancy Optimizer 和 ZeRO-Offload

文章目录0x0.前言0x1.Megatron-LMGPT2使用原始的Megatron-LM训练GPT2设置训练数据运行未修改的Megatron-LMGPT2模型开启DeepSpeed参数解析初始化和训练初始化使用训练
just_sort·2023-06-16 07:37

【DeepSpeed 教程翻译】一，Getting Started ，Installation Details 和 CIFAR-10 Tutorial

本文翻译了GettingStarted和InstallationDetails和CIFAR-10Tutorial三个教程，可以让新手安装和简单使用上DeepSpeed来做模型训练。
just_sort·2023-06-16 07:37

一键式 RLHF 训练 DeepSpeed Chat（二）：实践篇

一键式RLHF训练DeepSpeedChat（二）：实践篇之前给大家分享了一键式RLHF训练DeepSpeedChat（一）：理论篇，本文给大家分享如何使用DeepSpeedChat进行RLHF训练。DeepSpeedChat的RLHF训练流程包括三个主要阶段：第一阶段：监督微调（SFT）——使用精选的人类回答来微调预训练的语言模型以应对各种查询（query）；第二阶段：奖励模型微调——使用一个包
AI生成曾小健·2023-06-15 10:49

InstructGLM:基于ChatGLM-6B在指令数据集上进行微调

InstructGLM本项目主要内容：2023/4/9发布了基于100万条由BELLE项目生成的中文指令数据的Lora权重，具体可见output/belle/chatglm-lora.pt2023/4/8基于deepspeed
致Great·2023-06-12 09:47

大模型（LLM）训练微调综述学习

介绍使用deepspeed和LoRA进行大模型训练的相关代码。给出petals的介绍，它可以将模型划分为多个块，每个用户的机器负责其中一块，分摊了计算压力。
桂花很香,旭很美·2023-04-21 16:07

DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍

DeepSpeedChat:一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍1.概述近日来，ChatGPT及类似模型引发了人工智能（AI）领域的一场风潮。这场风潮对数字世界产生了革命性影响。ChatGPT类模型具有惊人的泛用性，能够执行归纳、编程、翻译等任务，其结果与人类专家相当甚至更优。为了使ChatGPT等模型的训练和部署更轻松，AI开源社区进行了各种尝试（例如ChatLLa
·2023-04-19 11:34

DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍

DeepSpeedChat:一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍1.概述近日来，ChatGPT及类似模型引发了人工智能（AI）领域的一场风潮。这场风潮对数字世界产生了革命性影响。ChatGPT类模型具有惊人的泛用性，能够执行归纳、编程、翻译等任务，其结果与人类专家相当甚至更优。为了使ChatGPT等模型的训练和部署更轻松，AI开源社区进行了各种尝试（例如ChatLLa
汀、人工智能·2023-04-19 06:46

微软震撼开源DeepSpeed Chat，一键实现ChatGPT的端到端RLHF训练

编｜Aeneas好困源｜新智元微软开源的DeepSpeedChat，让开发者实现了人手一个ChatGPT的梦想！人手一个ChatGPT的梦想，就要实现了？刚刚，微软开源了一个可以在模型训练中加入完整RLHF流程的系统框架——DeepSpeedChat。也就是说，各种规模的高质量类ChatGPT模型，现在都唾手可得了！▲项目地址：https://github.com/microsoft/DeepSp
夕小瑶·2023-04-16 19:48

微软开源 Deep Speed Chat

DeepSpeedChat是基于微软DeepSpeed深度学习优化库开发而成，具备训练、强化推理等功能，还使用了RLHF（人工反馈机制的强化学习）技术，可将训练速度提升15倍以上，成本却大幅度降低。
CSDN 程序人生·2023-04-14 09:22

开源模型bloomz可以做哪些中文任务？

运行环境：腾讯云P40（24G），deepspeed，transformers使用模型：bigscience/bloomz-7b1-mt，支持中文推理时GPU占用：14G+1.情感分类-结果是对的2.实体提取
wxl781227·2023-04-04 12:00

使用 DeepSpeed 和 Accelerate 进行超快 BLOOM 模型推理

本文展示了如何使用1760亿(176B)参数的BLOOM模型生成文本时如何获得超快的词吞吐(pertokenthroughput)。因为在使用bf16(bfloat16)权重时该模型内存占用为352GB(176*2)，所以最高效的硬件配置是使用8x80GB的A100GPU。也可使用2x8x40GB的A100或者2x8x48GB的A6000。使用这些GPU的主要原因是截至本文成稿时为止它们是能提供最
·2023-01-31 12:45

超大模型分布式训练DeepSpeed教程

DeepSpeed教程项目链接简介deepspeed是微软的新大规模模型分布式训练的工具。专门为训练超大模型而生。号称可以训练10B参数的模型。比目前最好的模型大10倍，训练速度块10倍。
相知无悔·2023-01-30 20:49

Megatron-Deepspeed 预训练 GPT-小白踩坑与解决

Megatron-Deepspeed预训练GPT-小白踩坑与解决记录在使用megatrondeepspeed训练大模型gpt时，遇到的坑1.成功运行的最终步骤1.1配置分布式环境：1.1.1硬件配置：3090
Chenql716·2023-01-30 20:18

DeepSpeed系列 -- 1 - 初识DeepSpeed

本文为DeepSpeed的入门介绍，通过以下维度帮助各位看官了解什么是DeepSpeed:What:DeepSpeed是什么？Why:DeepSpeed解决了什么痛点？
律白·2023-01-30 20:18

在Huggingface Transformers中使用DeepSpeed加速训练

Transformers支持多种加速库，例如Fairseq使用的FairScale，这里只是使用了DeepSpeed，但加速方法不只一种1.DeepSpeedDeepSeed是一个针对大规模模型预训练和微调加速的一个库
Chromatica_·2023-01-30 20:48

深度学习大模型训练--分布式 deepspeed PipeLine Parallelism 源码解析

deepspeedPipeLineParallelism源码解析basicconceptPipeDreamabstract1F1B4stepsCodecomprehensionindeepspeedpreparationcodeconvertmodelprofilecomputepartitionruntimebasicconcept2台机器(num_node=2)，每个机器有8个GPU(8ran
Chenql716·2023-01-30 20:48

DeepSpeed使用指南(简略版)

作为传统pytorchDataparallel的一种替代，DeepSpeed的目标，就是为了能够让亿万参数量的模型，能够在自己个人的工作服务器上进行训练推理。
Reza.·2023-01-30 20:47

GPU一机多卡使用

我只简单写写我用的,慢慢积累.我也不可能把这块的东西全弄懂.我只给我自己看.写的很乱,sorry了.使用多显卡的时候会自动均分.比如使用两张卡,一张是7g,一张差不多是6g.反正差不多.使用deepspeed
快去写论文·2023-01-29 16:40

Mantium 如何在 Amazon SageMaker 上使用 DeepSpeed 实现低延迟 GPT-J 推理

前言Mantium（https://mantiumai.com/）是一家全球云平台提供商，致力于构建AI应用程序并对它们进行规模化管理。利用Mantium的端到端开发平台，与传统方式相比，各种规模的企业能更快、更轻松地构建AI应用程序和实现自动化。借助Mantium，技术和非技术团队可采用低代码方式原型设计、开发、测试和部署AI应用程序。通过自动日志记录、监控和安全功能，Mantium还解放了软件
亚马逊云开发者·2023-01-29 07:33

【自然语言处理】【分布式训练及推理】推理工具DeepSpeed-Inference

相关博客【自然语言处理】【分布式训练及推理】推理工具DeepSpeed-Inference【自然语言处理】【chatGPT系列】大语言模型可以自我改进【自然语言处理】【ChatGPT系列】WebGPT：
BQW_·2023-01-29 07:22

英伟达与微软的合作里，藏着未来发展的关键词

而英伟达将使用Azure的可扩展虚拟机实例来研究并进一步加速生成式AI（generativeAI）的发展，两家公司还将合作优化微软的DeepSpeed深度学习优化软件。
DataView数据科技研究院·2022-11-26 02:39

大规模深度学习框架 DeepSpeed 使用指南

最常见的深度学习框架应该是TensorFlow、Pytorch、Keras，但是这些框架在面向大规模模型的时候都不是很方便。比如Pytorch的分布式并行计算框架（DistributedDataParallel，简称DDP），它也仅仅是能将数据并行，放到各个GPU的模型上进行训练。也就是说，DDP的应用场景在你的模型大小大于显卡显存大小时，它就无法使用了，除非你自己再将模型参数拆散分散到各个GPU
Python实用宝典·2022-11-19 20:47

OneFlow的大模型分片保存和加载策略

比如，由DeepSpeed和Megatron驱动的Megatron图灵自然语言生成模型（MT-NLG）具有5300亿个参数，是迄今为止训练过的最大和最强大的单片Transformer语言模型，支持这样的大规模语言模
OneFlow深度学习框架·2022-10-13 15:28

OneFlow的大模型分片保存和加载策略

比如，由DeepSpeed和Megatron驱动的Megatron图灵自然语言生成模型（MT-NLG）具有5300亿个参数，是迄今为止训练过的最大和最强大的单片Transformer语言模型，支持这样的大规模语言模型
·2022-10-08 14:59

ZeRO & DeepSpeed：可以让训练模型拥有超过1000亿个参数的优化（微软）

来源：AINLPer微信公众号编辑:ShuYini校稿:ShuYini时间:2020-2-12论文获取方式：1、官网地址下载：https://arxiv.org/abs/1910.020542、关注AINLPer回复:ZeRO引言    人工智能的最新趋势是拥有更大的自然语言模型提供更好的准确性。但是，由于成本、时间和代码集成简单(没有对代码进行专门的优化)，这将导致较大的模型很难训练。微软发布了
yinizhilianlove·2022-08-24 07:49

2022年8月的10篇论文推荐

很久没有推荐论文了，但是在推荐新论文之前，首先推荐一个新闻：谷歌分享了公司内部如何使用代码生成案例，3%的新代码是由语言模型(LanguageModel)、DeepSpeed(DeepSpeed)编写的
deephub·2022-08-12 07:25

2022年8月的10篇论文推荐

很久没有推荐论文了，但是在推荐新论文之前，首先推荐一个新闻：谷歌分享了公司内部如何使用代码生成案例，3%的新代码是由语言模型(LanguageModel)、DeepSpeed(DeepSpeed)编写的
·2022-08-10 11:06

一块英伟达3090单挑180亿参数大模型，国产开源项目这回杀疯了

相比于PyTorch和业界主流的DeepSpeed方法，提升参数容量能达到10多倍。而且这种方法完全开源，只需要
QbitAl·2022-05-21 07:39

找分布式工作复习学习系列---市面分布式框架解析之Deepspeed（二）

一、Deepspeed核心是zero优化器1、总览微软开发ZeRO是为了克服数据并行性和模型并行性的限制，同时实现两者的优点。
加油11dd23·2021-09-28 22:54

微软开源深度学习优化库 DeepSpeed 连登 GitHub 趋势榜！

微软在宣布这一消息的同时，还开源了训练T-NLG背后的技术：DeepSpeed，该库中包括新型并行优化器ZeRO。而从本周四开始，Dee
CSDN资讯·2020-07-27 20:47

如何优雅地训练大型模型？

前阵子微软开源了DeepSpeed训练框架，从测试效果来看有10倍的速度提升，而且对内存进行了各种优化，最大可以训练100B(illion)参数的模型。
Datawhale·2020-07-14 00:29

AI 四巨头 Google、DeepMind、Microsoft、Uber 深度学习框架大比拼

GPipe、Horovod、TFReplicator和DeepSpeed分别是这四家公司开发应用的深度学习框架，它们结合了深度学习研究及其基础设施的前沿技术，以提高深度学习模型的训练效率。
CSDN资讯·2020-06-20 20:20

170 亿参数！微软对内发布最强模型 Turing-NLG

通过DeepSpeed深度学习库，以及ZeRO优化的技术带来的突破，这个庞大的模型得以被训练而出。而在多项基准测试方面，Turing-NLG也达到了最优异的水平。
HyperAI超神经·2020-02-12 14:17

微软开源深度学习优化库 DeepSpeed，可训练 1000 亿参数的模型

微软日前开源了一个深度学习优化库DeepSpeed，通过提高规模、速度、可用性并降低成本，可以在当前一代的GPU集群上训练具有超过1000亿个参数的深度学习模型，极大促进大型模型的训练。
itwriter·2020-02-12 10:00

微软分享史上最大基于Transformer架构的语言生成模型

微软AI＆Research今天分享了有史以来最大的基于Transformer架构的语言生成模型TuringNLG（下文简称为T-NLG），并开源了一个名为DeepSpeed的深度学习库，以简化对大型模型的分布式培训
喜欢打酱油的老鸟·2020-02-11 09:29

微软分享史上最大基于Transformer架构的语言生成模型

作者：周蕾微软AI＆Research今天分享了有史以来最大的基于Transformer架构的语言生成模型TuringNLG（下文简称为T-NLG），并开源了一个名为DeepSpeed的深度学习库，以简化对大型模型的分布式培训
itwriter·2020-02-11 09:00
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他