multi-GPU

PyTorch深度学习实战（26）—— PyTorch与Multi-GPU

当拥有多块GPU时，可以利用分布式计算（DistributedComputation）与并行计算（ParallelComputation）的方式加速网络的训练过程。在这里，分布式是指有多个GPU在多台服务器上，并行指一台服务器上的多个GPU。在工作环境中，使用这两种方式加速模型训练是非常重要的技能。本文将介绍PyTorch中分布式与并行的常见方法，读者需要注意这二者的区别，并关注它们在使用时的注意
shangjg3·2024-08-30 12:10

Multi-gpu问题（1）

Multi-gpu问题域在z方向划分为num_gpus段，其中num_gpus表示可用GPU的数量，然后每个GPU相应地负责一个大小为nx×ny×（nz/num_gpus）的子域。
不爱吃香菇的干饭少年·2023-11-05 08:53

PyTorch Lightning工具学习

PyTorchLightning中提供了以下比较方便的功能：multi-GPU训练半精度训练TPU训练将训练细节进行抽象，从而可以快速迭代P
pprpp·2023-10-04 04:48

Pytorch Multi-GPU原理与实现（单机多卡）

最近训练模型时候想要使用使用多GPU运算来提高计算速度，参考一些博客以及自己的动手实验搞懂了Pytorch的Multi-GPU原理。现在稍微整理一下。
ZhengkunTian·2023-09-06 18:51

找分布式工作复习学习系列---市面分布式框架解析之Megatron-LM（三）

想玩转GPT3这样的超大规模模型（例如175billionparameters=1750亿），那就有必要详细了解一下multi-node（多机）multi-gpu（多卡）的工作原理和细节。
加油11dd23·2023-09-02 23:50

Multi-GPU Training多个GPU如何训练呢？？

Multi-GPUTraining多个GPU如何训练呢https://github.com/ultralytics/yolov5/issues/475
鼾声鼾语·2023-06-23 05:57

[细读经典]Megatron论文和代码详细分析(1)

细读经典]Megatron论文和代码详细分析(1)导航：迷途小书僮：[细读经典]Megatron论文和代码详细分析(2)102赞同·41评论文章正在上传…重新上传取消前言作为一款支持multi-node，multi-GPU
AI生成曾小健·2023-06-16 03:36

小白学Pytorch系列--Torch.nn API DataParallel Layers (multi-GPU, distributed)(17)

小白学Pytorch系列–Torch.nnAPIDataParallelLayers(multi-GPU,distributed)(17)方法注释nn.DataParallel在模块级实现数据并行。
发呆的比目鱼·2023-03-30 22:43

Multi-GPU training in Pytorch

1.UseDDPimportnecessarypackageimporttorchimporttorch.distributedasdistfromtorch.utils.dataimportDataLoaderimporttorch.nn.parallel.DistributedDataParallelasddpsetupGPUenvironmentdist.init_process_group
Birdy潇·2023-03-20 01:00

Huggingface Accelerate 学习笔记

1.前言Accelerate能帮助我们：方便用户在不同设备上runPytorchtrainingscript.mixedprecision不同的分布式训练场景,e.g.,multi-GPU,TPUs,…
元气少女wuqh·2023-02-01 08:48

pytorch multi-gpu train

记录一下pytorch如何进行单机多卡训练：官网例程：https://pytorch.org/tutorials/beginner/blitz/data_parallel_tutorial.html下面以一个例子讲解一下，例如现在总共有8张卡，在第5、6、7三张卡上进行训练；step1:可视化需要用到的GPUimportosos.environ["CUDA_VISIBLE_DEVICES"]="5
weixin_30553777·2023-01-09 12:32

PyTorch指定单GPU和多GPU训练及保存-加载模型(含CPU)的总结

|更新：2020.10.25|[email protected]前言：本博客基本涵盖single-gpu和multi-gpu的使用，及训练模型的保存和加载。更复杂功能，修改后亦可得到。
fjy2035·2022-12-27 11:56

PyTorch Lightning工具学习

PyTorchLightning中提供了以下比较方便的功能：multi-GPU训练半精度训练TPU训练将训练细节进行抽象，从而可以快速迭代1
*pprp*·2022-12-22 23:42

为paddle的multi-gpu安装NCCL

按照官网安装好paddle-gpu后，测试会发现只能单卡训练，不支持多卡，说是需要安装NCCL，查了半天发现不是很容易安装，最后的解决办法如下：首先到这个页面下载：https://developer.nvidia.com/nccl/nccl-download我是直接运行的这几步，试过很多下载办法，会遇到密钥的问题，只有下面这种是可以执行sudodpkg-i不会报错的。另外安装libnccl和lib
烫烫烫烫烫火锅·2022-12-17 09:30

XPipe: Efficient Pipeline Model Parallelism for Multi-GPU DNN Training

1、Authors:LeiGuan(NUDT),WotaoYin(来自UCLA),DongshengLi,XichengLu论文来源：https://arxiv.org/pdf/1911.04610.pdf2.、Mainidea：workflow 把一个minibatch分割为T个microbatch，也就是说这个microbatch就成为了整个pipeline中的最小dataunit；每完成T个
dartao_·2022-11-29 18:10

PyTorch Lightning工具学习

PyTorchLightning中提供了以下比较方便的功能：multi-GPU训练半精度训练TPU训练将训练细节进行抽象，从
人工智能与算法学习·2022-11-21 02:31

【目标检测-YOLO】YOLOv5 Multi-GPU 训练

本指南解释了如何正确地在一个或者多个机器上使用多gpu在一个数据集上训练训练YOLOv5。2022年4月6日更新。https://github.com/ultralytics/yolov5/issues/475在开始之前克隆仓库并且在一个Python>=3.7.0环境下安装requirements.txt，包括PyTorch>=1.7.Models和datasets自动下载从最新的YOLOv5re
理心炼丹·2022-11-20 04:47

DataParallel layers (multi-GPU, distributed) torch分布式函数

DataParallellayers(multi-GPU,distributed)DataParallelclasstorch.nn.DataParallel(module,device_ids=None
PilviMannis·2022-03-24 07:09

关于multi-GPU训练的终结篇——以NCF为例

关于Multi-GPU的相关探索博文，如下：为啥不会并行？为啥子那么难改呢？卧槽。目前我也一直在搞这个破事，主要是严重限制生产力的发展了。
小李飞刀李寻欢·2021-04-13 15:22

Caffe2 - (十一)ResNet50 Multi-GPU 训练

Caffe2-Multi-GPU训练1.概要ResNet50modelImageNet数据集-14million张图片，大概需要300GBSSD存储空间，2000个磁盘分片；两张GPUs耗时一周.这里以ImageNet中的一部分为例：640种cars和640种boats图片集作为训练数据集；48种cars和48种boats图片集作为训练数据集；数据集图片大概130MB.ResNet50模型训练主要
AIHGF·2020-08-26 13:52

【MXNet Gluon】模型训练使用多块显卡加速（multi-gpu)

【承接图像分类、检测、分割、生成相关项目，私信。】使用单块显卡时的代码：devices=mx.gpu(0)data=mx.nd.array(batch_data).as_in_context(devices)label=mx.nd.array(batch_label).as_in_context(devices)#更新生成器Gwithautograd.record():output=G(data)
穆友航·2020-08-18 00:19

卷积神经网络的并行化模型——One weird trick for parallelizing convolutional neural networks

目前对单机多卡的内容比较感兴趣，因此特别关注convnet2关于multi-GPU的支持。
蔡金平·2020-08-04 22:25

Multi-GPU computing by CUDA

CUDA实现多GPU调用1、CUDAAPI提供cudaSetDevice(1)函数切换GPU。只用CUDA编程，CPU只有一个线程控制一个GPU，默认是GPU(0)。通信拓扑结构如下图（左）：GPU0可以获取GPU1上的值和将值传输到GPU1；GPU1可以获取主机值但是不能将值传输到主机；GPU1只能将值传输到GPU0上但不能获取GPU0上的值。2、考虑Peer-to-peermemoryacce
zhouchao2013·2020-07-12 02:05

Pytorch nn.Dataparallel model state_dict multi-gpu to single-gpu

Pytorchnn.Dataparallelmodelstate_dictmulti-gputosingle-gpu多块GPU训练的模型转成单块或其他GPU数量需求的模型标签：pytorchnn.Dataparallemodel.state_dict参考：referencelink问题描述我们在用Pytorch训练模型的时候，可能有几组服务器，每个服务器显卡GPU配置和数量不一样，而nn.Data
youmibuaa·2020-07-09 03:38

基于NVIDIA Multi-GPU技术的CUDA多GPU编程入门

由于最近新买了4个GPU而开始接触学习GPU编程，因为我原来的程序使用的是C++语言，故在仅仅看完Nvidia官网MarkHarris写的一篇简短的AnEvenEasierIntroductiontoCUDA后开始琢磨如何使用多个GPU同时计算来进一步加速程序。在查找有关资料和官方手册后，了解到Nvidia有专门的SLIMulti-GPU技术来实现这个过程，N卡的多卡互联要求有两块或以上完全相同的
No_No721·2020-06-28 22:08

如何理解深度学习中分布式训练中large batch size与learning rate的关系

也遇到了largebatch与learningrate的理解调试问题，相比baseline的batchsize，多机同步并行（之前有答案是介绍同步并行的通信框架NCCL（谭旭：如何理解Nvidia英伟达的Multi-GPU
weixin_34054866·2020-06-28 10:25

如何给20151230版caffe添加新的层 （一）

首先下载caffehttps://github.com/yjxiong/caffe这个版本的caffe是multi-gpu支持比较好的，用的是MPI技术，用的显存又少，而且在第一时间段支持了cudnn4
wangzhebupt·2020-06-27 13:44

Maxwell 5.1 Crossgrades：?Substance Painter材料帮手

新的MULTI-GPU引擎云渲染服务。随时为您准备。新的云渲染服务已集成在MaxwellStudio和受支持的插件中。只需单击一个按钮，Maxwell场景将通过云中可用的最快的
哲想动画·2020-06-17 00:00

Caffe2 - (十一)ResNet50 Multi-GPU 训练

Caffe2-Multi-GPU训练1.概要ResNet50modelImageNet数据集-14million张图片，大概需要300GBSSD存储空间，2000个磁盘分片；两张GPUs耗时一周.这里以ImageNet中的一部分为例：640种cars和640种boats图片集作为训练数据集；48种cars和48种boats图片集作为训练数据集；数据集图片大概130MB.ResNet50模型训练主要
AIHGF·2018-01-10 13:46

浅谈Nvidia英伟达的Multi-GPU多卡通信框架NCCL

学号：16020120050姓名：吴言凡转自：https://www.zhihu.com/question/63219175【嵌牛导读】：NCCL是NvidiaCollectivemulti-GPUCommunicationLibrary的简称，它是一个实现多GPU的collective。【嵌牛鼻子】：GPU【嵌牛提问】：如何理解NCCL的原理以及特点？【嵌牛正文】：NCCL是NvidiaColl
离原_ca70·2017-12-11 04:51

纪念一下终于搞出来的PyTorch的Multi-GPU使用代码

PyTorch多GPU使用例程importosimportpdbimporttimeimporttorchimporttorch.nnasnnfromtorch.autogradimportVariableclassTimer(object):"""Asimpletimer."""def__init__(self):self.total_time=0.self.calls=0self.start_
aiqiu_gogogo·2017-11-26 10:48

如何给20151230版caffe添加新的层 （一）

首先下载caffehttps://github.com/yjxiong/caffe这个版本的caffe是multi-gpu支持比较好的，用的是MPI技术，用的显存又少，而且在第一时间段支持了cudnn4
baobei0112·2016-03-22 13:00

如何给20151230版caffe添加新的层 （一）

首先下载caffehttps://github.com/yjxiong/caffe这个版本的caffe是multi-gpu支持比较好的，用的是MPI技术，用的显存又少，而且在第一时间段支持了cudnn4
wangzhebupt·2015-12-30 09:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他