CUDA并行编程

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 400.00 MiB (GPU 0； 6.00 GiB total

这个错误是由于在使用PyTorch运行时，尝试在GPU上分配内存超出了可用的内存容量引起的。根据错误信息，可以尝试以下方法解决：1.**减少模型的大小**:可以考虑减少模型的大小，例如通过选择更小的模型、减少模型的层数或通道数等方式，来降低内存需求。2.**减少批量大小**:尝试减少输入数据的批量大小，降低每次前向计算所需的内存。可以尝试减小`batch_size`参数的值。3.**释放不需要的显
小镇种田家·2023-09-22 20:47

Windows下conda安装pytorch GPU版

2.安装CUDA：查看自己CUDA版本，Nvidia控制面板中找，不再赘述。根据查看的版本，下载CUDAToolkit并安装。安装完成记得配置系统环境变量，这里自己百度。如何验证安装成功呢？终
随风i·2023-09-22 15:19

【GPU高性能编程CUDA实战】中的头文件下载

下载链接：cuda_by_examplegitclone下载之后，将文件夹复制到我们的项目路径下即可，可以直接放在解决方案路径下：主要会用到common文件夹中的头文件：在代码中，引用头文件时这么写即可
澄鑫·2023-09-22 15:42

【GPU编程】Visual Studio创建基于GPU编程的项目

vs创建基于GPU编程的项目前言方法一-CUDARuntime生成debug设置方法二-空项目配置代码验证前言cuda以及cudnn的安装以及系统环境变量的配置默认已经做完。
澄鑫·2023-09-22 15:09

win10中安装cuda和TensorFlow-gpu的坑

1.首先查看电脑GPU上cuda的版本nvcc-V如果此处提示:nvcc不是内部或外部命令，也不是可运行的程序或批处理文件。
qq_43614355·2023-09-22 14:38

pytorch/aten/src/ATen/native/cuda/IndexKernel.cu:53: lambda [](int)-＞auto::operator()(int)-＞auto: bl

GPU上运行神经网络模型，是使用多线程并行加速的，如果出错，真正的错误信息很容易被cuda的错误信息淹没，所以难以看到错误信息，一般引起问题的原因是数组等超限，定位到具体是anchor_ratios=[
Wanderer001·2023-09-22 11:17

在cuda中,使用自定义结构体,

cudaimprocess.h//cuda头文件structCoreDataGPU{//hostcpufloat*H_X;float*H_Y;float*H_Z;//devicegpufloat*D_X
酬勤-人间道·2023-09-22 07:13

ubuntu20.04下源码编译colmap3.9

由于稠密重建需要CUDA，因此先安装CUDA，我使用的是3050GPU，nvidia-smi显示最高支持CUDA11.4。
Julyers·2023-09-22 06:57

AI打游戏-肆（模型训练）

bilibili)目标pip安装依赖(可选)安装GPU版pytorch自定义训练配置，模型训练步骤文档ultralytics官方文档ultralytics开源项目视频：TOLOv8训练自己的数据集文章：安装CUDA
·2023-09-22 04:11

conda 环境安装 tensorflow2.0 & tensorflow1.15

对应版本可前往：在Windows环境中从源代码构建|TensorFlow这里简单展示一下GPU版本的：tensorflow2.0&tensorflow1.15这两个版本的好处是要求的python版本和cuda
我有明珠一颗·2023-09-22 04:54

Tensorrt8.6.1安装

环境配置：Tensorrt8.6.1，cuda11.6,cudnn8.6.0,torch1.13.1+cu116,torchvision0.14.1+cu1161.先把cuda11.6,cudnn8.6.0
小女孩真可爱·2023-09-22 03:33

解决域控制器的传感器配置问题

__version__)#查看gpu是否可用torch.cuda.is_available()#返回设备gpu个数torch.cuda.device_count()#退出pythonquit
白云千载尽·2023-09-22 03:24

安装pycuda及问题解决

  直接通过pip安装pycuda报错：ERROR:Couldnotbuildwheelsforpycuda,whichisrequiredtoinstallpyproject.toml-basedprojects
haoshengup·2023-09-21 18:56

anaconda cuda路径_anaconda+cuda+cudann+tensorflow环境安装

前几天安装了一下跑tensorflow需要的环境，感觉官方的文档不够详细，很多地方出错了只有上网搜，故把整个流程和经验记录下来。第一步：安装anacondaanaconda是一个巨好用的python包管理和环境管理软件，有了它妈妈在也不用担心安装依赖和版本问题了。官方下载很慢，建议用清华镜像站的，我下载的是Anaconda3-5.3.1-Windows-x86_64.exe，安装的python版本
胖头梨·2023-09-21 18:14

关于下载cuda和cudnn官方网站访问不了的替代方案

由于前边装双系统的过程中系统出了一些问题，就重装了win10系统，之前装的cuda和cudnn也需要重装。无奈，国内访问Nvida的官网进不去，只
gong_wanyi·2023-09-21 18:43

RTX 3060+CUDA+CUDAnn+Pytorch安装（自己踩过的）

昨天买了一个铭瑄RTX3060的卡，准备回来做深度学习，结果各种踩坑，现在发一下我最后一次装成功的过程。1、按装英伟达3060的驱动直接百度搜索NVIDIA驱动，就会出来官方GeForce驱动程序，进去之后，官方GeForce驱动程序|NVIDIA会出现下面这个页面，点击立即下载，下载完成之后进行安装，这里就不显示安装过程了。安装好之后需要登录（不知道可不可以不登录，我这里登录了。）下面是一个登陆
2753090819·2023-09-21 18:43

docker拉取的pytorch-gpu版找不到cuda和cudnn的位置

转自：本文链接：docker拉取的pytorch-gpu版找不到cuda和cudnn的位置，为何？
旺旺棒棒冰·2023-09-21 18:42

cudann官网上不见了，找不到了安装CUDA和CUDANN时，发现CUDANN不见了，官网甚至找不到一丝它的信息，公告也没有

我在习惯性的安装CUDA和CUDANN时，发现CUDANN不见了，官网甚至找不到一丝它的信息，公告也没有，看看吐槽说实话最开始的CUDANN确实比较恼火，要下载下来拷贝过去现在只需要直接安装cuda，就可以安装成功了
weixin_55008315·2023-09-21 18:12

深度学习环境搭建——之Anaconda3安装配置

一个深度学习环境的搭建，我根据使用的软件情况以及我自己的安装顺序，大致分为了四部分，Anaconda安装配置，CUDA
呓语煮酒·2023-09-21 16:38

第十篇-Tesla P40+FastChat+Vicuna-13B-V1.5

部署环境系统：CentOS-7CPU:14C28T显卡：TeslaP4024G驱动:515CUDA:11.7cuDNN:8.9.2.26下载模型https://huggingface.co/lmsys/
木卫二号Coding·2023-09-21 16:56

第十二篇-Tesla P40+ModelScope+Gradio+QWen+MindChat

本文主要实现Qwen-7B-Chat与MindChat-Qwen-7B的简单部署与测试环境系统：CentOS-7CPU:14C28T显卡：TeslaP4024G驱动:515CUDA:11.7cuDNN:
木卫二号Coding·2023-09-21 16:56

第七篇-Tesla P40+ChatGLM2+P-Tuning

本文目的本文仅仅是测试一下ptuning技术方案，使用少量数据测试下微调流程环境系统：CentOS-7CPU:14C28T显卡：TeslaP4024G驱动:515CUDA:11.7cuDNN:8.9.2.26
木卫二号Coding·2023-09-21 15:51

python统计秒数

code1.没有cuda的版本importtimes=time.time()foriinrange(100):passt=time.time()print("time:{}sec".format(t-s
换个名字就很好·2023-09-21 07:16

C++如何动态申请二维数组

最近在写cuda相关的代码遇到矩阵的问题就避免不了二维动态数组的内存申请。所以实际测了一下，一下代码可以用。
波雅_汉库克·2023-09-21 07:19

pytorch GPU训练

1、查看cuda相关1）cuda是否可用torch.cuda.is_available()2）gpu数量torch.cuda.device_count()3）gpu名字，默认从0开始torch.cuda.get_device_name
emergency_rose·2023-09-21 04:25

ChatGLM多卡微调踩坑记录

现将遇到的问题整理出来供大家参考，实现的相关代码也会整理到GitHub.1.Error:Expectedalltensorstobeonthesamedevice,butfoundatleasttwodevices,cuda
u013250861·2023-09-21 04:25

中文网页自动导航挑战赛——lora微调ChatGLM经验分享

环境配置本文使用的环境是：Miniconda-conda3-Python3.8(ubuntu18.04)-Cuda11.3安装必要的工具包!pipinstallpeft!pipinstallcp
Savarus·2023-09-21 04:20

使用thop库计算flops和params

fromthopimportprofilefromthopimportclever_formatinput_data=torch.randn(1,3,256,256).cuda()flops,params
一个尚在学习的计算机小白·2023-09-21 00:51

flash attention的CUDA编程和二维线程块实现softmax

本文参考了链接添加链接描述flashattention介绍flashattention的介绍可以参考论文：FlashAttention:FastandMemory-EfficientExactAttentionwithIO-Awareness，具体的数学公式参考下面这个图片：其中注意关于矩阵S有两个维度，softmax的操作维度是dim=1，用pytorch表示就是torch.softmax(S,
Galerkin码农选手·2023-09-20 20:57

expand，where和softmax算子的cuda编程

expand和where介绍当谈到Torch中的expand函数时，我们实际上是指PyTorch（Torch的Python接口）中的expand方法。下面是对expand方法和where函数的介绍，包括它们的输入和输出：expand方法：torch.Tensor.expand()是PyTorch中Tensor类的一个方法，用于扩展张量的维度。输入：input是要扩展的张量，size是一个元组，指定
Galerkin码农选手·2023-09-20 20:57

softmax的cuda编程详细解读——算子融合

softmax介绍在上一篇博客我们介绍了softmax的内容以及相关的编程实现，总结一下softmax的特点如下：（没有特殊说明的情况下，考虑的仍然只是1D向量xxx）1：获得向量的全局最大值M2：针对向量x^={exp⁡(xi−
Galerkin码农选手·2023-09-20 20:57

torch.cuda.is_available() 在有的项目中返回True有的返回Flase

问题描述，刚下了一个项目，不能用CUDA同一个环境不同项目中torch.cuda.is_available()返回值不同问题来源：这里的运行配置有问题选择编辑配置并修改对应的解释器查看和是否对应。
wangxiaojie6688·2023-09-20 18:43

def __apply()方法详解

1.classBaseModel(nn.Module)类中的_apply方法：def_apply(self,fn):#Applyto(),cpu(),cuda(),half()tomodeltensorsthatarenotparametersorregisteredbuffersself
。七十二。·2023-09-20 14:40

利用 GPU加速训练

2、1、网络模型、损失函数、优化器、数据（图像，标签）可以.cuda，加速训练。
。七十二。·2023-09-20 14:39

YOLOv8常见报错集合（ModuleNotFoundError、NameError、KeyError、nan值及map全为0、 CUDA out of memory、[WinError 145）

目录1.ModuleNotFoundError:Nomodulenamed‘ultralytics‘+解决方法：2.KeyError:'GAM_Attention'2.1原因2.2解决办法3.NameError:name'GAM'isnotdefined3.1原因3.2解决办法4.训练时出现loss出现nan值或者测试时P\R\map全部为0值4.1原因一：4.2原因二4.3原因三4.4原因四GT
陈子迩·2023-09-20 10:54

windows英伟达nvidia显卡驱动安装教程

文章目录查看版本驱动下载驱动安装查看安装结果查看版本之前我的电脑预安装了nvidia的显卡驱动，通过nvidia-smi命令发现驱动版本是DriverVersion：417.98，CUDAVersion
Cachel wood·2023-09-20 09:49

清华chatGLM2-6B windows本地安装教程

文章目录电脑环境配置显卡驱动安装教程cuda+cudnn安装教程pytorch安装教程chatGLM2-6B配置教程电脑环境配置显卡驱动：12.2cuda：11.8cudnn：v8.9.5pytorch
Cachel wood·2023-09-20 09:19

Windows安装cuda和cudnn教程最新版（2023年9月）

文章目录cudacudnncuda查看电脑的cuda最高驱动版本（适用于N卡电脑-Nvidia）win+R打开命令行，输入nvidia-smi右上角cuda-version就是目前支持的最高cuda版本
Cachel wood·2023-09-20 09:18

Windows安装GPU版本的pytorch详细教程

文章目录chatGLM2-6B安装教程正式安装chatGLM2-6BChatGLM2-6B版本要装pytorch2.0，而且要2.0.1，因此CUDA不能用12.0，也不能用10.0，只能用11.x版本
Cachel wood·2023-09-20 09:41

03【深度学习】YOLOV5-WIN11环境搭建（配置+训练)

一、深度学习环境搭建：Win11+CUDA+Pytouch+Anaconda本篇文字是【深度学习】YOLOV5-WIN11环境搭建（配置+训练)，首先介绍win11下基于Anaconda、pytorch
爱吃面的猫·2023-09-20 09:58

gpu cuda 数组求和优化

欢迎关注更多精彩关注我，学习常用算法与数据结构，一题多解，降维打击。问题描述给定1个数组，利用gpu求和并返回结果。cpu算法#include#include#include#includeusingnamespacestd;#defineBLOCK_SIZE1024#defineN(102300*1024)intarr[N];voidcpu_sum(int*in,int&out){out=0;f
闪电彬彬·2023-09-20 02:04

langchain-chatchat试用小记

condacreate-nchatchat激活环境condaactivatechatchat安装pytorchcondainstallpytorchtorchvisiontorchaudiopytorch-cuda
weixin_43147074·2023-09-20 00:44

LangChain-Chatchat学习资料-Windows开发部署（踩坑篇）

[LangChain-Chatchat学习资料-Windows开发部署（踩坑篇）]4.LangChain-Chatchat学习资料-Ubuntu安装Nvidia驱动和CUDA5.LangChain-Chatchat
vriverh·2023-09-20 00:42

LangChain-Chatchat学习资料-Windows开发部署

[LangChain-Chatchat学习资料-Windows开发部署（踩坑篇）]4.LangChain-Chatchat学习资料-Ubuntu安装Nvidia驱动和CUDA5.LangChain-Chatchat
vriverh·2023-09-20 00:11

PyTorch Geometric (PyG) 库的安装

1、PyG库的安装过程第一步：查看自己的torch版本和cuda版本importtorchprint(torch.
steelDK·2023-09-19 22:52

C++学习|CUDA内存管理代码实例

前言：之前介绍了CUDA入门知识，对CUDA编程有了一个基本了解，但是实际写起来还是遇到很多问题，例如cpp文件该怎么调用cuda文件、cpu和gpu之间内存数据怎么交换、如何编写.cu和.cuh文件之类的
魔法自动机·2023-09-19 18:21

C++学习|CUFFT计算一维傅里叶变换

CUFFT库介绍CUFFT（CUDAFastFourierTransform）：CUDA提供了一系列的函数帮助开发者进行快速傅里叶变换的运算。CUFFT库构成：两个子库分别是CUFFT
魔法自动机·2023-09-19 18:21

C++学习|CUDA编程入门

CUDA编程入门GPU介绍CUDA介绍NVCC——CUDA编译器cu/cuh文件——CUDA文件核函数——操作GPU线程模型——CUDA逻辑结构CUDA程序运行流程CUDA内存管理GPU介绍GPU（GraphicsProcessingUnit
魔法自动机·2023-09-19 18:21

deepspeed训练时export CUDA_VISIBLE_DEVICES无效这件事

官方文档在一个犄角旮旯的地方说了不管用(哭了，早点看到少受罪两天)见ResourceConfiguration(single-node)所以正确的做法是使用--include在.py前指定你要用的GPU--includelocalhost:6,7,8,9\顺便多说一句，仅仅单服务器(节点)训练压根不需要hostfile
CSU迦叶·2023-09-19 17:53

使用huggingface的accelerate库出现张量不在同一个设备的RuntimeError

报错如下RuntimeError:Expectedalltensorstobeonthesamedevice,butfoundatleasttwodevices,cuda:1andcuda:2!
CSU迦叶·2023-09-19 17:53
上一页 52 53 54 55 56 57 58 59 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他