cuda并行编程

【安装环境】配置MMTracking环境

condainstallnumpy=1.21.5mmtracking支持的torch版本有限，需要找到合适的condainstallpytorch==1.11.0torchvision==0.12.0cudatoolkit
xuanyu22·2024-09-15 18:53

windows C++-并行编程-PPL任务并行(二)

延续任务在异步编程中，一个异步操作在完成时调用另一个操作并将数据传递到其中的情况非常常见。传统上，这使用回调方法来完成。在并发运行时中，延续任务提供了同样的功能。延续任务(也简称为“延续”)是一个异步任务，由另一个任务(称为先行)在完成时调用。使用延续可以：将数据从前面的任务传递到延续；指定调用或不调用延续所依据的精确条件；在延续启动之前取消延续，或在延续正在运行时以协作方式取消延续；提供有关应如
sului·2024-09-14 23:33

windows C++-并行编程-并行算法(五) -选择排序算法

并行模式库(PPL)提供了对数据集合并行地执行工作的算法。这些算法类似于C++标准库提供的算法。并行算法由并发运行时中的现有功能组成。在许多情况下，parallel_sort会提供速度和内存性能的最佳平衡。但是，当您增加数据集的大小、可用处理器的数量或比较函数的复杂性时，parallel_buffered_sort或parallel_radixsort性能更佳。确定在任何给定方案中使用哪种排序算法
sului·2024-09-14 21:17

windows C++ 并行编程-编写parallel_for 循环

示例：计算两个矩阵的乘积以下示例显示了matrix_multiply函数，可计算两个方阵的乘积。//Computestheproductoftwosquarematrices.voidmatrix_multiply(double**m1,double**m2,double**result,size_tsize){for(size_ti=0;i#include#include#includeusin
sului·2024-09-14 21:17

windows C++-并行编程-PPL任务并行(一)

在并发运行时中，任务是执行特定作业并通常与其他任务并行运行的工作单元。任务可以分解为组织成任务组的其他更细化的任务。编写异步代码，并希望在异步操作完成之后进行某种操作时，可使用任务。例如，可以使用一个任务以异步方式从文件读取，然后使用另一个任务(延续任务，本文档稍后会对此进行说明)在数据可用之后处理数据。相反，可以使用任务组将并行工作分解成较小的各部分。例如，假设你有一个将剩余工作划分为两个分区的
sului·2024-09-14 21:17

安装torch报错 raise ReadTimeoutError(self._pool, None, “Read timed out.“) pip._vendor.urllib3.exceptions

文章目录1.配置cuda的torch环境时报错1.配置命令2.报错bug2.解决方法1.增加下载超时时间：2.尝试使用镜像源：3.检查网络连接：4.分次安装：5.重试安装：6.手动下载.whl文件安装1
待磨的钝刨·2024-09-14 17:51

SAM2跑通（Ubuntu20.04)内含安装多个cuda

参考链接：github链接安装cuda，之前借鉴的方法安装多个cuda补充cuda安装：Asymlinkalreadyexistsat/usr/local/cuda.Updatetothisinstallation
好好607·2024-09-14 17:49

使用vllIm部署大语言模型

-CUDA工具包（根据GPU型号选择合适的版本）。二、安装vllm1.创建虚拟环境（推荐）-使用Conda：c
添砖JAVA的小墨·2024-09-14 12:18

vllm在线推理踩坑记

优点就不详细介绍了，这里摘抄一段来自于Qwen2上手指南对于它的简单介绍：它易于使用，且具有最先进的服务吞吐量、高效的注意力键值内存管理（通过PagedAttention实现）、连续批处理输入请求、优化的CUDA
懂点投资的码农·2024-09-14 12:14

多版本cuda安装及灵活切换详细教程

一、首先介绍下我所使用的环境ubuntu18.04+1080ti二、下载安装包1.cudatoolkit下载①环境选择，想要多版本共存的，尽量选择runfile文件进行安装②有些cudatoolkit下载页面
Fzc_PCL·2024-09-14 07:14

Cuda 程序编译报错: fatal error: cusparse.h: No such file or directory

编译cuda程序时发现下列报错：/mnt/xxx/miniconda3/envs/xxx/lib/python3.8/site-packages/torch/include/ATen/cuda/CUDAContext.h
原野寻踪·2024-09-14 07:44

PyTorch官方免CUDA加速推理，Triton时代要来？

在做大语言模型（LLM）的训练、微调和推理时，使用英伟达的GPU和CUDA是常见的做法。在更大的机器学习编程与计算范畴，同样严重依赖CUDA，使用它加速的机器学习模型可以实现更大的性能提升。
诗者才子酒中仙·2024-09-14 04:56

GPU版pytorch安装

由于经常重装系统，导致电脑的环境需要经常重新配置，其中尤其是cudatorch比较难以安装，因此记录一下安装GPU版本torch的过程。
普通攻击往后拉·2024-09-13 03:13

人工智能-GPU版本机器学习、深度学习模型安装

背景1、在有Nvidia-GPU的情况下模型使用cuda加速计算，但是很有多模型的GPU和CPU版本安装方式不同，如何安装lgb\cat\xgb.2、为了让代码有普适性，如何自适应环境当中的设备进行CPU
bw876720687·2024-09-13 02:06

CUDA 编程入门（2）：CUDA 调度模型

参考：CUDA编程入门（2）：CUDA编程模型-知乎(zhihu.com)CUDA调度模型Block调度Block对应的物理硬件概念是SM，也就是说SM负责block中线程的执行，SM会为每个block
知识搬运工人·2024-09-12 02:33

Ubuntu 开机出现 recovering journal 无法进入图形界面解决流程(不通用，自用)

X11/xorg.conf.failsafe/etc/X11/xorg.confsudoservicelightdmstopsudoapt-getremovenvidia*cdjohn/qudong+cuda9.0
Artintel·2024-09-12 00:20

Yolo-v3利用GPU训练make时发生错误：/usr/bin/ld: cannot find -lcuda

一.利用GPU训练Yolov3时，首先要修改MakeFile文件，修改格式如下：GPU=1(原来为0)CUDNN=1(原来为0)NVCC=/usr/local/cuda/bin/nvcc(新建,注意自己本机的地址
徐小妞66666·2024-09-11 20:58

【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）(1)

cuda==10.2cudnn==8.0.3onnxruntime-gpu==1.5.0or1.6.0pipinstallonnxruntime-gpu==1.6.0###2.2方法二：onnxruntime-gpu
2401_83703835·2024-09-11 13:36

pytorch计算网络参数量和Flops

batch_size=-1)输出的参数是除以一百万（/1000000）M，fromfvcore.nnimportFlopCountAnalysisinputs=torch.randn(1,3,256,256).cuda
Mr_Lowbee·2024-09-11 10:08

使用TensorRT对YOLOv8模型进行加速推理

这里使用GitHub上shouxieai的infer框架对YOLOv8模型进行加速推理，操作过程如下所示：1.配置环境，依赖项，包括：(1).CUDA:11.8(2).cuDNN:8.7.0(3).TensorRT
fengbingchun·2024-09-11 04:30

ONNX Runtime、CUDA、cuDNN、TensorRT版本对应

文章目录ONNXRuntime的安装ONNXRuntime与CUDA、cuDNN的版本对应ONNXRuntime与ONNX的版本对应ONNXRuntime、TensorRT、CUDA版本对应ONNXRuntime
可keke·2024-09-10 22:45

ONNXRuntime与CUDA版本对应

通常在安装onnxruntime时，需要将其版本与pytorch版本和CUDA版本进行对应，其中ONNXRuntime与CUDA版本对应关系表如下表所示。ONNXRuntimeC
zy_destiny·2024-09-10 22:15

【已解决】onnx无法找到CUDA的路径

onnxruntime\python\onnxruntime_pybind_state.cc:857onnxruntime::python::CreateExecutionProviderInstanceCUDA_PATHissetbutCUDAwasntabletobeloaded.Pleaseinstallthecorrectvers
烟花节·2024-09-10 21:10

Window 下 Vim 环境安装踩坑问题汇总及解决方法

导航Linux下Mamba及Vim安装问题参看本人之前博客：Mamba环境安装踩坑问题汇总及解决方法Linux下Vmamba安装教程参看本人之前博客：Vmamba安装教程（无需更改base环境中的cuda
yyywxk·2024-09-10 16:32

windows11 wsl2 ubuntu20.04安装vision mamba并进行测试

windows11wsl2ubuntu20.04安装visionmamba安装流程使用cifar-100测试安装成功安装流程visionmamba安装了半天才跑通，记录一下流程在wsl上安装cudawgethttps
一剑斩蛟龙·2024-09-10 16:59

[Lora][微调] Qwen-VL/Qwen-VL-chat微调问题

模型预训练错误一“erfinv_cuda”notimplementedfor‘BFloat16’RuntimeError:"erfinv_cuda"notimplementedfor'BFloat16'
翔迅AI·2024-09-10 03:07

【Pytorch】cumsum的实现逻辑

本文只记录cumsum的实现逻辑的CUDA部分，也即底层调用了CUDA的什么实现算子。
栏杆拍遍看吴钩·2024-09-09 20:13

百度飞桨paddle安装 包括CUDA,cuDNN,opencv的安装

conda创建新环境这部分代码均在AnacondaPrompt中写，要求已有Anaconda第一步：创建condacreate--nameyourEnvpython=3.6–name：也可以缩写为【-n】，【yourEnv】是新创建的虚拟环境的名字，创建完，可以装anaconda的目录下找到envs/yourEnv目录python=2.7：是python的版本号。也可以指定为【python=3.6
小甲学长·2024-09-09 16:13

深度学习回归任务训练代码模版

＋验证迭代使用`tensorboard`输出模型训练过程和指标可视化(可选)结果预测参考参数设置超参设置：config包含所有训练需要的超参数（便于后续的调参），以及模型需要存储的位置device='cuda'iftorch.cuda.is_av
槐月初叁·2024-09-09 13:17

cpu运行gpu上的pytorch 报错:AssertionError:torch not compiled with cuda enabled——已解决

感觉今天介绍的这种方法可以解决所有这种报错出现的问题事件发生：报错：AssertionError:torchnotcompiledwithcudaenabled解决方法：后来看到这个代码parser.add_argument
霍格沃茨电气魔法师·2024-09-09 11:35

Transiting from CUDA to HIP（三）

一、Workarounds1.memcpyToSymbol在HIP(Heterogeneous-computeInterfaceforPortability)中，hipMemcpyToSymbol函数用于将数据从主机内存复制到设备上的全局内存或常量内存中，这样可以在设备端的内核中访问这些数据。这个功能特别有用，因为它允许在主机端定义数据符号，并在设备端的内核中使用这些符号。#include#inc
青禾子的夏·2024-09-09 05:55

HALCON 错误代码 #7709

原因报7709主要的原因有如下几个原因：1、就是你选的cuda版本和cudnn的不匹配，这个原因应该大家在选择的时候注意一下版本对比的话可以避免，基本上不是这个原因造成的。
聪明不喝牛奶·2024-09-08 23:41

windows C++-并行编程-并行模式库 (PPL)

并行模式库(PPL)提供命令式编程模型，以促进开发并发应用程序的可扩展性和易用性。PPL构建在并发运行时的计划和资源管理组件上。通过提供并行作用于数据的泛型安全算法和容器，提高应用程序代码与基础线程机制之间的抽象级别。使用PPL还可以开发通过为共享状态提供替代方案实现缩放的应用程序。PPL提供以下功能：任务并行：基于Windows线程池来并行执行多个工作项（任务）的机制并行算法：基于并发运行时来并
sului·2024-09-08 09:11

模式转变-并行编程方面的设计注意事项

本文以VisualStudio工具的预发布版为基础。文中的所有信息均有可能发生变更。本文将介绍以下内容：并行计算并发编程性能提高本文使用了以下技术：多线程目录并发和并行结构化多线程数据并行性数据流数据并行性单程序，多数据并发数据结构总结从1986到2002年，微处理器的性能每年提高了52%。这一惊人的技术进步源自晶体管成本依据摩尔法则不断地缩减，以及处理器厂商在工程方面的出色表现。微软的研究员Ji
guoxiaoqian8028·2024-09-08 09:40

windows C++-并行编程-将使用缩减变量的 OpenMP 循环转换为使用并发运行时

此示例介绍如何将使用reduction子句的OpenMPparallelforloop转换为使用并发运行时。OpenMPreduction子句允许指定一个或多个线程专用变量，这些变量受并行区域末尾的缩减操作的约束。OpenMP预定义一组缩减运算符。每个减量变量必须是标量（例如int、long和float）。OpenMP还定义了一些限制，说明如何在并行区域中使用缩减变量。并行模式库(PPL)提供co
sului·2024-09-08 09:07

ERROR: No matching distribution found for torch-geometri satisfies the requirement torch-geometric

试了网上的whl下载确保虚拟环境下nvcc和cuda版本一致，还不行遂找淘宝大佬,大佬换了pytorch版本python版本都不行最后根据报错出现的setup安装了pytest-runner，然后pipsearch
zzzzz忠杰·2024-09-08 05:14

解决安装依赖项时的ERROR: No matching distribution found for torch==1.10.0+cu111问题

在这种情况下，+cu111表示你正在安装针对CUDA11.1的Torch版本。因此，你需要确保你的环境中已经安装了CUDA11.1，并且你正在使用与之兼容的Torch版本。
CAI2256·2024-09-08 05:43

ERROR: No matching distribution found for torch==1.4.0 (from torchvision)

pipinstall--no-depstorchvision==0.5.0下面是cuda版本，Torch版本，Torchvision版本以及python版本的对应关系做了一个表，仅供大家参考
迷雾总会解·2024-09-08 05:12

大模型推理框架 RTP-LLM 架构解析

RTP-LLM与当前广泛使用的多种主流模型兼容，使用高性能的CUDAkernel,包括PagedAttention、FlashAttention、FlashDecoding等，支持多模态、LoRA、P-Tuning
阿里技术·2024-09-07 23:32

深度学习框架相关-Python模块的介绍和使用---torch

；2.下面主要介绍torch模块的五个功能：数据加载和处理，GPU加速，建立网络模型，模型的保存和加载，梯度更新和参数优化；上面功能主要用到的子模块如下：torch.utils.data、torch.cuda
sccum·2024-09-07 09:22

apex安装，解决ModuleNotFoundError: No module named ‘packaging‘ error: subprocess-exited-with-error

apexcdapexpipinstall-v--no-cache-dir--global-option="--pyprof"--global-option="--cpp_ext"--global-option="--cuda_ext
pingtaner1105·2024-09-06 20:00

PyTorch 版本与 CUDA 版本的兼容性示例

PyTorch1.9.0及以上版本支持CUDA11.1。PyTorch1.8.0支持CUDA11.0。PyTorch1.7.0支持CUDA10.2。PyTorch1.6.0支持CUDA10.1。
小赖同学啊·2024-09-06 17:36

python opencv cuda tensorrt pytorch之间的版本对应

python3.7opencv4.4cuda10.2tensorrt7xpytorch1.5DeepStream5.xOpenCV2.x：支持Python2.xOpenCV3.x：支持Python2.7
YIACA·2024-09-06 16:33

在PyTorch中使用CUDA, pytorch与cuda不同版本对应安装指南，查看CUDA版本，安装对应版本pytorch_pytorch cuda

在PyTorch中使用CUDA，根据你的具体环境和需求调整版本号，确保安装的PyTorch版本与你的CUDA版本兼容。
2401_84009626·2024-09-06 16:31

Python、PyTorch与cuda的版本对应表

常见的Python和PyTorch版本对应关系。PyTorch版本对应的PythonPyTorch1.0Python2.7，3.5，3.6，3.7PyTorch1.1Python2.7，3.5，3.6，3.7PyTorch1.2Python2.7，3.5，3.6，3.7PyTorch1.3Python2.7，3.5，3.6，3.7PyTorch1.4Python2.7，3.5，3.6，3.7，3.
码韵·2024-09-06 16:31

【FFMPEG】Install FFmpeg CUDA gltransition in Ubuntu

因为比较复杂，记录一下自己安装过程，方便后续查找，所有都是在docker环境安装cuda11.7的**ffmpeg4.2.2nv-codec-headers-9.1.23.3**手动下载安装吧https
RockWang.·2024-09-06 14:48

环境安装-1：Python3.8+CUDA11.6.1+cuDNN8.6+Tensorflow-gpu2.6.1

一、知识储备1.CUDACUDA是显卡厂商NVIDIA推出的运算平台。CUDA™是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。
w坐看云起时·2024-09-06 10:50

window下安装pytorch出现的两个问题：1.OSError: [WinError 126] 找不到指定的模块。2.from torch._C import *

首先，你的确保自己装的pytorch版本正确，有cuda的话要查看其版本，如果没有cuda一定要选None,还有建议python版本不要太低，我选的是python=3.7主要是出现以下两个问题：1.OSError
kahuifu·2024-09-06 07:59

英伟达A100算力卡性能及应用

以下是关于A100的性能参数及应用的详细介绍：性能参数架构与制程：架构：Ampere制程：7纳米核心与频率：CUDA核心数：6912个Tensor核心数：432个Boost时钟频率：1.41GHz性能：
算力资源比较多·2024-09-06 05:16

Nvidia GPU benchmark压力测试工具

一、参考资料使用Pytorch测试cuda设备的性能（单卡或多卡并行）GPU：使用gpu-burn压测GPU二、GPU压力测试方法1.PyTorch方式使用torch.ones测试CUDA设备。
花花少年·2024-09-06 00:13
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他