GPU&CUDA

vllm本地部署bge-reranker-v2-m3模型API服务实战教程

flash_attn2.5下载模型三、运行代码3.1启动服务3.2调用代码验证一、说明本文主要介绍vllm本地部署BAAI/bge-reranker-v2-m3模型API服务实战教程本文是在Ubuntu24.04+CUDA12.8

雷电法王·2025-07-12 12:26

【医学影像】无痛安装mamba

issue查看我的狗急跳墙状态1.确定版本cudanvcc-Vpythonpython--versiontorchpipshowtorch2.下载对应版本wheelcausal-conv1d：https

周树皮·2025-07-12 10:39

jetson agx orin 刷机、cuda、pytorch配置指南【亲测有效】

jetsonagxorin刷机指南注意事项刷机具体指南cuda环境配置指南Anconda、Pytorch配置注意事项1.使用设备自带usbtoc的传输线时，注意c口插到orin左侧的口，右侧的口不支持数据传输

·2025-07-12 02:43

Yolov5-obb(旋转目标poly_nms_cuda.cu编译bug记录及解决方案)

时poly_nms_cuda.cu报错问题。

·2025-07-12 01:04

使用 Docker 搭建 Python（Flask/CUDA AI）开发环境——AI教你学Docker

使用Docker搭建Python（Flask/CUDAAI）开发环境及常用中间件配置详解本指南适用于用Docker快速搭建Python（FlaskWeb应用或包含CUDA的AI开发环境）开发环境，并集成常用中间件服务如

·2025-07-11 20:36

jetson orin nano安装GPU版本的pytorch过程

一、安装jetpack组件和安装CUDA/cuDNN可以参考下面这个博客「解析」JetsonOrinNX安装CUDA/cuDNN_jetsoncuda-CSDN博客二、安装Pytorch和torchaudio

小鲈鱼-·2025-07-10 21:58

NVIDIA GeForce RTX 3090显卡详细介绍

核心参数芯片厂商：NVIDIA显卡芯片：GeForceRTX3090显示芯片系列：NVIDIARTX30系列制作工艺：8纳米核心代号：GA102-300核心频率：基础频率1400MHz，加速频率1700MHzCUDA

山顶望月川·2025-07-10 02:28

【华为昇腾|CUDA】服务器A6000显卡部署LLM实战记录

www.nvidia.cn/drivers/lookup/搜索对应gpu的kylin版本即可先使用wget下载rpm包rpm-i安装最后使用dnfinstallnvidia-driver即可上面安装的是驱动仓库安装CUDAkylin

刘阿宾·2025-07-09 22:59

英伟达终为 CUDA 添加原生 Python 支持，他有什么目的？

CUDA原来只支持C/C++/Fortran，在2025的CES上宣布支持原生Python其实是不得已而为之，一方面现在Python的AI开发者数量过于庞大，达到数千万级别，而CUDA仅几百万，CUDA

朱卫军 AI·2025-07-09 13:01

Jetson Orin NX Super安装TensorRT-LLM

根据图片中显示的JetsonOrinNXSuper系统环境（JetPack6.2+CUDA12.6+TensorRT10.7），以下是针对该平台的TensorRT-LLM安装优化方案：一、环境适配调整基于你的实际配置

u013250861·2025-07-09 05:37

在 WSL2 中配置 CUDA 环境变量的两种方法（含多版本支持）

通过编辑~/.bashrc文件添加export语句来配置CUDA环境变量，然后用source~/.bashrc刷新环境。

新子y·2025-07-09 02:17

服务器无对应cuda版本安装pytorch-gpu[自用]

服务器无对应cuda版本安装pytorch-gpu服务器无对应cuda版本安装pytorch-gpu网址下载非root用户安装tmux查看服务器ubuntu版本conda安装tensorflow-gpu

片月斜生梦泽南·2025-07-09 00:02

OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值

操作系统：ubuntu22.04OpenCV版本：OpenCV4.9IDE:VisualStudioCode编程语言：C++11算法描述OpenCV的CUDA模块（cudev）中的一个设备端内联函数，用于高效地计算两个

村北头的码农·2025-07-08 22:21

Ubuntu下安装多版本CUDA及灵活切换全攻略

**为什么需要多版本CUDA？在深度学习、科学计算等领域，不同框架（TensorFlow、PyTorch等）对CUDA版本的要求各异。同时升级框架或维护旧项目时，版本冲突频发。

芯作者·2025-07-08 16:45

DeepSeek 部署中的常见问题及解决方案

依赖库冲突：Python版本、CUDA/cuDNN不兼容的排查方法。虚拟环境配置：Anaconda或Docker环境的最佳实践。模型加载与初始化问题预训练模型下载失败：网络代理设置、手动下载替代方案。

tonngw·2025-07-08 16:42

PyTorch安装总失败？看完这篇保姆级教程，从0到1轻松搞定！

“CUDA版本不匹配？pip安装超时？conda环境冲突？”新手安装PyTorch的坑比代码bug还多！这篇博客整合CSDN高赞实战技巧，手把手教你绕过10大安装陷阱，附赠代码级验证指南！

喜欢编程就关注我·2025-07-08 16:40

ubuntu22.04从新系统到tensorflow GPU支持

ubuntu22.04CUDA从驱动到tensorflow安装0系统常规设置和软件安装0.1挂载第二硬盘默认Home0.2软件安装0.3安装指定版本的python0.4python虚拟环境设置1直接安装

澍龑·2025-07-08 11:40

深度学习Pytorch(一)

深度学习Pytorch(一)前言：必须使用英伟达显卡才能使用cuda（显卡加速）！

Bgemini·2025-07-08 08:16

The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_70.

出现如下报错：NVIDIAGeForceRTX3090withCUDAcapabilitysm_86isnotcompatiblewiththecurrentPyTorchinstallation.ThecurrentPyTorchinstallsupportsCUDAcapabilitiessm

weixin_66009678·2025-07-08 06:58

【CMake】CMake简介及使用示例

核心优势：跨平台：支持Windows、Linux、macOS可扩展：支持C/C++/CUDA/Fortran等多种语言模块化：提供find_pack

晴雨日记·2025-07-07 22:32

开源 vGPU 方案 HAMi: core&memory 隔离测试

&Memory隔离基本符合预期：Core隔离：Pod能使用的算力会围绕设定值波动，但是一段时间内平均下来和申请的gpucores基本一致Memory隔离：Pod中申请的GPU内存超过设定值时会直接提示CUDAOOM1

探索云原生·2025-07-07 20:44

llama-cpp-python使用教程

1.安装1.1基础安装（CPU版）pipinstallllama-cpp-python-ihttps://pypi.tuna.tsinghua.edu.cn/simple1.2启用GPU加速（CUDA）

try2find·2025-07-07 15:11

error -- unsupported GNU version gcc later than 10 are not supported；（gcc、g++）

服务器跑dit时编译flash-atten以及pytorch的cuda版本检查出错，分别报错题目以及如下：想了下是系统找不到编译器subprocess.CalledProcessError:Command

众人（某音、某书同名）·2025-07-07 12:22

一文详解显卡（GPU）驱动（Driver）CUDA、PyTorch 四者之间的关系、依赖性、版本兼容性，以及如何通过命令查询各自版本等方面进行系统性总结

目录一、四者的依赖关系概览简单理解：二、依赖链详细解释1.显卡（GPU）2.NVIDIA显卡驱动3.CUDAToolkit4.PyTorch三、版本兼容查询PyTorch与CUDA的兼容表四、版本查询命令

番知了·2025-07-07 05:35

VScode 里面使用 python 去直接调用 CUDA

我们最后的目的实际上是想把CUDA的程序打包成一个Package，C++程序只是起到了桥梁的作用：首先：CUDA程序和C++的程序一样，都有一个.cu的源文件和一个.h的头文件。

NeRF_er·2025-07-07 01:09

查看电脑显卡(NVIDIA)应该匹配什么版本的CUDA Toolkit

被串行计算逼到要吐时，决定重拾CUDa了，想想那光速般的处理感觉（夸张了）不要太爽，记下我的闯关记录。正好我的电脑配了NVIDIA独显，GTX1650，有菜可以炒呀，没有英伟达的要绕道了。

发光的小豆芽·2025-07-05 16:33

疏锦行Python打卡 DAY 33 MLP神经网络的训练

importtorchtorch.cudaimporttorch#检查CUDA是否可用iftorch.cuda.is_available():print("CUDA可用！")

·2025-07-05 15:22

【Python训练营打卡】day33 @浙大疏锦行

DAY33简单的神经网络知识点回顾：1.PyTorch和cuda的安装2.查看显卡信息的命令行命令（cmd中使用）3.cuda的检查4.简单神经网络的流程a.数据预处理（归一化、转换成张量）b.模型的定义

2301_77865880·2025-07-05 14:17

python打卡day52@浙大疏锦行

随机种子内参的初始化神经网络调参指南参数的分类调参的顺序各部分参数的调整心得神经网络调参核心实践一、全局随机种子设置（修改src/models/train.py）defset_seed(seed=42):torch.manual_seed(seed)torch.cuda.manual_seed_all

风逸hhh·2025-07-05 14:17

OpenCV CUDA模块设备层-----在GPU 上高效地执行两个 uint 类型值的最大值比较函数vmax2()

操作系统：ubuntu22.04OpenCV版本：OpenCV4.9IDE:VisualStudioCode编程语言：C++11算法描述OpenCV的CUDA模块（cudev）中的一个设备端内联函数，用于在

村北头的码农·2025-07-05 01:19

Linux|ubuntu22.04安装CUDA最新完整教程

文章目录一、安装前准备工作查看GPU和型号查看GCC版本*下载gcc12*检查驱动二、安装CUDAToolkit*安装驱动三、安装后的工作必要操作推荐的操作开启守护进程模式删除本地下载安装包四、验证删除

·2025-07-04 07:43

Ubuntu22.04安装CUDA12.1 cuDNN8.9.7 pytorch2.2.2

[email protected]显卡：NVIDIACorporationTU117M[GeForceGTX1650Mobile/Max-Q]MesaI...安装前准备：需要安装对应的NVIDIA驱动程序、配置CUDA

快乐的笨笨·2025-07-04 06:08

Deep Global Registration 代码环境配置(rtx3090+python3.8+cuda11.1+pytorch1.7+MinkowskiEngine0.5.1)

前言踩过的坑：因为rtx3090最低算力是8.6，似乎不支持过低版本的cuda。试过pytorch1.7.0+cuda11.0，但会报错，由于cuda11.0支持的最高算力达不到rtx最低的要求。

JPy646·2025-07-04 01:38

RTX50系显卡+CUDA+torch+python对应关系

前言本人的显卡是RTX5070，使用时发现它对CUDA、torch和python版本有要求，试图按照老项目的依赖文件进行安装发现安不了，因此记录一下（截至2025年6月）。

·2025-07-04 01:37

ReBEL模型的本地部署与运行，用于三元组抽取任务（事件抽取、知识抽取）

1.服务器CUDA11.72.依赖condacreate-nrebel_envpython=3.10-ycondaactivaterebel_env#安装PyTorch（建议与CUDA11.7配合）pipinstalltorchtorchvisiontorchaudio

·2025-07-03 09:46

【模型部署】如何在Linux中通过脚本文件部署模型

/bin/bashCUDA_VISIBLE_DEVICES=7\python-mvllm.entrypoints.openai.api_server\--served-model-nameQwen2-7B

满怀1015·2025-07-03 02:19

使用GPU进行机器学习训练时，如果GPU-Util计算核心满载工作但是显存占用较少，应该如何优化？

启用混合精度：torch.cuda.amp可减少显存占用并加速计算。检查CPU到GPU的数据流：避免频繁的小数据拷贝（如DataLoader的num_workers设置）。

十子木·2025-07-03 01:11

pytorch底层原理学习--PyTorch 架构梳理

完整架构流程图关键组件详解完整执行流程示例PyTorch架构梳理PyTorch完整架构流程图硬件层后端层C++部署层核心引擎(libtorchC++)绑定层Python层加载调用训练模式编译模式推理模式生成CPUGPUCPUKernelsCUDAKernelsC

xinxiangwangzhi_·2025-07-02 14:21

OpenCV CUDA模块设备层-----双曲正切函数tanh()

操作系统：ubuntu22.04OpenCV版本：OpenCV4.9IDE:VisualStudioCode编程语言：C++11算法描述OpenCV的CUDA模块（cudev）中的一个设备函数，用于在GPU

村北头的码农·2025-07-02 11:26

OpenCV CUDA模块设备层-----二值化阈值操作函数thresh_binary_func()

操作系统：ubuntu22.04OpenCV版本：OpenCV4.9IDE:VisualStudioCode编程语言：C++11算法描述OpenCV的CUDA模块（cudev）中的一个设备和主机通用函数

·2025-07-02 10:22

从源码编译 ONNX Runtime GPU 1.18.2 并验证 CUDA 推理成功

文章目录从源码编译ONNXRuntimeGPU1.18.2并验证CUDA推理成功【实测环境+完整步骤】✅环境信息（实测成功）第一步：获取源码️第二步：编译命令参数说明（重点）第三步：安装构建好的`.whl

草莓奶忻·2025-07-02 09:41

Ubuntu 22.04 庙算平台训练环境搭建指南

一、训练环境搭建●硬件要求操作系统：Linux（推荐Ubuntu22.04.3LTS）可选配置：NVIDIAGPU（CUDA支持）1.Linux环境搭建建议双系统安装Ubuntu，具体参考如下教程：参考教程

笑衬人心。·2025-07-02 03:00

YOLOv12_ultralytics-8.3.145_2025_5_27部分代码阅读笔记-torch_utils.py

torch_utils.py目录torch_utils.py1.所需的库和模块2.defsmart_inference_mode():3.defautocast(enabled:bool,device:str="cuda

红色的山茶花·2025-07-01 11:11

YOLOV10的tensorrt C++部署

yolov10s.ptformat=onnxopset=13simplify然后采用：https://github.com/hamdiboukamcha/yolov10-tensorrt.git进行c++编译配置好cuda11.7tens

dddccc1234·2025-06-30 19:26

CARLsim开源程序是一个高效、易用、GPU 加速的软件框架，用于模拟具有高度生物细节的大规模脉冲神经网络（SNN）模型。

二、CARLsim6的新功能包括：CUDA

struggle2025·2025-06-30 16:06

Deepfacelive安装报错解决记录

\DeepFaceLive_NVIDIA\_internal\CUDA\bin目录下就能运行

matouxiao·2025-06-30 08:41

tensorRT 与 torchserve-GPU性能对比

实验数据Cuda11.0、Xeon®62423.1*80、RTX309024G、Resnet50TensorRT、Torchserve-GPU各自一张卡搭建10进程接口，感兴趣的可以查看我个人其他文章。

joker-G·2025-06-29 22:40

141G显存H20单机DeepSeek-R1满血FP8版性能测试

#环境参数#H20141G单机8卡，CUDA12.4，vLLMv0.8.3，flashinferv0.2.2#服务化命令#基于知乎大神的推荐出装与前期H800双机生产环境测试，在H20上开启EP、MLA

·2025-06-29 19:18

AI算力综述和资料整理

目录总体介绍计算精度传输协议GPU池化资源调度CUDA技术GPU硬件参考链接总体介绍AI算力是人工智能系统的核心基础设施，涵盖了从计算精度、传输协议到硬件架构的完整技术栈。

木鱼时刻·2025-06-29 15:48

Day33打卡 @浙大疏锦行

知识点回顾：PyTorch和cuda的安装查看显卡信息的命令行命令（cmd中使用）cuda的检查简单神经网络的流程数据预处理（归一化、转换成张量）#仍然用4特征，3分类的鸢尾花数据集作为我们今天的数据集

ayuan0119·2025-06-29 10:43

推荐频道