- 【Stable Diffusion部署至GNU/Linux】安装流程
星星点点洲
stablediffusion
以下是安装StableDiffusion的步骤,以Ubuntu22.04LTS为例子。显卡与计算架构介绍CUDA是NVIDIAGPU的专用并行计算架构技术层级说明CUDAToolkit提供GPU编译器(nvcc)、数学库(cuBLAS)等开发工具cuDNN深度神经网络加速库(需单独下载)GPU驱动包含CUDADriver(需与CUDAToolkit版本匹配)CUDA与NIDIA:硬件指令集绑定:N
- 【vLLM 学习】安装
vLLM是一款专为大语言模型推理加速而设计的框架,实现了KV缓存内存几乎零浪费,解决了内存管理瓶颈问题。更多vLLM中文文档及教程可访问→https://vllm.hyper.ai/vLLM是一个Python库,包含预编译的C++和CUDA(12.1)二进制文件。依赖环境操作系统:LinuxPython:3.8-3.12GPU:计算能力7.0或更高(例如V100、T4、RTX20xx、A100、L
- ubuntu完全卸载cuda(备忘)
fengsongdehappy
ubuntulinux运维
cuda的卸载方法网上都有很多,这些方法大同小异,几乎都是错的,我在卸载cuda时基本试了个遍,各种踩坑。能查到的方法一般都是从官方文档搬过来的,然而这种使用apt-get--purgeremove命令的方法并不能将cuda完全卸掉。这里把官方文档的方法贴出来:sudoapt-get--purgeremove"*cublas*""*cufft*""*curand*"\"*cusolver*""*c
- DeepSeek 大模型离线 Docker 部署技术指南
容器的搬运工
dockereureka容器
一、部署架构概述DeepSeek离线部署采用容器化微服务架构,核心组件包括:模型服务层:基于TritonInferenceServer的模型推理容器API网关层:FastAPI实现的REST/gRPC接口服务资源管理层:CUDA-awareDocker运行时+NVIDIAGPU资源调度持久化存储:模型参数与配置文件的Volume挂载方案二、系统环境要求2.1硬件规格组件最低要求推荐配置CPUX86
- 【服务器】ubuntu20.04安装cuda12.01(使用runfile安装)
弹伦琴的雷登
服务器相关知识linux相关知识服务器运维linux
【服务器】ubuntu20.04安装cuda12.01(使用runfile安装)包教包会【创作不易,求关注收藏点赞】商业合作请私聊,有问题可以评论或者私聊!1、进入cuda官网先登录,登录好之后选择对应的版本按下面选项进行选择2、终端运行安装在终端进入管理员模式,这里我是通过SSH远程连接,先进入管理员模式su</
- 深度学习基础知识
namelijink
深度学习人工智能
cuda简介:CUDA(ComputeUnifiedDeviceArchitecture)是由NVIDIA开发的一种并行计算平台和应用程序编程接口(API)。它允许开发人员利用NVIDIA的GPU(图形处理器)来加速各种计算任务,包括科学计算、机器学习、深度学习、数据分析等。NVIDIA是一个全球领先的计算技术公司,专注于设计和制造高性能计算设备。除了生产强大的GPU,NVIDIA还提供与其GPU
- 如何在我的电脑上查看是否安装cuda12?我现在在我的VS中新建项目时,里面多出来一个CUDA12.4 runtime,这是什么?是不是使用CUDA cpp进行编程?
吃榴莲的小鳄鱼
电脑
在你的电脑上检查是否安装了CUDA12,可以通过以下几种方法:1.检查CUDAToolkit安装目录查看CUDA安装目录:-默认情况下,CUDAToolkit安装在C:\ProgramFiles\NVIDIAGPUComputingToolkit\CUDA\目录下。打开这个目录,你应该能看到类似v12.0或v12.4的子目录,这表示已安装的CUDA版本。查看CUDA版本:-打开命令提示符(cmd)
- windows 安装nvidaia驱动和cuda
njl_0114
配置环境windows
安装nvidaia驱动和cuda官网搜索下载驱动https://www.nvidia.cn/drivers/lookup/这里查出来的都是最高支持什么版本的cuda安装时候都默认精简就行官网下载所需版本的cuda包https://developer.nvidia.com/cuda-toolkit-archive安装成功但是nvcc-V失败,除了安装时候默认的加入的环境变量外。添加环境变量C:\Pr
- tensorrt推理 onxx转engine代码(python),cyclegan网络推理(python、C++)
maobin_1
pythonc++
将onnx文件导出为engine,FP16格式importtensorrtastrtimportpycuda.driverascudaimportpycuda.autoinit#加载ONNX文件onnx_file_path='model.onnx'engine_file_path='model_tesfp16.trt'TRT_LOGGER=trt.Logger(trt.Logger.WARNI
- 模型实战(19)之 从头搭建yolov9环境+tensorrt部署+CUDA前处理 -> 实现目标检测
明月醉窗台
#深度学习实战例程目标检测人工智能计算机视觉图像处理YOLO
从头搭建yolov9环境+tensorrt部署实现目标检测yolov9虚拟环境搭建实现训练、推理与导出导出onnx并转为tensorrt模型Python\C++-trt实现推理,CUDA实现图像前处理文中将给出详细实现源码python、C++效果如下:output_video_11.搭建环境拉下官方代码根据配置下载虚拟环境所需包详细步骤如下:
- GPU(Graphics Processing Unit)详解
美好的事情总会发生
AI人工智能嵌入式硬件硬件工程ai
GPU(GraphicsProcessingUnit)详解1.GPU的定义与核心特性GPU(图形处理器)是一种专为并行计算和图形渲染优化的处理器。与CPU(中央处理器)不同,GPU通过大规模并行架构实现高效处理海量数据,尤其在处理规则化、高并发任务时性能显著优于CPU。关键特性:高并行度:现代GPU包含数千个计算核心(如NVIDIAH100拥有18,432个CUDA核心)。专用内存系统:配备高带宽
- 用Llama Factory单机多卡微调Qwen2.5时报torch.OutOfMemoryError: CUDA out of memory的解决办法
蛐蛐蛐
大模型科研工具Python技巧llama人工智能大模型
接着上一篇博客:在Ubuntu上用LlamaFactory命令行微调Qwen2.5的简单过程_llamafactory微调qwen2.5-CSDN博客如果需要微调比较大的模型,例如Qwen2.5-32B,那么在两个3090上可能不够用,这里我用A6000×4的服务器。但如果仿照上篇博客,直接运行:llamafactory-clitrainexamples/train_qlora/qwen_lora
- CUDA与CUDPP源码解析及实战应用
昊叔Crescdim
本文还有配套的精品资源,点击获取简介:CUDA是NVIDIA推出的并行计算平台,CUDPP是一个提供GPU优化算法的开源库。本课程将深入解析CUDPP的核心组件,包括基数排序、扫描操作、动态并行性、随机数生成、缓存机制、矩阵乘法和基准测试等。通过学习CUDPP源码,开发者可以掌握GPU并行计算的优化技巧,提升应用程序性能。同时,本课程也会介绍如何在具备CUDASDK和NVIDIA驱动的系统上安装和
- 【ai】李沐 动手深度学学v2 环境安装:anaconda3、pycharm、d2
等风来不如迎风去
AI入门与实战人工智能
cuda-toolkitcuda_12.5.0_windows_network.exe官方课程网站第二版资源下载release版本pycharm版本李沐【动手学深度学习v2PyTorch版】课程笔记CUDA选择11,实际下载12.5.0
- llama-cpp-python CUDA error问题
0语1言
python人工智能llamalinux
安装完cuBLAS(CUDA)版本的llama-cpp-pythonCMAKE_ARGS="-DLLAMA_CUBLAS=on"pipinstallllama-cpp-python跑模型,指定n_gpu_layers=-1出现CUDAerrorCUDAerror:theprovidedPTXwascompiledwithanunsupportedtoolchain.一个解决办法拉取llama.cp
- 报错:检测不到cuda解决方案
H_Shelly
pytorch
1.nvidia-smi查看:NVIDIA-SMIhasfailedbecauseitcouldn’tcommunicatewiththeNVIDIAdriver.MakesurethatthelatestNVIDIAdriverisinstalledandrunning.2.nvcc-V看了一下驱动是否还在?存在nvcc:NVIDIA®CudacompilerdriverCopyright©20
- CUDA检测失败的解决方案
HackDashX
Python
CUDA检测失败的解决方案在使用Python进行CUDA编程时,有时候会遇到"CUDAdetectionfailed"的错误信息。这个错误通常表示CUDA驱动程序无法正确地检测到CUDA设备。在本文中,我将为您提供一些解决这个问题的方法。以下是一些可能的原因和相应的解决方案:CUDA驱动程序未正确安装:首先,请确保您已正确安装了与您的CUDA版本相匹配的CUDA驱动程序。您可以从NVIDIA官方网
- Transformer 的辉煌与大模型方向确立,点燃AGI之火把
dingcb168
搜索引擎自然语言处理
GPT3,指明大模型发展方向,点燃大模型软件行业繁荣之火,目前大模型有100万个。DeepSeek-V3,指明下一个阶段大模型发张方向,破壁:资金壁垒:训练成本降低,适配丰富硬件,总过进一步降低资金需求。技术壁垒:模型,技术,开源CUDA壁垒:PTX编程更加底层,大量中国硬件公司,可以适配Transformer架构的奠基2017年,Vaswani等人发表了开创性论文《AttentionisAllY
- 【ubuntu24.04】GTX4700 配置安装cuda
等风来不如迎风去
AI入门与实战cudaubuntu24.04显卡深度学习
筛选显卡驱动显卡驱动NVIDIA-Linux-x86_64-550.135.run而后重启:最新的是12.6用于ubuntu24.04,但是我的4700的显卡驱动要求12.4cuda
- DeepSpeed 在三台T4卡上部署deepseek-r1:32b
MonkeyKing.sun
deepspeed模型
如果你只需要使用DeepSpeed在三台T4卡上部署deepseek-r1:32b模型进行推理,而不进行训练,可以按照以下步骤进行部署。推理部署的重点是利用多台机器和多块GPU来加速模型的推理过程。1.环境准备首先,确保每台机器上都安装了正确的依赖项。步骤:安装CUDA和cuDNN:确保你在每台机器上安装了与T4GPU兼容的CUDA和cuDNN版本,通常CUDA11.0或更高版本。安装CUDA:N
- 【深度学习】无Linux管理员权限,照样可以安装CUDA
土豆炒马铃薯。
LinuxCUDA深度学习linux服务器深度学习pytorch
以下演示内容使用CUDA版本为CUDA11.71、官网官网:CUDA官网下载地址这里会列出所有的CUDA版本,选择需要的版本即可。2、查看系统信息这里分享三个命令,可以查看Linux系统的配置信息,方便下一步下载合适的CUDA版本。可以根据这些命令输出的系统配置信息选择相应的CUDA版本。uname-alsb_release-acat/etc/*release我觉得第三个最好用,输出的信息比较全面
- 解决Pytorch的cuDNN error: CUDNN_STATUS_NOT_INITIALIZED
Jurio.21
Python科研经验Pytorchpytorch人工智能pythonGPUCUDAcuDNN
目录1.问题报错2.可能原因2.1GPU内存不足2.2缓存问题2.3CUDA和Pytorch版本不兼容2.4CUDA和cuDNN版本不兼容3.验证CUDA是否可用4.参考1.问题报错在使用GPU加速模型训练的过程中经常会遇到这样的错误:RuntimeError:cuDNNerror:CUDNN_STATUS_NOT_INITIALIZED这个错误通常表示cuDNN库未能正确初始化。2.可能原因2.
- CUDA环境配置
波小澜
CUDAcudaubuntu环境配置
本文介绍Ubuntu14.04下CUDA环境的安装过程标签高性能计算(HPC)并行化加速学习CUDA最好的去处还是NVIDIA官网,上面许多文档写的都相当不错,比如CUDA编程指南、如何使用cuRand生成随机数等。环境配置博主主要在Linux下进行CUDA程序的开发,包括Ubuntu14.04、CentOS6等以在Ubuntu下安装CUDA为例:首先,在命令行中执行nvidia-smi指令,查看
- 【PyTorch 】【CUDA】深入了解 PyTorch 中的 CUDA 和 cuDNN 版本及 GPU 信息
丶2136
#cudaAI#pytorchpytorch人工智能gpu算力
目录引言一、环境准备1.1重要的环境依赖1.2安装CUDA和cuDNN1.3示例安装步骤1.4PyTorch、CUDA和cuDNN版本兼容性表二、检查CUDA和cuDNN版本三、检查GPU可用性四、测试PyTorch是否正常工作五、PyTorch中的GPU工作流程五、常见问题解答5.1如何更新CUDA和cuDNN?5.2如何在PyTorch中选择特定的GPU?5.3如何解决CUDA内存不足的问题?
- CUDA 学习笔记之程序栈
cs199503
pythonruntime
程序栈驱动是直接操纵设备的,而运行时是立足于驱动之上的,库是建立在驱动和运行时上的。驱动api和运行api是互斥的,不能够同时使用,一般优先使用运行时api,并且runtimeapi无需手工初始化。而driver要求手工初始化。但是driverapi是独立于语言的。runtimeapi使用cudart动态库,以cuda为前缀。而driverapi使用cuda动态库,在使用前要包含相应的库文件,以c
- 【CUDA】 GPU与CPU体系结构对比
WHAT816
CUDA学习分享c语言
1.GPU与CPU运算性能对比在面对并行任务处理时,CPU与GPU的体系结构在设计理念上有着根本的区别。CPU注重通用性来处理各种不同的数据类型,同时支持复杂的控制指令,比如条件转移、分支、循环、逻辑判断及子程序调用等,因此CPU微架构的复杂性高,是面向指令执行的高效率而设计的。GPU最初是针对图形处理领域而设计的。图形运算的特点是大量同类型数据的密集运算,因此GPU微架构是面向这种特点的计算而设
- ext的cuda
rdman84
EXT
EXT做为与用户交互的前端,其功能可以概括为:生成用户界面,与用户实现交互,并与程序(PHP,.NET等)后台通信来完成与用户的交互。生成用户界面:EXT被广泛接受认可的原因之一便是他拥有良好的用户外观。一个系统中最主要的功能便是实现CRUD(新增,读取,更新,删除),同时还有查询。为了将这些功能集中在一起,特意封装了一个EXT的CRUD面板,将这些常用的功能封装成一个类,以便创建易用性良好的界面
- GROMACS-2023.2 安装(GPU加速)
咸鱼啦啦
linux服务器经验分享
预装:1,cmake3.25.2安装,路径加入到bashrc2,gcc版本9.3,路径加入到bashrc3,fftw版本3.3.104,Openmpi4.1.1路径加入到bashrc5,cuda12.1路径加入到bashrc(bin、lib、include都要)(注意bashrc路径要加入在最后一行,否则不生效,天知道什么bug)一,GPU版本gromacs下载及安装:wget https://
- Ubuntu20.04+GeForce RTX 2080 SUPER+cuda11.1+cudnn8.0.4+openCV4.4.0环境搭建
pkuyjxu
cudaubuntu
链接在此:Ubuntu20.04+GeForceRTX2080SUPER+cuda11.1+cudnn8.0.4+openCV4.4.0环境搭建出现的问题1:ubuntu20.04安装libpng12-devlibpng12-0出现的问题2:安装nvidia驱动后无法进入桌面/黑屏,重启ctrl+alt+f2进入命令行系统,备份后删除/etc/X11/xorg.conf文件reboot即可。原因如
- 2025年大年初一篇,C#调用GPU并行计算推荐
zzlyx99
c#开发语言
C#调用GPU库的主要目的是利用GPU的并行计算能力,加速计算密集型任务,提高程序性能,支持大规模数据处理,优化资源利用,满足特定应用场景的需求,并提升用户体验。在需要处理大量并行数据或进行复杂计算的场景中,使用GPU可以显著提高效率。以下是一些在C#中比较常用且好用的调用GPU的库:1.CUDAfy.NET特点:CUDAfy.NET是一个开源库,可以将C#代码转换为CUDA代码,支持在NVIDI
- [黑洞与暗粒子]没有光的世界
comsci
无论是相对论还是其它现代物理学,都显然有个缺陷,那就是必须有光才能够计算
但是,我相信,在我们的世界和宇宙平面中,肯定存在没有光的世界....
那么,在没有光的世界,光子和其它粒子的规律无法被应用和考察,那么以光速为核心的
&nbs
- jQuery Lazy Load 图片延迟加载
aijuans
jquery
基于 jQuery 的图片延迟加载插件,在用户滚动页面到图片之后才进行加载。
对于有较多的图片的网页,使用图片延迟加载,能有效的提高页面加载速度。
版本:
jQuery v1.4.4+
jQuery Lazy Load v1.7.2
注意事项:
需要真正实现图片延迟加载,必须将真实图片地址写在 data-original 属性中。若 src
- 使用Jodd的优点
Kai_Ge
jodd
1. 简化和统一 controller ,抛弃 extends SimpleFormController ,统一使用 implements Controller 的方式。
2. 简化 JSP 页面的 bind, 不需要一个字段一个字段的绑定。
3. 对 bean 没有任何要求,可以使用任意的 bean 做为 formBean。
使用方法简介
- jpa Query转hibernate Query
120153216
Hibernate
public List<Map> getMapList(String hql,
Map map) {
org.hibernate.Query jpaQuery = entityManager.createQuery(hql);
if (null != map) {
for (String parameter : map.keySet()) {
jp
- Django_Python3添加MySQL/MariaDB支持
2002wmj
mariaDB
现状
首先,Django@Python2.x 中默认的引擎为 django.db.backends.mysql 。但是在Python3中如果这样写的话,会发现 django.db.backends.mysql 依赖 MySQLdb[5] ,而 MySQLdb 又不兼容 Python3 于是要找一种新的方式来继续使用MySQL。 MySQL官方的方案
首先据MySQL文档[3]说,自从MySQL
- 在SQLSERVER中查找消耗IO最多的SQL
357029540
SQL Server
返回做IO数目最多的50条语句以及它们的执行计划。
select top 50
(total_logical_reads/execution_count) as avg_logical_reads,
(total_logical_writes/execution_count) as avg_logical_writes,
(tot
- spring UnChecked 异常 官方定义!
7454103
spring
如果你接触过spring的 事物管理!那么你必须明白 spring的 非捕获异常! 即 unchecked 异常! 因为 spring 默认这类异常事物自动回滚!!
public static boolean isCheckedException(Throwable ex)
{
return !(ex instanceof RuntimeExcep
- mongoDB 入门指南、示例
adminjun
javamongodb操作
一、准备工作
1、 下载mongoDB
下载地址:http://www.mongodb.org/downloads
选择合适你的版本
相关文档:http://www.mongodb.org/display/DOCS/Tutorial
2、 安装mongoDB
A、 不解压模式:
将下载下来的mongoDB-xxx.zip打开,找到bin目录,运行mongod.exe就可以启动服务,默