24G显存

YOLOv5结构改进——dynamicRELU和可变形卷积(DCN)

DCNv2可变形卷积源码和原理DCNv3这个链接的DCNv2实现有着极大的计算开销，十分消耗显存。
didi5939·2023-12-21 01:33

在Ubuntu 18.04安装tensorflow 1.12 GPU版本

1.配置信息我的老电脑配置如下：CPUi5-4210M16G内存GPUGTX950M显存2G128GSSDUbuntu18.04这个配置一般，但是为了不让我的mac发
雇个城管打天下·2023-12-20 10:43

【AI进阶】Stable Diffusion安装部署

目录1.StableDiffusion简述2.sd下载安装3.sd运行使用低于3G显存4G显存低于5G显存6G显存生成图片4.C站-安装模型1.StableDiffusion简述StableDiffusion
script-pro·2023-12-19 06:54

GPT实战系列-大话LLM大模型训练

Baichuan2等大模型的计算精度与量化GPT实战系列-GPT训练的Pretraining，SFT，RewardModeling，RLHFGPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G
Alex_StarSky·2023-12-18 18:11

GPT实战系列-探究GPT等大模型的文本生成

等大模型的计算精度与量化-CSDN博客GPT实战系列-GPT训练的Pretraining，SFT，RewardModeling，RLHF-CSDN博客GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G
Alex_StarSky·2023-12-18 18:09

【linux】挖矿病毒nanominer伪装成python占用服务器GPU！本文带你分析并杀毒！

病毒表现gpustat-cpu可以看到root用户将GPU的核心跑满了每个占用都是100%，显存吃了6G多。
繁星¹⁸⁹⁵·2023-12-18 16:38

QLoRA论文概述

EfficientFinetuningofQuantizedLLMsQLoRA论文概述前言（省流版本）摘要论文十问实验实验1数据集和模型实验结论实验2数据集和模型实验结论局限性模型尺度数据集其他微调方法QLoRA论文概述前言（省流版本）微调需要大量显存资源
江小皮不皮·2023-12-18 03:06

深度学习基础篇之Batch_Size

整个数据集训练的话，损失肯定是最稳定的，但是数据太大时内存显存大小无法满足要求，计算得到的梯度差别较大，无法找到一个全局的学习率满足所有的梯度的变化3.如何选取batch_size？
qq_45692660·2023-12-18 00:59

RealBasicVSR高清处理视频

autodl做了镜像：高清RealBasicVSR首先在剪映将视频剪好导出，最多是720像素的，不然后面超分的时候会爆显存。
Vincent不是文森特·2023-12-18 00:30

PyTorch ： torch.cuda.amp: 自动混合精度详解

amp:全称为Automaticmixedprecision，自动混合精度amp总体介绍：可以在神经网络推理过程中，针对不同的层，采用不同的数据精度进行计算，从而实现节省显存和加快速度的目的。
北方骑马的萝卜·2023-12-17 18:14

[引擎开发] 深入GPU和渲染优化（基础篇）

[本文大纲]基础概念GPU架构概述带宽ALUSIMD显存流程控制像素填充率IMR
ZJU_fish1996·2023-12-17 16:48

java 获取GPU 信息（英伟达）

方案一获取已用显存，总显存，gpu名称，使用率等等命令获取gpu信息publicclassShellService{@Value("${micronaut.server.port}")privateIntegermyServerPort
没有腹肌不改名·2023-12-17 16:12

使用java获取nvidia显卡信息

现在的需求是要获取nvidia显卡的使用情况，如剩余显存。这里给出两种较简单的解决方案。基于nivdia-smi工具显卡是硬件，当然需要操作系统支持相关的驱动程序。
天使手儿·2023-12-17 16:40

深度学习踩坑记录

并且这种占显存的方式你在nvidia-smi还看不出来，得去htop里
平平平安喔·2023-12-17 04:23

[论文笔记] chatgpt系列 SparseMOE—GPT4的MOE结构

显存增加。ExpertsChoice：路由MOE：由专家选择token。这样不同的专家都选择到某个token，也可以不选择该token。
心心喵·2023-12-17 00:59

K中期考核-降低显存的关键

读入模型参数-且不占用显卡see_memory_usage(‘message’)#4.读入checkpiont参数state_dict=torch.load('../train-output/'+args.model_name_or_path.split('/')[-1]+'/unet/diffusion_pytorch_model.bin',map_location='cpu')#state_d
计算机视觉-Archer·2023-12-16 15:19

深入浅出：Python内存管理机制详解

1.1、RAM简介1.2、RAM容量1.3、查看电脑内存1.4、监控电脑内存二、RAM是CPU的主内存，显存是GPU的专用内存三、内存管理3.0、不同数据类型的内存范围3.1、python是如何分配内存的
胖墩会武术·2023-12-16 08:11

同一个kmz数据同样的底图在QGIS上显示位置正常, 在Mars3d中显示就偏移了一些

问题：1.同一个kmz数据同样的底图在QGIS上显示位置正常,在网页中显示就偏移了一些在qgis上的显示效果，和在mars3d的显示效果：数据明显存在偏移。
mianmian0103·2023-12-16 03:07

对教师而言幸福是奢侈品

反观我们当下的一些教师，明显存在着职业倦怠。一位教育专家曾指出：今天的中小学是一群不幸福的校长带领着一群不幸福的教师，教着一群不幸福的学生，面对着一群不幸福的家长。“幸福”竟然成了教师的奢侈品。
余清华乐平一小·2023-12-15 23:05

【ChatGLM2-6B】P-Tuning训练微调

机器配置阿里云GPU规格ecs.gn6i-c4g1.xlargeNVIDIAT4显卡*1GPU显存16G*1准备训练数据进入/ChatGLM-6B/ptuningmkdirAdvertiseGencdAdvertiseGen
太空眼睛·2023-12-15 18:30

LLaMA-Factory可视化界面微调chatglm2；LoRA训练微调模型 简单案例

可视化界面微调chatglm2类似工具还有流萤，注意是做中文微调训练这块；来训练微调的chatglm2需要完整最新文件，不能是量化后的模型；另外测试下来显卡资源要大于20来G才能顺利，这边T4单卡训练中间显存不足
loong_XL·2023-12-15 13:59

StabilityAI成功将Stable Video DiffusionAI视频模型项目显存需求降至20G的研究突破

在StabilityAI(一家初创公司，旗下拥有强大的绘画工具——StableDiffusion)的最新研究中，他们成功地将StableVideoDiffusionAI视频模型项目的运行显存需求从40GB
喜好儿aigc·2023-12-15 13:51

显存优化 Trick（gradient_accumulation、gradient_checkpointing、xformers）

目录OutofMemoryGradientAccumulationGradientCheckpointingXformersDiffusers的显存优化OutofMemory先来说下OOM问题，其实也是日常会遇到的情况
Yuezero_·2023-12-15 05:59

探索AIGC未来：CPU源码优化、多GPU编程与中国算力瓶颈与发展

★人工智能；大数据技术;AIGC;Turbo;DALL·E3;多模态大模型；MLLM；LLM；Agent；Llama2；国产GPU芯片；GPU;CPU；高性能计算机；边缘计算；大模型显存占用；5G;深度学习
高性能服务器·2023-12-15 04:30

【Pytorch API笔记8】用torch.cuda.empty_cache()释放所有未使用的缓存内存

骚操作：循环训练多个不同数据集的模型，显存占用得不到释放！那么，在python上，如何释放pytorch开辟的显存呢？PyTorch提供了上下文管理器来控制GPU内存分配。
hjxu2016·2023-12-15 02:07

还没亮相就被嘲成这样，金鹰奖也搞祭天剧本？

但是谁能想到昨晚金鹰奖官方直接发了声明，表示观众最喜爱男女演员的票数存在异常，明显存在涉嫌“刷票”
e46064faf8cf·2023-12-14 23:35

【PyTorch】计算设备

可以用以下方式表示：torch.device('cpu')GPU设备只代表一个GPU和相应的显存。
盛世隐者·2023-12-14 22:40

大模型的实践应用13-量化后的通义千问Qwen的18亿参数在CPU上的部署，最小2GB显存可跑，并利用两种文本流式方式输出

大家好，我是微学AI，今天给大家介绍大模型的实践应用13-量化后的通义千问Qwen的18亿参数在CPU上的部署，最小2GB显存可跑，并利用两种文本流式方式输出。
微学AI·2023-12-14 21:01

实时监控gpu

setPYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:50参考文章：通过设置PYTORCH_CUDA_ALLOC_CONF中的max_split_size_mb解决Pytorch的显存碎片化导致的
LANWENBING·2023-12-06 21:43

linux清除显存占用：

sudofuser-v/dev/nvidia*|awk'{for(i=1;i<=NF;i++)print"kill-9"$i;}'|sudosh
图 (TU商兴)·2023-12-06 19:40

显卡算力总结

https://www.topcpu.net/cpu-r5显卡显存（G）浮点算力FP32（TFLOPS）浮点算力FP16（TensorTFLOPS）RTX4090Ti2493.24RTX40902482
Kun Li·2023-12-06 17:04

从零开始训练一个ChatGPT大模型（低资源，1B3）

adafactor源码地址：https://github.com/yongzhuo/MacroGPT-Pretrain.git踩坑1.数据类型fp16不太行,很容易就Nan了,最好是fp32,tf32,2.单卡如果显存不够
Macropodus·2023-12-06 13:54

2022-05-08 基于卷积神经网络ResNet的车型识别（实验）

（注意内存或者显存小的话，把输入图片大小、批大小减小）在第12次训练中得到最高正确率为0.9259。三、实验分析和总结Res
Luo_淳·2023-12-06 10:52

正点原子linux应用编程——提高篇2

FrameBuffer应用编程FrameBuffer介绍帧缓冲(framebuffer)是Linux系统中的一种显示驱动接口，它将显示设备(如LCD)进行抽象、屏蔽了不同显示设备硬件的实现，对应用层抽象为一块显示内存(显存
努力自学的小夏·2023-12-06 09:45

linux 僵尸进程 关闭看不见的进程

多卡训练，如果显存不够，程序会崩溃退出，但是gpu显存会一直占用。
AI视觉网奇·2023-12-06 04:16

Adaptive Softmax

这样会引起常见的两个问题：参数量巨大会直接影响线上部署显存占用，单点部署的进程数就会收到限制，云上GPU是很贵的自然语言中单词的分布服从齐夫定
chao0804·2023-12-05 14:01

使用autodl服务器，两个3090显卡上运行， Yi-34B-Chat-int4模型，并使用vllm优化加速，显存占用42G，速度23 words/s

1，演示视频地址https://www.bilibili.com/video/BV1Hu4y1L7BH/使用autodl服务器，两个3090显卡上运行，Yi-34B-Chat-int4模型，用vllm优化，增加--num-gpu2，速度23words/s2，使用3090显卡和使用A40的方法一样https://blog.csdn.net/freewebsys/article/details/134
fly-iot·2023-12-05 08:10

技巧-GPU显存和利用率如何提高和batch_size/num_works等参数的实验测试

目录简介实验测试显存占用问题GPU占用率波动问题num_work不是越大越好总结本专栏为深度学习的一些技巧,方法和实验测试,偏向于实际应用,后续不断更新,感兴趣童鞋可关,方便后续推送简介在PyTorch
zwhdldz·2023-12-04 13:27

方法-进程已经杀死但是显存还未释放怎么办(ubuntu)

本专栏为深度学习的一些技巧,方法和实验测试,偏向于实际应用,后续不断更新,感兴趣童鞋可关,方便后续推送现象训练程序ctrl+c后,依然显示显存占用nvidia-smiMonDec614:26:332021
zwhdldz·2023-12-04 13:26

DeepFaceLab进阶（4）：通过Colab免费使用Tesla K80 跑模型！

CPU能跑，但是慢到怀疑人生，低配模型都得跑一周低配显卡，显存不够，H128根本就跑不起来，BS稍微大点就蹦了本地不行，其实可以用GPU服务器，但是价格不比买个高配显卡便宜。
托尼是塔克·2023-12-04 12:12

Stable Diffusion 系列教程 - 1 基础准备（针对新手）

使用SD有两种方式：本地：显卡要求：硬件环境推荐NVIDIA的具有8G显存的独立显卡，这个显存勉勉强强能摸到门槛。再往下的4G可能面临各种炸显存、炼丹失败、无法生成图片等各种问题。
@会飞的毛毛虫·2023-12-03 22:36

树莓派3b+显示异常

显存设置太小了，直接从75m改为448吗，就ok了。
小爱同学的同桌·2023-12-03 04:01

如何手工获取并更新ESXi中macOS的VMware Tools版本

macOS虚拟机（VMwareESXI部署macOSMonterey），也大概介绍了如何安装VMwareTools，因为VMwareTools可以提供对虚拟硬件的更好支持，尤其是图形卡，可以识别到更大的显存对使用体验至关重要
Danileaf_Guo·2023-12-02 18:30

GPT实战系列-大模型训练和预测，如何加速、降低显存

GPT实战系列-大模型训练和预测，如何加速、降低显存不做特别处理，深度学习默认参数精度为浮点32位精度（FP32）。
Alex_StarSky·2023-12-02 13:09

ChatGLM2-6B本地化部署

ChatGlm2-6B部署【GPU显存建议12G以上，以下为单卡GPU环境】环境需求【当前环境未使用虚拟环境，建议使用虚拟环境安装】#安装Python3.8及以上#torch2.0对应CUDA11.7/
陈陈小网工·2023-12-02 12:50

基于mps的pytorch 多实例并行推理

是否可以同时加载多个模型实例到显存空间，且能实现多个实例同时并发执行？本次实验测试基于mps的方案，当请求依次过来时，多个相同的实例推理任务就可以同时运行。显然，该方法需要显卡测提供某种支持。
海棠花不香·2023-12-02 10:13

实现一个高并发的Redis分布式锁

分布式环境,redissetnx分布式锁基础版问题1问题2问题3Redisson分布式锁ReadLock红锁算法红锁存在问题1.无锁场景下面是一个扣减库存逻辑,由于查库存和扣减库存两个操作不是原子的,明显存在并发超卖问题
kk_0910·2023-12-02 06:27

Embedding压缩之hash embedding

MaskNet中，阐述了特征建模的重要性，并且介绍了一些微博在特征建模方面的研究实践，再次以下面这张图引出今天的主题：在推荐系统中，特征Embedding是极其重要的一部分，并且占了模型体积的大头，消耗巨大的显存
我就算饿死也不做程序员·2023-12-01 23:59

Mysql 字符集配置修改操作

Oracle等其它数据库管理系统都只能使用相同的字符集，相比之下，MySQL明显存在更大的灵活性。MySQL的字符集和校对规则有4个级别的默认设置，即服务器级、数据库级、表级和字
it技术分享just_free·2023-12-01 18:54

使用autodl服务器，在A40显卡上运行， Yi-34B-Chat-int4模型，并使用vllm优化加速，显存占用42G，速度18 words/s

演示视频https://www.bilibili.com/video/BV1gu4y1c7KL/使用autodl服务器，在A40显卡上运行，Yi-34B-Chat-int4模型，并使用vllm优化加速，显存占用
fly-iot·2023-12-01 08:40
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他