显存第8页

linux 僵尸进程关闭看不见的进程

AI视觉网奇·2023-12-06 04:16

Adaptive Softmax

这样会引起常见的两个问题：参数量巨大会直接影响线上部署显存占用，单点部署的进程数就会收到限制，云上GPU是很贵的自然语言中单词的分布服从齐夫定

chao0804·2023-12-05 14:01

使用autodl服务器，两个3090显卡上运行， Yi-34B-Chat-int4模型，并使用vllm优化加速，显存占用42G，速度23 words/s

1，演示视频地址https://www.bilibili.com/video/BV1Hu4y1L7BH/使用autodl服务器，两个3090显卡上运行，Yi-34B-Chat-int4模型，用vllm优化，增加--num-gpu2，速度23words/s2，使用3090显卡和使用A40的方法一样https://blog.csdn.net/freewebsys/article/details/134

fly-iot·2023-12-05 08:10

技巧-GPU显存和利用率如何提高和batch_size/num_works等参数的实验测试

目录简介实验测试显存占用问题GPU占用率波动问题num_work不是越大越好总结本专栏为深度学习的一些技巧,方法和实验测试,偏向于实际应用,后续不断更新,感兴趣童鞋可关,方便后续推送简介在PyTorch

zwhdldz·2023-12-04 13:27

方法-进程已经杀死但是显存还未释放怎么办(ubuntu)

本专栏为深度学习的一些技巧,方法和实验测试,偏向于实际应用,后续不断更新,感兴趣童鞋可关,方便后续推送现象训练程序ctrl+c后,依然显示显存占用nvidia-smiMonDec614:26:332021

zwhdldz·2023-12-04 13:26

DeepFaceLab进阶（4）：通过Colab免费使用Tesla K80 跑模型！

CPU能跑，但是慢到怀疑人生，低配模型都得跑一周低配显卡，显存不够，H128根本就跑不起来，BS稍微大点就蹦了本地不行，其实可以用GPU服务器，但是价格不比买个高配显卡便宜。

托尼是塔克·2023-12-04 12:12

Stable Diffusion 系列教程 - 1 基础准备（针对新手）

使用SD有两种方式：本地：显卡要求：硬件环境推荐NVIDIA的具有8G显存的独立显卡，这个显存勉勉强强能摸到门槛。再往下的4G可能面临各种炸显存、炼丹失败、无法生成图片等各种问题。

@会飞的毛毛虫·2023-12-03 22:36

树莓派3b+显示异常

显存设置太小了，直接从75m改为448吗，就ok了。

小爱同学的同桌·2023-12-03 04:01

如何手工获取并更新ESXi中macOS的VMware Tools版本

macOS虚拟机（VMwareESXI部署macOSMonterey），也大概介绍了如何安装VMwareTools，因为VMwareTools可以提供对虚拟硬件的更好支持，尤其是图形卡，可以识别到更大的显存对使用体验至关重要

Danileaf_Guo·2023-12-02 18:30

GPT实战系列-大模型训练和预测，如何加速、降低显存

GPT实战系列-大模型训练和预测，如何加速、降低显存不做特别处理，深度学习默认参数精度为浮点32位精度（FP32）。

Alex_StarSky·2023-12-02 13:09

ChatGLM2-6B本地化部署

ChatGlm2-6B部署【GPU显存建议12G以上，以下为单卡GPU环境】环境需求【当前环境未使用虚拟环境，建议使用虚拟环境安装】#安装Python3.8及以上#torch2.0对应CUDA11.7/

陈陈小网工·2023-12-02 12:50

基于mps的pytorch 多实例并行推理

是否可以同时加载多个模型实例到显存空间，且能实现多个实例同时并发执行？本次实验测试基于mps的方案，当请求依次过来时，多个相同的实例推理任务就可以同时运行。显然，该方法需要显卡测提供某种支持。

海棠花不香·2023-12-02 10:13

实现一个高并发的Redis分布式锁

分布式环境,redissetnx分布式锁基础版问题1问题2问题3Redisson分布式锁ReadLock红锁算法红锁存在问题1.无锁场景下面是一个扣减库存逻辑,由于查库存和扣减库存两个操作不是原子的,明显存在并发超卖问题

kk_0910·2023-12-02 06:27

Embedding压缩之hash embedding

MaskNet中，阐述了特征建模的重要性，并且介绍了一些微博在特征建模方面的研究实践，再次以下面这张图引出今天的主题：在推荐系统中，特征Embedding是极其重要的一部分，并且占了模型体积的大头，消耗巨大的显存

我就算饿死也不做程序员·2023-12-01 23:59

Mysql 字符集配置修改操作

Oracle等其它数据库管理系统都只能使用相同的字符集，相比之下，MySQL明显存在更大的灵活性。MySQL的字符集和校对规则有4个级别的默认设置，即服务器级、数据库级、表级和字

it技术分享just_free·2023-12-01 18:54

使用autodl服务器，在A40显卡上运行， Yi-34B-Chat-int4模型，并使用vllm优化加速，显存占用42G，速度18 words/s

演示视频https://www.bilibili.com/video/BV1gu4y1c7KL/使用autodl服务器，在A40显卡上运行，Yi-34B-Chat-int4模型，并使用vllm优化加速，显存占用

fly-iot·2023-12-01 08:40

mmdetection_3-训练自己的数据集

修改格式（可选）修改configs/_base_/datasets/coco_detection.py中的image_scale显存为4G建议改成(800,500),这里是多尺度训练。

YilK·2023-12-01 05:51

玄学调参实践篇 | 深度学习模型 + 预训练模型 + 大模型LLM

设多大基本看你的显卡显存能不能hold得住咯。学习率：常

#苦行僧·2023-12-01 00:37

低配和小白福音，4G显存玩转最强AI绘画模型

每天玩点新东西才能让我感觉到快乐！今天要介绍的是一个AI绘画软件“Fooocus”。这个项目对AI绘画的入门级玩家实在是太友好了。友好主要是体现在两个点：一个是安装和使用超简单。一个是对设备要求特别低。具体一点说就是：Fooocus是借鉴了StableDiffusion的离线，开源，免费，同时也吸收了Midjourney使用简单的特性，不需要手动调整，用户只需关注提示和图像即可。Fooocus包含

产品大道·2023-11-30 20:17

ComfyUI搭建使用教程

ComfyUI因为内部生成流程做了优化，生成图片时的速度相较于WebUI有10%~25%的提升（根据不同显卡提升幅度不同），生成大图片的时候不会爆显存，只是图片太大时，会因为切块运算的导致图片碎裂。

培根芝士·2023-11-29 13:31

新一代消费级显卡 GeForce RTX 30 系列出炉

「从架构、定制流程设计、电路、逻辑、封装、seriesIO、显存、供电、散热、软件和算法……我们在所有层面

磕就完事儿·2023-11-29 10:42

接纳负面情绪，凸显存在的正向意义

赵秀珍沧州焦点解决68期学习分享第7天20190809焦点之所以强调重新建构的重要性，是因为焦点认为负向情绪的持续同理共情，有时反而使当事人更加沈陷于痛苦之中，难以采取有效行动。以重新建构来辨识、认可以及肯定当事人各类情绪背后的正向意义，将能转化当事人的负面情绪，甚至使其开始采取行动。一般化与重新建构的技巧回应，往往会给当事人新的观点，当事人的负性情绪也会有所减弱。往往在当事人的情绪被理解和接纳后

赵秀珍_ca19·2023-11-26 22:45

Failed to initialize NVML: Driver/library version mismatch

GPU0;6.00GiBtotalcapacity;4.47GiBalreadyallocated;186.44MiBfree;4.47GiBreservedintotalbyPyTorch)正常来说这是爆显存了

追忆苔上雪·2023-11-26 11:09

【跟官网学opencv-python】笔记1.1：图像与视频的读写显存

目录前言一、图像操作参数详解1、cv2.imread(filename:Any,flags:Any=None)读取图像2、cv2.imshow(winname:Any,mat:Any)显示图像3、cv2.imwrite(filename:Any,img:Any,params:Any=None)保存图像代码演示二、视频操作参数详解1、从相机获取视频1.1、连接计算机摄像头1.2、连接外部(海康)工业

小庄AI应用·2023-11-26 06:10

多GPU训练

单个小批量上的多GPU训练（1）将小批量数据样本划分并复制到各个显存上；（2）在各块GPU上分别反向传播；（3）把各块显存上的梯度加起来；（4）广播到所有显存上；（5）在各块显存上分别更新模型参数。

MusicDancing·2023-11-25 12:47

CUDA out of memory怎么解决

"CUDAoutofmemory"错误可以通过以下几种方法解决:减少batchsize使用GPUmemory压缩重新分配GPU内存卸载不必要的显存占用程序.

不卡不卡·2023-11-24 23:02

3ds Max 电脑配置建议 | 建模+渲染选专业显卡or游戏显卡？

一般而言，3dsMax渲染吃的是CPU，对于这样的情况，建议选择多核、多显存、大缓存的高端CPU，对

LhcyyVSO·2023-11-24 17:57

模型训练-3D并行

目录1.数据并行（DataParallel）1.1常规数据并行1.3数据并行带来的显存优化效果2.模型并行2.1原理2.2模型并行带来的显存优化结果3.ZeRO3.1ZeRO13.2ZeRO23.3ZeRO33.4

佛系调参·2023-11-24 15:45

【TensorFlow】：在Linux上安装nvidia-docker环境，解决显卡切换问题，只需要几步就可以成功安装，安装之后登陆不了界面，只能变成服务器模式命令后执行了。

nvidia-docker2，首先要关闭切换bios，默认使用集成显卡，禁用nouveau3，安装nvidia的驱动和nvidia-docker23，最后可以执行gpt-2-simple的项目了，然后显存太小

fly-iot·2023-11-23 18:50

如何查看服务器gpu性能,ubuntu服务器查看GPU和CPU实时使用情况

GPU什么是Nvidia-sminvidia-smi是nvidia的系统管理界面，其中smi是Systemmanagementinterface的缩写，它可以收集各种级别的信息，查看显存使用情况。

weixin_39715834·2023-11-23 16:07

linux GPU显存泄漏解决方法

今天发现gpu并没有进程，但是占用着显存，目测可能内存泄露了我这里分享一下我的解决过程，我是root用户：aptinstallpsmiscfuser-v/dev/nvidia*可以发现很多僵尸进程：然后全部杀死

农民小飞侠·2023-11-23 16:06

linux 检测 GPU 占用率

在使用TensorFlow跑深度学习的时候，经常出现显存不足的情况，所以我们希望能够随时查看GPU时使用率。如果你是Nvidia的GPU，那么在命令行下，只需要一行命令就可以实现。

starhiking·2023-11-23 16:31

在Linux系统上检测GPU显存和使用情况

在Linux系统上，你可以使用一些命令行工具来检测GPU显存和使用情况。

至善迎风·2023-11-23 16:26

Python命令行在linux下彩色监控GPU使用情况

watch--color-n1gpustat-cpu--color结果如下图所示：（其中28℃代表温度，0%代表利用率，316表示占用显存，24576代表总显存，gdm表示用户，org表示进程，2203

凯里.欧群·2023-11-23 16:52

如何在Linux系统上检测GPU显存和使用情况？

如何在Linux系统上检测GPU显存和使用情况？在Linux系统上，你可以使用一些命令行工具来检测GPU显存和使用情况。

单片机一哥·2023-11-23 16:47

使用CUDA计算GPU的理论显存带宽

文章目录一、显存带宽和理论显存带宽1.显存带宽2.理论显存带宽1）计算公式2）举例二、利用CUDA计算理论显存带宽一、显存带宽和理论显存带宽1.显存带宽显存带宽是指显存和GPU计算单元之间的数据传输速率

不喜欢打篮球的厨师不是好程序员·2023-11-23 05:57

解析大型语言模型的训练、微调和推理的运行时性能

结合自己实际工作需要和论文给出的运行时数据分析，总结了下面几条：1.二次预训练最低硬件配置，如果想要自己做简单二次预训练（7、13、70B参数）最小8卡80g显存A1002.对于小规模sft对考虑

远洋之帆·2023-11-22 12:57

黑苹果新手指导：名词解释&常用软件&常见问题说明

安装完进入系统后显示显存7MB，非常卡顿？

坦笑&&life·2023-11-22 12:52

黑苹果入门：资源、安装、使用、问题、必备工具、驱动篇

安装完进入系统后显示显存7MB，非常卡顿？我修改了config.plist文件后进不去系统了，怎么办？使用篇黑苹果字体模糊？为什么用iStatMenus无法检测硬件状态信息？我的主板自带WiFi和蓝牙

坦笑&&life·2023-11-22 12:22

手把手带你在AutoDL上部署ChatGLM3 Web Demo

环境准备在autodl平台中租一个3090等24G显存的显卡机器，如下图所示镜像选择PyTorch–>2.0.0–>3.8(ubuntu

不要葱姜蒜_kmon4·2023-11-21 21:41

autodl实践经验------3

简单记录一下遇到的新问题：显存跑炸了。但是我发现两个问题：1、要为解冻阶段留裕量，我前面只考虑了冻结阶段的batch_size在显存允许的情况下尽可能大，然后一进入解冻阶段，显存就炸了。

Jormungand123·2023-11-21 21:11

手把手带你在AutoDL上部署InternLM-Chat-7B Transformers

InternLM-Chat-7BTransformers部署调用环境准备在autoal平台中租一个3090等24G显存的显卡机器，如下图所示

Unicornlyy·2023-11-21 21:08

0 paddle::pybind::ThrowExceptionToPython(std::__exception_ptr::exception_ptr)

batch_size太大，超出显存大小了，试着调节一下batch_sieze报错信息如下C++Traceback(mostrecentcalllast):0paddle::pybind::ThrowExceptionToPython

脚踏南山·2023-11-21 10:42

揭秘：仅用一块3090，轻松高效部署InternLM-20B大模型！

200亿参数，大约占40G显存。意味着，要能推理起来InternLM-20B，不得不租用价格高昂的A100服务器。有没有经济一些的方法呢？答案是有的。那就是低比特量化和推理。LMDeploy支持对L

风度78·2023-11-21 10:56

7台不同配置M1 MacBook Pro真实测试

有很多小伙伴在买新款MacBookPro电脑的时候，不知道怎么选择，下面测试7台不同配置的M1、M1Pro、M1max笔记本，尤其是内存、显存带宽方面的测试，让大家有一个基本认识。

小柯基分享·2023-11-21 02:03

UE 各类疑难杂症/快捷键/细节/优化方式

文章目录修改c盘缓存位置快捷键设置进入场景后的默认关卡运行时显示鼠标滚轮缩放视角su导入ue，模型材质记得调整为双面降低运行/显存负担渲染时间优化相机与后处理体积隐藏物体批量修改lod修改c盘缓存位置链接

ye_liu_arch·2023-11-21 00:57

“跨”平台经营权益小沃会员能否出奇制胜？

小沃科技，这家随着联通混改愈发凸显存在感的子公司，正在以相当快的速度成长起来。其明星产品“小沃会员”，更是在短时间内吸引了业内外的目光。

风中寄托的信·2023-11-21 00:51

MegEngine 中动态图显存优化（DTR）的实现与优化

几年间，最先进的模型的参数量已增加了成百上千倍，但每张GPU的显存大小却几乎没有增长。这导致大模型的训练往往依赖于巨量的GPU卡数。于是，很多想法出色、有研究

MegEngine_Bot·2023-11-20 15:15

大语言模型量化方法对比：GPTQ、GGUF、AWQ

delmodel,tokenizer,pipeimporttorchtorch.cuda.empty_cache()如果在jupyter中无法释放显存，请重启这个jupyterno

deephub·2023-11-20 12:49

pythorch的numel()函数计算模型大小与现存占用

本文解释简单给一个模型列子记录如何计算该模型参数量与模型显存占用情况，该文直接调用torchvision库的模型文件构建模型model，在使用parameters()函数遍历，并在遍历情况下使用numel

tangjunjun-owen·2023-11-19 22:57

推荐频道

显存

linux 僵尸进程 关闭看不见的进程