显存第3页

【深度学习】AMP（Automatic Mixed Precision，自动混合精度）

AutomaticMixedPrecision，自动混合精度）AMP在深度学习中，AMP（AutomaticMixedPrecision，自动混合精度）是一种通过混合使用单精度（FP32）和半精度（FP16）来加速训练并减少显存占用的技术

shanks66·2025-01-19 04:38

BladeDISC++：Dynamic Shape AI 编译器下的显存优化技术

本文将介绍阿里云PAI团队近期发布的BladeDISC++项目，探讨在动态场景下如何优化深度学习训练任务的显存峰值，主要内容包括以下三个部分：DynamicShape场景下显存优化的背景与挑战BladeDISC

·2025-01-17 20:51

framebuffer帧缓存

framebuffer驱动程序控制LCD显示设备，通过映射framebuffer设备到用户空间，应用程序可以直接对显存进行操作，从而控制LCD显示内容framebuffer使用显示屏：800*600（横向

我相遇拾年·2024-09-14 15:05

深度学习的零碎知识点

显卡内存什么是显卡内存简单来说就是，Windows会在物理显存/「专用GPU内存」不够用或只有集成显卡的情况下，将物理内存RAM当作GPU的虚拟显存/「共享GPU内存」来使用。

csdn_now·2024-09-13 13:50

FrameBuffer

是Linux为显示设备提供的一个接口，把显存抽象后的一种设备，允许上层应用程序在图形模式下直接对显示缓冲区进行读写操作控制fb。

[MoonquakesJ·2024-09-11 23:11

Windows电脑的显存容量查看

要查看Windows电脑的显存容量，可以按照以下步骤进行：1、通过系统信息查看：在Windows操作系统中，您可以使用系统信息来查看显存容量。

Code_Geo·2024-09-08 23:48

哈工大操作系统的笔记

(1)是计算机在底层通过一些汇编指令，cpu将"hello,world"在0x68的内存中存储，然后通过汇编指令将0x68写入777显存地址，然后到图形控制器，就可以输出了。

江南弄·2024-09-02 17:20

大模型训练优化方法

写在前面在训练模型尤其是大模型的时候，如何加快训练速度以及优化显存利用率是一个很关键的问题。

少喝冰美式·2024-08-30 05:28

大模型训练和推理

transformer架构二、大模型训练1.SFT训练2.RLHF训练3.分布式并行训练技术（1）模型并行（2）数据并行4.MoE技术4.PEFT训练5.上下文扩展技术三、大模型推理1.模型压缩（1）剪枝（2）量化2.显存优化技术

李明朔·2024-08-30 01:27

进阶岛 - LMDeploy 量化部署进阶实践

一、显存计算方法InternLM系列模型的显存使用主要2部分构成：模型权重kvcache以InternLM2.5-7b-chat为例，它的权重类型是bfloat16，即一个参数占用2字节的浮点数。

ydogg·2024-08-26 17:30

5分钟 Stable Diffusion 本地安装

安装前的准备确保系统要求：您需要一台安装了NVIDIA显卡的计算机（最好支持CUDA，至少6GB显存）。操作系统：Wind

狒狒伯尼·2024-08-26 10:45

英伟达A100、A800、H100、H800、V100以及RTX 4090的详细性能参数对比

CUDA核心数：6912个Tensor核心数：432个Boost时钟频率：1.41GHz性能：FP32性能：19.5TFLOPSFP64性能：9.7TFLOPSTensor性能：624.6TFLOPS内存：显存容量

算力资源比较多·2024-08-26 00:48

深度学习多GPU训练原理

数据并行的方法把一个batch的所有数据平均分配到每块GPU的显存里，把模型参数在每个GPU显存上拷贝一份。

浦东新村轱天乐·2024-08-25 22:31

超分 Real-ESRGAN 使用笔记

效果图目录依赖项：推理入口文件：RealESRGAN_x4plus12g显存不够RealESRGAN_x4plus_anime_6B的效果树枝之间产生了蒙版RealESRNet_x4plus有点模糊2022

AI算法网奇·2024-08-25 15:48

pytorch实现模型搭建

通常是在你有GPU的情况下需要这样显式进行设备的设置，从而在需要时，你可以将变量从主存迁移到显存中。如果没有GPU，不获取也没事，pytorch会默认将参数都保存在主存中。

Fiona.y·2024-08-24 21:30

LLM基础｜模型后量化原理、量化类型及方式、量化实现效果

（笔者最近在使用丐版colab运行Llama-Chat-7B，这个模型模型大小为13G，要求的显存也在13G左右，丐版无法承受）为了解决这个应用LLM的实际问题（即LLM对显存的占用大，在高并发的环境下

Sunny_AI_addict·2024-08-22 16:04

Linux命令：Nvidia显卡状态监控命令

有时候需要在linux中一直监控显卡的状态，包括功率，温度，显存占用。因此使用Nvidia显卡状态监控命令：#使用watch命令watch-n0nvidia-smi0是几秒刷新一下

Bean_zx·2024-03-25 00:43

Linux服务器进程退出了，但是显存占用问题的解决

outofmemory，但是并没有程序在跑，搜索了一下回忆起来之前遇到过这种问题，是自己看不见进程可以通过运行命令ps-ef或者psaux查看所有的进程与PID运行命令kill-9（pid）结束目标进程再次查看显存

交换喜悲·2024-03-16 05:07

DirectX诊断工具，dxdiag程序查看系统硬件信息显卡内存图文教程

标签栏我们点一下显卡，可以看到显卡的名称，型号，显存，还有一些驱动信息。我们再点一

老盖聊技术·2024-03-05 17:27

核显的显存是怎样设置的？是否需要自行修改核显显存大小？

CPU核显，即集成在CPU内部的图形处理单元（GPU），通常使用系统内存（RAM）作为其显存。这部分显存不是物理上独立出来的，而是通过软件动态分配的。

sagima_sdu·2024-02-20 22:47

想要自己的专属 AI 猫娘助理？教你使用 CPU 本地安装部署运行 ChatGLM-6B实现

关键的是结合模型量化技术，ChatGLM-6B可以本地安装部署运行在消费级的显卡上做模型的推理和训练（全量仅需14GB显存，INT4量化级别下最低只需6GB显存）虽然智商比不过openAI的ChatGPT

恒TBOSH·2024-02-20 21:05

[技术杂谈]Chat With RTX 介绍

据官网信息显示，想要安装该聊天机器人应用，用户的系统配置需使用Nvidia的30系/40系显卡（或Ampere/Ada架构的其他显卡），且显存至少为8GB。此

FL1623863129·2024-02-20 13:46

LLM 参数，显存，Tflops? 训练篇(1)

参数占用显存多少，能不能装的下我需要多少算力来支撑本文就针对一个标准的Transfomer模型的套路和大家简单说一下为了后文大家看算式明白，我们先约定一下每个变量代表的意义L:Transfomer有多少层

周博洋K·2024-02-20 06:59

Benchmarking PIM-attention: A Puncture Experiment on a Real Processing-in-Memory Architecture

一方面，每个请求的键值缓存（KVcache）占用大量的内存，而且会动态增长和收缩，显存容量不足限制了批处理的大小；另一方面，attention算法中大量使用访存密集型的GEMV算子，显存带宽成为了系统瓶颈

简vae·2024-02-19 14:03

【AIGC】Stable Diffusion的ControlNet参数入门

下面是关于ControlNet的界面参数的详细解释：低显存模式是一种在深度学习任务中用于处理显存受限设备的技术。

AIGCExplore·2024-02-19 12:26

显存位宽。

显存位宽是指显存在一个时钟周期内所能传送的数据位数，它影响着显卡的性能。1.概念和作用：显存位宽是显卡和GPU之间通信的重要参数，它决定了显卡在处理图形数据时的数据吞吐量。

小小娱乐·2024-02-14 18:45

《No frame left behind: Full Video Action Recognition》

文章认为将视频中所有的帧利用起来会对分类任务有所帮助，所以文章提出了一种既不占用大量显存也不增加太多计算时间的方式来利用所有的视频帧进行视频的分类任务。一、研究动机现有的算法对于将

ce0b74704937·2024-02-14 11:52

【阅读摘录】《中国人的人文精神》三

科学与人文的动态平衡二十世纪我们的文化明显存在两大不平衡：一是西方文化与传统文化的比例失衡，二是自然科学和人文科学的比例失衡。

时光驿站的印记·2024-02-13 22:42

大模型推理知识

1为什么大模型推理时显存涨的那么多还一直占着？

lichunericli·2024-02-13 19:55

大模型微调知识

在模型基础上做全参数微调，需要多少显存？要确定全参数微调所需的显存量，需要考虑以下几个因素：模型的大小：模型的大小是指模型参数的数量。通常，参数越多，模型的大小就越大。

lichunericli·2024-02-13 13:46

AI绘画，小白入门攻略（stable diffusion）

全新加速解压即用防爆显存三分钟入门AI绘画☆可更新☆训练☆汉化】https://www.b

D+M·2024-02-13 10:33

解决gpu没有运行进程，但是显存一直占用的方式

通常情况下，停止进程显存会释放但是如果在不正常情况关闭进程，可能不会释放，这个时候就会出现这样的情况：MonOct1916:00:002020+-----------------------------

喝粥也会胖的唐僧·2024-02-13 08:08

实验室服务器使用指南06：kill-9杀不死进程及无进程占用GPU但显存占用大

参考资料杀掉kill-9杀不死的进程nvidia-smi无进程占用GPU但GPU显存被占用很多1.最初是想杀掉8208这个进程，然后很自然地就想kill-982082.用了kill-9这个命令之后就发现

Coder_L2·2024-02-13 08:07

终止进程后，GPU显存仍被占用问题 | kill -9彻底杀死进程 | ps aux|grep python

问题描述：在Linux终端把进程终止后，发现显存没有被释放出来！

eeeasyFan·2024-02-13 08:37

Linux——杀死“僵尸”进程及解决无进程但显存占用问题

9PID之后出现“僵尸”进程，如下图，也就是Linux进程PID变为短横线2、查看当前进程及其父进程ps-ef|grepdefunct|more3、杀死其父进程即可kill-926475二、解决无进程但显存占用

HiJack¹·2024-02-13 08:37

性价比满满的大显存甜点卡，Sparkle（撼与科技）Intel Arc A770 TIT

●前言一直以来，2000元左右价位的独立显卡总是被玩家们称为“甜点级”显卡，因为这个价位段的显卡有着不俗的性能，游戏和生产力都能兼顾，而且不算太贵的定价也是能够让大众所接受，整体算下来还是很有性价比的。然而，在众多的甜点级显卡当中，除了N、A两家的甜点级显卡之外，前些年入局独显的英特尔也是有对应的产品可选，比如A770以及A750就有着优于同价位竞品的性能以及更低的售价，性价比尤为突出。作为英特尔

焦点易讯·2024-02-12 18:08

WSL下如何使用Ubuntu本地部署Vits2.3-Extra-v2:中文特化修复版（新手从0开始部署教程）

环境：硬：台式电脑1.cpu:I511代以上2.内存16G以上3.硬盘固态500G以上4.显卡N卡8G显存以上20系2070以上本案例英伟达407012G5.网络可连github软：Win10专业版19045

玩电脑的辣条哥·2024-02-12 06:11

ChatGLM3-6B 对话预训练模型【官方教程】

大模型##GpuMall智算云算力##租赁选择ChatGLM3-6B镜像创建实例提示训练ChatGLM3-6B模型，显卡显存建议选择等于大于16GB以上的显卡，因为ChatGLM3-6B模型载入后会占用大约

·2024-02-11 18:27

CUDA优化：最大化内存吞吐量（官方文档翻译）

这意味着最小化主机（内存）和设备（显存）之间的数据传输，因为正如主机和设备间的数据传输中详述的那样——这样的数据传输

EthanLifeGreat·2024-02-11 06:44

20240210使用剪映识别字幕的时候的GPU占比RX580-RTX4090

专用显存占用过半。4GB

南棱笑笑生·2024-02-11 02:11

在Ubuntu22.04上部署ComfyUI

每一个模块都有特定的的功能，我们可以通过调整模块连接达到不同的出图效果，特点如下：1.对显存要求相对较低，启动速度快，出图速度快；2.具有更高的生成自由度；3.可以和webui共享环境和模型；4.可以搭建自己的工作流程

BBM的开源HUB·2024-02-10 15:09

在ComfyUI上安装动画生成插件Stable Video Diffusion

上一章节我们介绍了Stablevideodiffusion的安装及初步使用，我们发现SVD的运行需要较大的显存，但是如果将SVD作为插件安装在ComfyUI上面，发现ComfyUI可以很好的管理显存，同时配合

BBM的开源HUB·2024-02-10 15:09

深度学习训练中的OOM

1、内存、显存的概念内存是相对于CPU来说的，而显存是相对于GPU来说的。

京漂的小程序媛儿·2024-02-10 04:45

windows下解决占用显存的残留进程

查看显卡的使用情况我们可以看到有一个进程在使用显卡，PID=10452接下来通过taskkill/PID杀死这个进程，如果杀不掉就加上/F再输入nvidia-smi查看一下可以看到没有进程占用GPU了，显存也从

73826669·2024-02-09 18:38

diffusers单机多卡推理（全网首发）

起因博主在部署InstantID项目时，显存不够，想要将模型分散在多张卡上。

半度、·2024-02-09 15:44

使用阿里云通义千问14B（Qianwen-14B）模型自建问答系统

模型参数量大，推理过程中对显存（GPU内存）的要求高，可能需要多块高端GPU，并且考虑是否支持模型并行或数据并行以充分利用硬件资源。单卡显存需求：根据之前的信息，Qianwen-14B微调

wangqiaowq·2024-02-09 12:20

LLaMA 2 和 QianWen-14B

以下是一些硬件要求摘要：LLaMA270B推理时全精度（FP32）显存占用最低要求为约280GB。对于微调和推理，Llama-13B建议使用至少10GBVRAM（显存）的