显存第6页

LMDeploy 的量化和部署

vansin-patch-4/lmdeploy/lmdeploy.md视频：https://www.bilibili.com/video/BV1iW4y1A77P一、模型量化大模型参数量很大，运行起来非常消耗显存和内存

yestolife123·2024-01-14 07:45

大模型实战笔记04——XTuner 大模型单卡低成本微调实战

大模型实战笔记04——XTuner大模型单卡低成本微调实战1、Finetune简介2、XTuner3、8GB显存玩转LLM4、动手实战环节注：笔记内容均为截图课程视频地址：https://www.bilibili.com

等风来随风飘·2024-01-14 00:44

XTuner 大模型单卡低成本微调实战

XTuner大模型单卡低成本微调实战Finetune简介增量预训练微调指令跟随微调LoRAXTuner介绍功能亮点8GB显存玩转LLMFlashAttentionDeepSpeedZeRO上手操作平台激活环境微调参考教程

桑_榆·2024-01-13 17:16

gpu显卡简介

显卡查看算力4.显卡算力、驱动版本（DriverVersion）、CUDAToolkit（CUDAVersion）、PyTorch版本之间的关系5.显卡安装流程6.NVIDIA显卡简介二、实现基本常用参数1.显存

云帆@·2024-01-13 17:44

第一节课笔记——书生·浦语大模型实战营

8G显存

weixin_52626049·2024-01-13 13:03

第九讲单片机驱动彩色液晶屏控制RA8889软件:显存操作

单片机驱动TFT彩色液晶屏系列讲座目录第一讲单片机最小系统STM32F103C6T6通过RA8889驱动彩色液晶屏播放视频第二讲单片机最小系统STM32F103C6T6控制RA8889驱动彩色液晶屏硬件框架第三讲单片机驱动彩色液晶屏控制RA8889软件:如何初始化第四讲单片机驱动彩色液晶屏控制RA8889软件:绘图第五讲单片机驱动彩色液晶屏控制RA8889软件:显示文字：Part1.内部字库第六讲

BW.SU·2024-01-13 12:35

BIOS知识枝桠——GPU

GPU理论阐述概念功能供应商NVIDIAGPU名称解读显存GPU/显卡信息查看、鉴别工具显示接口GPU通用计算编程科普类文章，无实际技术相关，内容来源网络概念图形处理器（英语：GraphicsProcessingUnit

Hi,Hubery·2024-01-13 12:54

【第二课课后作业】书生·浦语大模型实战营-轻松玩转书生·浦语大模型趣味Demo

huggingface_hubpython包，下载InternLM-20B的config.json文件到本地2.进阶作业2.1完成Lagent工具调用Demo创作部署Step1:本地机连接服务器端口Step2:观察显存占用

Kinno酱·2024-01-13 06:21

iTOP-3A5000开发板28路PCIE、4路SATA、2路USB2.0、2路USB3.0、LAN、RS232、VGAHDMI等

桥片采用龙芯7A2000，支持PCIE3.0、USB3.0和SATA3.0.显示接口2路、HDMI和1路VGA，可直连显示器;另外内置一个网络PHY，片内集成了自研GPU，搭配32位DDR4显存接口，支持

mucheni·2024-01-13 02:19

mean-pooling（平均池化），max-pooling（最大池化）、Stochastic-pooling（随机池化）和global average pooling（全局平均池化）的区别简介

max-pooling（最大池化）、Stochastic-pooling（随机池化）和globalaveragepooling（全局平均池化），池化层有一个很明显的作用：减少特征图大小，也就是可以减少计算量和所需显存

天竺街潜水的八角·2024-01-12 20:33

nvidia-smi 无进程占用GPU，但GPU显存却被占用了

问题：有时我们在使用GPU的时候，因为某个原因，导致GPU被占，但有无法通过nvidia-smi看到进程编号，就会产生一个现象，GPU被未知程序所占用，我们只能使用GPU的一部分，针对这种现象怎么解决呢？方法1.重启电脑，如果win系统的话，直接关机重启即可；如果是linux系统，有图形界面的话，直接关机重启即可；如果是远程服务器的话，通过命令行：reboot重启（如果权限不够，就用sudoreb

天竺街潜水的八角·2024-01-12 20:33

memory监控方法

class对象，读取so，apk，dex文件时用到的mmap文件Stack:stack内存存放了栈帧（用于存储局部变量、操作数以及返回地址），每个方法调用都会创建一个栈，stack内存是虚拟机进程独有的GPU显存

亚瑟-小郎·2024-01-12 20:27

速度飙升200%！Flash Attention 2一统江湖，注意力计算不再是问题！

每天给你送上干货❤️作者|godweiyang出品|公众号：算法码上来（ID：GodNLP）-BEGIN-attention是Transformer中最重要的一个结构，但是随着序列长度的增加，计算复杂度以增长，显存和速度都会吃不消

算法码上来·2024-01-12 14:12

LLM大模型显存计算

一、目录模型参数单位内存计算案例显卡算力推理显存计算训练显存计算huggface官网计算模型推理/训练需要的显存大模型输入长度与显存的关系大模型推理多线程与显存的关系参考：https://blog.csdn.net

云帆@·2024-01-12 14:02

STM32使用1.69寸液晶显示模块使用缓冲区实现快速刷新全屏显示字符串功能

个字节表示RGB的颜色，所以需要153.6K个字节的数据来刷新全屏，如果SPI口输出数据不是高速并且不紧密排列的话，刷新就会比较慢，有从下到下的肉眼可见的刷新过程，现就是希望使用数据缓冲区（我理解这就是显存的概念吧

ztvzbj·2024-01-12 06:56

大模型学习第四课

8GB显卡玩转LLM动手实战环节学习时间：20240110学习产出：Finetune简介增量预训练微调指令跟随微调LoRA,QLoRAXTuner简介：适配多种生态，适配多种硬件快速上手：数据引擎8GB显存玩转

敲键盘的喵桑·2024-01-11 21:38

LORA的基本原理

使用LORA，训练参数仅为整体参数的万分之一、GPU显存使用量减少2/3且不会引入额外的推

TFATS·2024-01-11 19:56

InternLM第1节课笔记

预训练InternLM-Train高可扩展：8卡-千卡兼容主流：支持HuggingFace微调XTuner：自动优化加速、适配多种开源生态，显存优化增量续训有监督微调部署LMDeploy接口：Python

Jamiechoi·2024-01-11 05:34

用BEVformer来卷自动驾驶-3

书接前文前文链接：用BEVformer来卷自动驾驶-2(qq.com)上文书基本把BEV的概念捋清楚了，也对标准BEV可能存在的计算和显存的压力做了一番分析这篇就是介绍BEVformer是个啥先给个定义

周博洋K·2024-01-10 17:17

ChatGLM3在windows上部署

2本机配置台式机：CPU：Intel(R)Core(TM)i7-10700FRAM：32GGPU：NVIDIARTX3060（显存12G）OS：Windows10企业版3部署环境3.1使用anaconda3

shgh_2004·2024-01-10 15:07

ChatGLM2-6B 大语言模型本地搭建

ChatGLM2-6B的6B代表了训练参数量为60亿，同时运用了模型量化技术，意味着用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）详细介绍（官方git：https://github.com

雪峰空间·2024-01-10 11:42

Ubuntu 实时查看显存调用命令 free 及命令详解与原理说明（全）

Ubuntu实时查看显存调用命令free及详解文章目录Ubuntu实时查看显存调用命令free及详解1free作用1.1语法：1.2单独显示例子1.3组合显示例子2输出介绍3原理解释3.1buff/cache

sugardisk·2024-01-10 07:02

【大模型】LLM显存占用对比：Qwen-7B-Chat，Qwen-14B-Chat-Int8，chatglm3-6b

【大模型】LLM显存占用对比：Qwen-7B-Chat，Qwen-14B-Chat-Int8，chatglm3-6b显存占用对比：总结参考显存占用对比：显卡：NVIDIAGeForceRTX4090系统环境

szZack·2024-01-09 22:02

报错RuntimeError: no valid convolution algorithms available in CuDNN

而是因为你的显存过低不能训练，解决办法是使用混精度训练！！！这样能减少近一半的显存！！！这种报错一般都是在自己电脑上跑才会出现的，或者你可以在服务器上跑，一般服务器显存是足够的。

虽然什么都没做，但我还是辛苦了·2024-01-09 15:26

显卡的困惑

4那显存又是什么嘞？5显卡与显存有什么关联呢？6劳资买个电脑有这么麻烦？图片发自App好的吧看到这里显然是要看答案喽好的那我就用简单的话来解释就好了1

老腊程序猿·2024-01-09 12:12

腐烂国度计算机配置要求,腐烂国度2配置要求高吗腐烂国度2具体配置要求介绍...

【配置要求】最低配置要求：OS:Windows10架构:x64,X64DirectX:Version11内存:8GB显存:2G

吴思扬·2024-01-09 12:39

腐烂国度计算机配置要求,《腐烂国度2》PC配置公布最低要求GTX 760

具体如下：最低配置要求：操作系统:Windows10架构:x64,X64DirectX:Version11内存:8GB显存:2GB处理器:AMDFX-6300|[email protected]显卡

转角一只喵·2024-01-09 12:39

【书生·浦语大模型实战营01】《书生·浦语大模型全链路开源体系》

等低成本微调评测：OpenCompass全方位评测，性能可复现80套评测集，40万道题目3.全链条开源开放体系｜微调3.1高效微调框架XTuner3.1.1适配多种生态自动优化加速开发者无需关注复杂的显存优化与计算加速细节

songyuc·2024-01-09 05:16

将3060独显笔记本升级为高级AI工作站

将3060独显笔记本升级为windows+UbuntuAI工作站背景：我搞AI的，手头有一个笔记本，显卡Nvidia30606G显存，磁盘和内存较低。

君宝bob·2024-01-08 22:03

计组总复习

第2题8分，其余每题10分，共48分)名词解释CISC：复杂指令系统计算机RISC：精简指令计算机BCD：二进码十进数或二-十进制代码SRAM：静态随机存取存储器DRAM：动态随机存取存储器VRAM：显存

燃梅·2024-01-08 10:28

stable diffusion WebUI基础-安装

电脑配置要求N卡显存6G起（建议直接上12G）内存建议16G，8G也可固态盘500G以上CPUi5即可魔法上网虚拟环境安装python我非常不建议直接在自己的电脑里直接装python,因为现在很多项目的环境比较乱

mindcarver·2024-01-08 09:17

【LMM 012】TinyGPT-V：24G显存训练，8G显存推理的高效多模态大模型

论文标题：TinyGPT-V:EfficientMultimodalLargeLanguageModelviaSmallBackbones论文作者：ZhengqingYuan,ZhaoxuLi,LichaoSun作者单位：AnhuiPolytechnicUniversity,NanyangTechnologicalUniversity,LehighUniversity论文原文：https://ar

datamonday·2024-01-08 00:21

CVPR 2022 |节省70%的显存，训练速度提高2倍

本篇分享CVPR2022论文『OnlineConvolutionalRe-parameterization』，浙大&阿里提出在线卷积重新参数化OREPA，节省70%的显存！训练速度提高2倍！

FightingCV·2024-01-07 05:01

[ComfyUI] 基础教程（一）环境部署和插件安装

ComfyUI为StableDiffusion提供了一个强大的节点流程操作界面，带来了更多的自由度和可复现性，同时降低了显存要求。

细节控-AI先行者·2024-01-07 04:12

Anaconda+pycharm+pytorch安装教程（GPU版）

配置环境os:win11Anaconda:3pycharm:2022.3.2(ProfessionalEdition)CUDA:11.7注意：显卡必须是英伟达且显存6G及以上为佳，否则Pytorch安装在

RinceK·2024-01-06 06:29

【Graphics Pipeline 2011】GPU内存架构以及Command Processor

CommandBuffer的整个处理过程都是跟内存相关的，不管是通过PCI总线访问的系统内存还是local显存等，因此如果我们要

离原春草·2024-01-06 03:13

读书之深入理解ffmpeg_简单笔记3（初步）

yun6853992·2024-01-05 14:29

基于transformers，用GPU训练的显存优化方法

声明：以下基本都是基于时间换空间的方法，微调方法用的是firefly（流萤）框架1.减小"per_device_train_batch_size",设置"gradient_accumulation_steps"。这样在计算梯度的时候是每per_device_train_batch_size*gradient_accumulation_steps个样本计算一下2.设置gradient_checkpo

鱼鱼9901·2024-01-05 12:16

大语言模型占显存的计算和优化

可以优化的地方：per_device_train_batch_size（相当于batchsize，越小显存占的越小）gradient_accumulation_steps（per_device_train_batch_size

鱼鱼9901·2024-01-05 12:39

解决方法：RuntimeError: CUDA out of memory. Tried to allocate ... MiB

解决方法：1.直接上大显存显卡，当然能上就不在这了，哈哈，看下面的方法；2.调小batch_size，1都不行，再看看下面；3.在验证模型代码前面，插入withtorch.no_grad():因为在验证和测试的时候

是人间一只财·2024-01-04 21:20

pytorch 基于 apex.amp 的混合精度训练：原理介绍与实现

我们在训练模型时，往往受制于显存空间只能选取较小的batchsize，导致训练时间过长，使人

ctrl A_ctrl C_ctrl V·2024-01-04 18:23

调参

转载https://www.sohu.com/a/241208957_787107基本原则:快速试错一些大的注意事项:1.刚开始,先上小规模数据,模型往大了放,只要不爆显存,能用256个filter你就别用

三点水_787a·2024-01-04 13:41

python小工具开发专题：gpu监控工具

需求来源在压测显卡时能看到gpu的波动情况，并输出波动的范围、gpu卡的index、显存占用、显存总量。

杜杜的man·2024-01-04 05:38

用通俗易懂的方式讲解大模型：在 CPU 服务器上部署 ChatGLM3-6B 模型

大语言模型（LLM）的量化技术可以大大降低LLM部署所需的计算资源，模型量化后可以将LLM的显存使用量降低数倍，甚至可以将LLM转换为完全无需显存的模型，这对于LLM的推广使用来说是非常有吸引力的。

Python算法实战·2024-01-04 04:59

GPU硬件结构和程序具体参数设置

、CUDA程序Thread的基本结构3、单指令多线程架构（SIMT,SingleInstructionMultiThread）4、硬件多线程（HardwardMultithreading）5、GPU的显存结构

Innerpeace_yu·2024-01-03 20:23

【model1第一层encoder】

((encoder):Encoder((linear_in):Linear(in_features=320,out_features=512,bias=True)#线性层320-512（设置偏置会占用显存

star星陨·2024-01-03 11:45

搭建个人深度学习工作站（捡垃圾）

大模型的显存需求比较大，魔改22GB显存的2080ti看起来很香，就先入手一块试试水，真香之后，再考虑组多卡（2080ti支持Nv

哦豁灬·2024-01-03 06:13

0、QT概述

目录一、QT概述1、关于QT的几个问题2、QT许可证和开发环境搭建3、QT关键技术和开发方式4、课程安排5、GUI与HMI主要讲什么6、GUI实现的关键是显存7、控件式GUI编程8、显示窗口与布局9、GUI

想文艺一点的程序员·2024-01-03 02:27

PyTorch 节省显存技巧：Activation Checkpointing

参考资料官方文档：https://pytorch.org/docs/2.0/checkpoint.html官方博客：https://medium.com/pytorch/how-activation-checkpointing-enables-scaling-up-training-deep-learning-models-7a93ae01ff2dActivationCheckpointing介绍

kebijuelun·2024-01-02 10:27

windows安装stable-diffusion-webui教程

准备为了保证AI绘画的效率，建议在本机安装Nvidia独立显卡，也就是俗称的N卡，并且显存要达到6G以上，6G只能出图，如果要做训练建议12G以上。

AI王师傅·2024-01-02 02:58

推荐频道

显存