显存

LLM大模型显存计算

一、目录模型参数单位内存计算案例显卡算力推理显存计算训练显存计算huggface官网计算模型推理/训练需要的显存大模型输入长度与显存的关系大模型推理多线程与显存的关系参考：https://blog.csdn.net
云帆@·2024-01-12 14:02

STM32使用1.69寸液晶显示模块使用缓冲区实现快速刷新全屏显示字符串功能

个字节表示RGB的颜色，所以需要153.6K个字节的数据来刷新全屏，如果SPI口输出数据不是高速并且不紧密排列的话，刷新就会比较慢，有从下到下的肉眼可见的刷新过程，现就是希望使用数据缓冲区（我理解这就是显存的概念吧
ztvzbj·2024-01-12 06:56

大模型学习第四课

8GB显卡玩转LLM动手实战环节学习时间：20240110学习产出：Finetune简介增量预训练微调指令跟随微调LoRA,QLoRAXTuner简介：适配多种生态，适配多种硬件快速上手：数据引擎8GB显存玩转
敲键盘的喵桑·2024-01-11 21:38

LORA的基本原理

使用LORA，训练参数仅为整体参数的万分之一、GPU显存使用量减少2/3且不会引入额外的推
TFATS·2024-01-11 19:56

InternLM第1节课笔记

预训练InternLM-Train高可扩展：8卡-千卡兼容主流：支持HuggingFace微调XTuner：自动优化加速、适配多种开源生态，显存优化增量续训有监督微调部署LMDeploy接口：Python
Jamiechoi·2024-01-11 05:34

用BEVformer来卷自动驾驶-3

书接前文前文链接：用BEVformer来卷自动驾驶-2(qq.com)上文书基本把BEV的概念捋清楚了，也对标准BEV可能存在的计算和显存的压力做了一番分析这篇就是介绍BEVformer是个啥先给个定义
周博洋K·2024-01-10 17:17

ChatGLM3在windows上部署

2本机配置台式机：CPU：Intel(R)Core(TM)i7-10700FRAM：32GGPU：NVIDIARTX3060（显存12G）OS：Windows10企业版3部署环境3.1使用anaconda3
shgh_2004·2024-01-10 15:07

ChatGLM2-6B 大语言模型本地搭建

ChatGLM2-6B的6B代表了训练参数量为60亿，同时运用了模型量化技术，意味着用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）详细介绍（官方git：https://github.com
雪峰空间·2024-01-10 11:42

Ubuntu 实时查看显存调用命令 free 及命令详解与原理说明（全）

Ubuntu实时查看显存调用命令free及详解文章目录Ubuntu实时查看显存调用命令free及详解1free作用1.1语法：1.2单独显示例子1.3组合显示例子2输出介绍3原理解释3.1buff/cache
sugardisk·2024-01-10 07:02

【大模型】LLM显存占用对比：Qwen-7B-Chat，Qwen-14B-Chat-Int8，chatglm3-6b

【大模型】LLM显存占用对比：Qwen-7B-Chat，Qwen-14B-Chat-Int8，chatglm3-6b显存占用对比：总结参考显存占用对比：显卡：NVIDIAGeForceRTX4090系统环境
szZack·2024-01-09 22:02

报错RuntimeError: no valid convolution algorithms available in CuDNN

而是因为你的显存过低不能训练，解决办法是使用混精度训练！！！这样能减少近一半的显存！！！这种报错一般都是在自己电脑上跑才会出现的，或者你可以在服务器上跑，一般服务器显存是足够的。
虽然什么都没做，但我还是辛苦了·2024-01-09 15:26

显卡的困惑

4那显存又是什么嘞？5显卡与显存有什么关联呢？6劳资买个电脑有这么麻烦？图片发自App好的吧看到这里显然是要看答案喽好的那我就用简单的话来解释就好了1
老腊程序猿·2024-01-09 12:12

腐烂国度计算机配置要求,腐烂国度2配置要求高吗 腐烂国度2具体配置要求介绍...

【配置要求】最低配置要求：OS:Windows10架构:x64,X64DirectX:Version11内存:8GB显存:2G
吴思扬·2024-01-09 12:39

腐烂国度计算机配置要求,《腐烂国度2》PC配置公布 最低要求GTX 760

具体如下：最低配置要求：操作系统:Windows10架构:x64,X64DirectX:Version11内存:8GB显存:2GB处理器:AMDFX-6300|Inteli5-2500@2.7GHz显卡
转角一只喵·2024-01-09 12:39

【书生·浦语大模型实战营01】《书生·浦语大模型全链路开源体系》

等低成本微调评测：OpenCompass全方位评测，性能可复现80套评测集，40万道题目3.全链条开源开放体系｜微调3.1高效微调框架XTuner3.1.1适配多种生态自动优化加速开发者无需关注复杂的显存优化与计算加速细节
songyuc·2024-01-09 05:16

将3060独显笔记本升级为高级AI工作站

将3060独显笔记本升级为windows+UbuntuAI工作站背景：我搞AI的，手头有一个笔记本，显卡Nvidia30606G显存，磁盘和内存较低。
君宝bob·2024-01-08 22:03

计组总复习

第2题8分，其余每题10分，共48分)名词解释CISC：复杂指令系统计算机RISC：精简指令计算机BCD：二进码十进数或二-十进制代码SRAM：静态随机存取存储器DRAM：动态随机存取存储器VRAM：显存
燃梅·2024-01-08 10:28

stable diffusion WebUI基础-安装

电脑配置要求N卡显存6G起（建议直接上12G）内存建议16G，8G也可固态盘500G以上CPUi5即可魔法上网虚拟环境安装python我非常不建议直接在自己的电脑里直接装python,因为现在很多项目的环境比较乱
mindcarver·2024-01-08 09:17

【LMM 012】TinyGPT-V：24G显存训练，8G显存推理的高效多模态大模型

论文标题：TinyGPT-V:EfficientMultimodalLargeLanguageModelviaSmallBackbones论文作者：ZhengqingYuan,ZhaoxuLi,LichaoSun作者单位：AnhuiPolytechnicUniversity,NanyangTechnologicalUniversity,LehighUniversity论文原文：https://ar
datamonday·2024-01-08 00:21

CVPR 2022 |节省70%的显存，训练速度提高2倍

本篇分享CVPR2022论文『OnlineConvolutionalRe-parameterization』，浙大&阿里提出在线卷积重新参数化OREPA，节省70%的显存！训练速度提高2倍！
FightingCV·2024-01-07 05:01

[ComfyUI] 基础教程（一）环境部署和插件安装

ComfyUI为StableDiffusion提供了一个强大的节点流程操作界面，带来了更多的自由度和可复现性，同时降低了显存要求。
细节控-AI先行者·2024-01-07 04:12

Anaconda+pycharm+pytorch安装教程（GPU版）

配置环境os:win11Anaconda:3pycharm:2022.3.2(ProfessionalEdition)CUDA:11.7注意：显卡必须是英伟达且显存6G及以上为佳，否则Pytorch安装在
RinceK·2024-01-06 06:29

【Graphics Pipeline 2011】GPU内存架构以及Command Processor

CommandBuffer的整个处理过程都是跟内存相关的，不管是通过PCI总线访问的系统内存还是local显存等，因此如果我们要
离原春草·2024-01-06 03:13

读书之深入理解ffmpeg_简单笔记3（初步）

（涉及硬件相关结构体，接口，显存和cpu之间数据的交互）AVFrame的介绍，以及相关接口demo的使用。
yun6853992·2024-01-05 14:29

基于transformers，用GPU训练的显存优化方法

声明：以下基本都是基于时间换空间的方法，微调方法用的是firefly（流萤）框架1.减小"per_device_train_batch_size",设置"gradient_accumulation_steps"。这样在计算梯度的时候是每per_device_train_batch_size*gradient_accumulation_steps个样本计算一下2.设置gradient_checkpo
鱼鱼9901·2024-01-05 12:16

大语言模型占显存的计算和优化

可以优化的地方：per_device_train_batch_size（相当于batchsize，越小显存占的越小）gradient_accumulation_steps（per_device_train_batch_size
鱼鱼9901·2024-01-05 12:39

解决方法：RuntimeError: CUDA out of memory. Tried to allocate ... MiB

解决方法：1.直接上大显存显卡，当然能上就不在这了，哈哈，看下面的方法；2.调小batch_size，1都不行，再看看下面；3.在验证模型代码前面，插入withtorch.no_grad():因为在验证和测试的时候
是人间一只财·2024-01-04 21:20

pytorch 基于 apex.amp 的混合精度训练：原理介绍与实现

我们在训练模型时，往往受制于显存空间只能选取较小的batchsize，导致训练时间过长，使人
ctrl A_ctrl C_ctrl V·2024-01-04 18:23

调参

转载https://www.sohu.com/a/241208957_787107基本原则:快速试错一些大的注意事项:1.刚开始,先上小规模数据,模型往大了放,只要不爆显存,能用256个filter你就别用
三点水_787a·2024-01-04 13:41

python小工具开发专题：gpu监控工具

需求来源在压测显卡时能看到gpu的波动情况，并输出波动的范围、gpu卡的index、显存占用、显存总量。
杜杜的man·2024-01-04 05:38

用通俗易懂的方式讲解大模型：在 CPU 服务器上部署 ChatGLM3-6B 模型

大语言模型（LLM）的量化技术可以大大降低LLM部署所需的计算资源，模型量化后可以将LLM的显存使用量降低数倍，甚至可以将LLM转换为完全无需显存的模型，这对于LLM的推广使用来说是非常有吸引力的。
Python算法实战·2024-01-04 04:59

GPU硬件结构和程序具体参数设置

、CUDA程序Thread的基本结构3、单指令多线程架构（SIMT,SingleInstructionMultiThread）4、硬件多线程（HardwardMultithreading）5、GPU的显存结构
Innerpeace_yu·2024-01-03 20:23

【model1第一层encoder】

((encoder):Encoder((linear_in):Linear(in_features=320,out_features=512,bias=True)#线性层320-512（设置偏置会占用显存
star星陨·2024-01-03 11:45

搭建个人深度学习工作站（捡垃圾）

大模型的显存需求比较大，魔改22GB显存的2080ti看起来很香，就先入手一块试试水，真香之后，再考虑组多卡（2080ti支持Nv
哦豁灬·2024-01-03 06:13

0、QT概述

目录一、QT概述1、关于QT的几个问题2、QT许可证和开发环境搭建3、QT关键技术和开发方式4、课程安排5、GUI与HMI主要讲什么6、GUI实现的关键是显存7、控件式GUI编程8、显示窗口与布局9、GUI
想文艺一点的程序员·2024-01-03 02:27

PyTorch 节省显存技巧：Activation Checkpointing

参考资料官方文档：https://pytorch.org/docs/2.0/checkpoint.html官方博客：https://medium.com/pytorch/how-activation-checkpointing-enables-scaling-up-training-deep-learning-models-7a93ae01ff2dActivationCheckpointing介绍
kebijuelun·2024-01-02 10:27

windows安装stable-diffusion-webui教程

准备为了保证AI绘画的效率，建议在本机安装Nvidia独立显卡，也就是俗称的N卡，并且显存要达到6G以上，6G只能出图，如果要做训练建议12G以上。
AI王师傅·2024-01-02 02:58

线上linux系统故障排查

一、通过top命令定位占用cpu高的进程执行top命令得到以下结果：top命令执行结果image通过上图可以明显看出进程PID41843占用cpu过高，明显存在问题，定位到了进程id。
不屈真实·2024-01-01 21:55

在win10电脑上搭建python环境下的本地AI绘画工具Stable Diffusion

StableDiffusion是一种可以部署在本地环境上运行的人工智能绘画工具，图形运算主要用到的是显卡的GPU性能，因此最好有至少4G显存的显卡。
老菜鸟YDZ·2024-01-01 08:50

“自私”真的是人类的“劣根”吗？！

其实也不尽然，那种只存于“梦”中的理想世界是无法创造出来的，或者说是不应该创造而显存于世的，就像不存在无物不破的矛与无物可破的盾一样，那样无私的世界唯一的价值只是“
火力全开_b8c9·2024-01-01 07:42

接纳负面情绪，凸显存在的正向意义

赵秀珍沧州焦点解决68期学习分享第7天20190809焦点之所以强调重新建构的重要性，是因为焦点认为负向情绪的持续同理共情，有时反而使当事人更加沈陷于痛苦之中，难以采取有效行动。以重新建构来辨识、认可以及肯定当事人各类情绪背后的正向意义，将能转化当事人的负面情绪，甚至使其开始采取行动。一般化与重新建构的技巧回应，往往会给当事人新的观点，当事人的负性情绪也会有所减弱。往往在当事人的情绪被理解和接纳后
赵秀珍_ca19·2023-12-31 06:05

计算机硬件 4.2显卡

②显存：存储要显示的信息的芯片，决定着分辨率、色深。③RAMDAC：
baiXiao_晓柏·2023-12-31 03:37

显存瓶颈被打破！大模型训练的黑科技来了，带宽不再制约大模型训练

对比GPT-3当年使用了10000块GPU，花了30天训练了1750亿参数，现实条件下我们一没法组织起无限算力，二来手里的计算卡硬件设备还可能差异很大，显存、带宽水平参差不齐，在卡不多条件又比较艰苦的背景下
夕小瑶·2023-12-30 11:09

ChatGLM-6B 部署与 P-Tuning 微调实战-使用Pycharm实战

结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。ChatGLM-6B使用了和ChatGPT相似的技术，针对中文问答和对话
chengjinpei·2023-12-30 09:38

（已解决）（pytorch指定了gpu但还是占用了一点0号gpu）以及错误（cuDNN error: CUDNN_STATUS_INTERNAL_ERROR）

文章目录错误原因解决问题错误原因出现错误cuDNNerror:CUDNN_STATUS_INTERNAL_ERROR，从这个名字就可以看出，出错原因其实有可能有很多种，我这里说一种比较常见的，就是：显存不足
音程·2023-12-30 07:01

[Unity优化] unity图片mipmap

优点：会优化显存带宽，用来减少渲染，因为可以根据实际情况，会选择适合的贴图来渲染，距离摄像机越远，显示的贴图像素越低，反之，像素越高！
hcq666·2023-12-28 19:41

nvidia-smi

显存使用情况。正在运行的进程及其显存占用。这个工具主要用于性能监测、配置管理、故障诊断等，尤其是在
MonkeyKing.sun·2023-12-28 18:47

ROG 幻 16 翻转版 2023款评测 ROG 幻 16 翻转版 2023参数配置

GPU方面，ROG幻16翻转版有RTX4060和RTX4070两个版本，拥有8GBGDDR6显存，CUDA核心分别为3072个和4608个，无论是用于3A游戏
m0_50201498·2023-12-28 13:36

ChatGLM2-6B微调实践-QLora方案

推理模型合并与量化合并后的模型推理参数调优微调过程中遇到的问题参考：环境部署申请阿里云GPU服务器：CentOS7.664Anaconda3-2023.07-1-Linux-x86_64Python3.11.5GPUNVIDIAA10（显存
我在北国不背锅·2023-12-27 15:25

如何选择电脑（连载）

我们都知道一台电脑肯定有它的结构电脑组成复杂不可能在购买的时候不可能去一一了解所以我们可以看主要参数在购买电脑的时候可以参考一下以下的参数1CPU（中央处理器）2显卡3显存容量4机械硬盘容量5固态硬盘6
老腊程序猿·2023-12-27 14:20
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他