24G显存第11页

国内大语言模型的相对比较：ChatGLM2-6B、BAICHUAN2-7B、通义千问-6B、ChatGPT3.5

MOOS由于需要的GPU显存过大（不量化的情况下需要80GB，多轮对话还是会爆显存），但ChatGLM可以在笔记本电脑部署（int4版本只需要6GB显存即可）。

学术菜鸟小晨·2023-09-26 12:16

python nvidia 显卡信息格式数据

(['nvidia-smi','--query-gpu=pci.bus_id,memory.used,memory.total,memory.free','--format=csv'])#返回GPU的显存使用情况

HockerF·2023-09-25 14:21

使用CPU本地部署一个大模型

前言不少人都想要部署一个自己的本地大模型，但是受限于昂贵的硬件资源只能作罢，即便是量化后的模型也通常要至少5G+（ChatGLM2-6BINT4）的显存。

天使手儿·2023-09-25 04:52

FLASH：一种高效的Transformer设计

本文提出了一种快(速度快)、省(省显存)的模型FLASH(FastLinearAttentionwithaSingleHead)，在长序列的表现远远高于标准的Transformer。

传道解惑也·2023-09-25 02:42

计算机图形学实验的一些记录

VBO的主要优点是它将顶点数据存储在显存中，而不是在主内存中。这可以提高渲染性能，因为显存的读写速度比主内存快。

一条小小yu·2023-09-24 23:26

Pytroch使用amp进行混合精度训练

简介AMP：Automaticmixedprecision，自动混合精度，可以在神经网络推理过程中，针对不同的层，采用不同的数据精度进行计算，从而实现节省显存和加快速度的目的。

Daisy丶·2023-09-24 15:30

飞腾D2000 + X100 调试记录 X100出来的 DP显示有问题（不显示）， USB 接口不能使用的问题。

1.2解决问题的方法A.最后更改X100的BIOS(固件)的显存从8G调成4G才行。2.U

_She001·2023-09-24 06:12

云服务器 - 机器学习（廉价+实用）早知道有这个网站就不买阿里云了

前言：我的毕设是有关深度学习的，需要跑卷积神经网络，CPU的话，不用说，很慢，所以安装了Anaconda3+CUDU+cuDNN，期待可以跑GPU，奈何我显存只有4G，驱动不太行，还是跑不动，于是开始去找云服务器

-月光光-·2023-09-23 13:53

查看显存和内存大小

查看显存和内存大小查看显存查看内存大小内存不是磁盘查看显存nvidia-smi下图中的，“24576MiB”就是GeForceRTX3090的显存大小，换算成GB大约是24GB。

为啥不能修改昵称啊·2023-09-23 12:48

CUDA图像处理加速demo

主要步骤是申请显存，将内存复制到显存，执行核函数，将显存复制回内存。核函数是可以认为是线程的worker函数。

FeboReigns·2023-09-23 10:58

ChatGLM LLM大模型训练和预测如何计算算力需求

输入的审核生成的审核;GPU并行处理能力算力计算一个LLaMA-6B的数据类型为Int8模型参数6B1bytes=6GB梯度6B1bytes=6GB优化器参数Adam2倍模型参数:6GB*2=12GB训练共24GB的显存推理算力模型参数

张志翔的博客·2023-09-23 03:15

Stable Diffusion如何操作？十方影视后期干货级分享！

1、StableDiffusion本地部署StableDiffusion的配置要求并非很高，显存4G以上就可以，不过要求硬盘至少要有50G以上（建议100G），适用于Win10-11版本。

科技互联.·2023-09-22 19:33

《UnityShader 入门精要》笔记01

UnityShader入门精要笔记01第二章渲染流水线2.1综述2.1.1什么是流水线2.1.2什么是渲染流水线2.2CPU和GPU之间的通信2.2.1把数据加载到显存中2.2.2设置渲染状态2.2.3

Retrovich·2023-09-22 17:35

Opengl绘制三角形

节点对象学习：顶点数组对象：VertexArrayObject，VAO顶点缓冲对象：VertexBufferObject，VBO：表示存储在GPU显存中的大量顶点数据。

蓝天巨人·2023-09-22 08:15

使用python批量裁剪图片为目标大小

一、背景当进行深度学习任务如进行训练时，图片的大小可能导致显存不足，一个方法是对图片直接进行resize，这个会导致图片细节不足；另一个是对图片进行裁剪，裁剪成小的尺寸以送入模型训练，这也有一个缺点，就是会丢失上下文信息

Alocus_·2023-09-22 06:32

ChatGLM微调基于P-Tuning/LoRA/Full parameter（中）

结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。ChatGLM-6B使用了和ChatGPT相似的技术，针对中文问答和对话进行了优化。

张志翔的博客·2023-09-21 22:46

在训模型的时候如果遇到显存占用了，但是后面的GPU利用率不高的情况，可能是因为什么？

在训练模型时，如果显存占用很高但GPU利用率不高，这可能由以下原因导致：「CPU和GPU之间的数据传输瓶颈」：在训练过程中，数据需要从CPU传输到GPU。

Angelina_Jolie·2023-09-21 18:24

ChatGLM GPU多卡并行训练

2.常见的多GPU训练方法2.1模型并行方式如果模型特别大，GPU显存不够，无法将一个显存放在GPU上，需要把网络的不同模块放在不同GPU上，

张志翔的博客·2023-09-21 04:51

avi怎么转换成视频？

它的优点之一是占用的存储空间相对较小，但也明显存在着画质损失的缺点。虽然AVI格式的视频在某种程度上也很常见，但与最常见的MP4格式视频相比，无论如何都不可避免地会有一定的差距。

优速办公软件·2023-09-20 23:49

【计算机视觉与深度学习北京邮电大学鲁鹏视频笔记】4. 图像分割&目标检测

计算机视觉识别任务1.语义分割语义分割思路1）滑动窗口但是这种方法效率太低了，重叠区域反复被计算2）全卷积但是，如果处理过程中保持原始分辨率，对于显存的需求会非常庞大…解决方案上采样？

指针阿飞·2023-09-20 05:49

win10 安装 Langchain-Chatchat 避坑指南（2023年9月18日v0.2.4版本，包含全部下载内容！）

另外提一句，我的显卡是：3080Ti16GB版本，运行之后，显存占用13-14GB1、安装Anaconda（这个就不啰嗦了，网上安装教程一堆）1.1、先安装Anaconda（https://www.anaconda.com

憶·2023-09-20 00:41

ChatGLM 项目集合

ChatGLM-MNN:一个基于MNN的ChatGLM-6BC++推理实现，支持根据显存大小自动分配计算任务给GPU和CPUJittorLLMs：最低3G显存或者没有显卡都可运行

张志翔的博客·2023-09-19 16:00

ChatGLM微调基于P-Tuning/LoRA/Full parameter（上）

1.准备环境首先必须有7个G的显存以上，torch>=1.10需要根据你的cuda版本1.1模型下载$gitlfsinstall$gitclonehttps://huggingface.co/THUDM

张志翔的博客·2023-09-19 16:11

ChatGLM DeepSpeed 全参数微调

结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。ChatGLM-6B是一个文本生成式对话模型，可以用于问答、闲聊等多种场景。

张志翔的博客·2023-09-19 13:46

Ubuntu环境下遇到的问题与解决方法

一、GPU利用率为0，但显存跑满在终端输入以下代码查看GPU进程nvidia-sminvidia-smi不显示正在使用GPU的进程，但显存几乎跑满了！

敷衍zgf·2023-09-18 12:54

2023年的深度学习入门指南(27) - CUDA的汇编语言PTX与SASS

可以说，不用说没有GPU，就算是没有大显存和足够先进的架构，也没法开发大模型。有的同学表示GPU很神秘，不知道它是怎么工作的。其实，GPU的工作原理和CPU是一样的，都是通过指令来控制硬件的。

Jtag特工·2023-09-18 08:18

stable diffusion model训练遇到的问题【No module named ‘triton‘】

一天早晨过来，发现昨天还能跑的diffusion代码，突然出现了【Nomodulenamed‘triton’】的问题，导致本就不富裕的显存和优化速度雪上加霜，因此好好探究了解决方案。

Leafing_·2023-09-18 08:44

model.eval，torch.no_grad,以及torch.cuda.empty_cache

withtorch.no_grad()则主要是用于停止autograd模块的工作，以起到加速和节省显存的作用。

xx_xjm·2023-09-17 21:20

IOS与Android的设计规范

首先，从平台的页面布局上看，两大平台布局方式上明显存在差异，如图：image我们对两大平台分别从页眉、页脚进行详细解说，先是IOS平台，imageIOS的页眉，也就是我们说的导航栏，用于实现在应用不同信息层级结构间的导航

jiahaofeng·2023-09-17 11:14

省显存（内存？）的大语言模型（LLMs）训练/微调/推理方法

即使RTX3090有着24GB的RAM，使用一块RTX3090依然无法fp32精度训练最小号的LLaMA-6B。估算模型所需的RAM首先，需要了解如何根据参数量估计模型大致所需的RAM，这在实践中有很重要的参考意义。需要通过估算设置batch_size，设置模型精度，选择微调方法和参数分布方法等。接下来用LLaMA-6B模型为例估算其大致需要的内存。精度对所需内存的影响：fp32精度，一个参数需要

桂花很香,旭很美·2023-09-16 22:24

语言大模型总结

结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。ChatGLM-6B使用了和ChatGPT相似的技术，针对中文问答和对话进行了优化。

2332232·2023-09-16 22:54

为什么选择Lora用于模型训练？

Lora训练时需要的显存也少了，显卡的显存达到6

黄乐荣·2023-09-16 07:43

最后的问题以及关于电脑如何选择小结

嗯哼别急打个比喻和手机的运行内存是一个意思充当过渡作用你的显存数据不可能一下子就到硬盘内那当然要一个临时存储点喽那这就是内存容量的作用了目前笔记本一般都是以2G和4G为主学生党2G就够啦其它专业原因的小伙伴可以选择

老腊程序猿·2023-09-16 04:37

关于乳少、通乳、乳腺炎、回乳的秘方，总有一款适合你！

生化汤原方组成：当归24g，川芎9g，桃仁14枚（去尖，研成泥），炮姜1.5g，炙甘草1.5g，黄酒一杯（兑入）、童子尿1杯（兑入）。七味药组成。功效是活血逐瘀，温经

郭佳东·2023-09-15 13:45

2022-01-04

经过改造的工作站，可以支持8个虚拟桌面，每个虚拟桌面可以分配到1G显存的

朵拉云·2023-09-14 16:56

transformer大语言模型(LLM)部署方案整理

说明大模型的基本特征就是大，单机单卡部署会很慢，甚至显存不够用。毕竟不是谁都有H100/A100,能有个3090就不错了。目前已经有不少框架支持了大模型的分布式部署，可以并行的提高推理速度。

yuanlulu·2023-09-14 10:52

Three.js 绘制动态模型

2.BufferGeometry对象顾名思义，BufferGeometry对象和「缓冲」相关，具体而言，该对象能够将几何体的相关数据（如顶点，UV，法线等）存入GPU的缓冲区（即显存），从而极大的提高GPU

YanisWu·2023-09-14 05:14

qsv滤镜使用遇到的各种报错

报这个错误是因为GPU的显存数据无法直接使用。如下：访问qsv解码后存入GPU的数据有两种方式。

、、、、南山小雨、、、、·2023-09-14 05:11

找不到GPU资源——[显存充足，但是却出现CUDA error:out of memory错误]

说明:系统：Centos（Redhat）环境：python3.6+pytorch1.4.0（gpu）+tensorflow2.0.0（cpu）Cuda：9.2Cudnn：7.0.6？模型YOLOv3描述图找不到了，就去隔壁偷了一张（传送）在运行git上的yolov3目标检测项目的时候尝试使用GPU加速，结果爆出CUDAerror:outofmemory隔壁说是找不到GPU资源：解决方法如下(抄的)

椰子奶糖·2023-09-13 12:01

开源大模型ChatGLM2-6B 2. 跟着LangChain参考文档搭建LLM+知识库问答系统

量化等级最低GPU显存FP16（无量化）13G

qq_27158179·2023-09-13 07:19

pytorch多gpu DataParallel 及梯度累加解决显存不平衡和显存不足问题

最近在做图像分类实验时，在4个gpu上使用pytorch的DataParallel函数并行跑程序，批次为16时会报如下所示的错误： RuntimeError:CUDAoutofmemory.Triedtoallocate858.00MiB(GPU3;10.92GiBtotalcapacity;10.10GiBalreadyallocated;150.69MiBfree;10.13GiBres

高的好想出去玩啊·2023-09-12 18:52

从算力云零开始部署ChatGLM2-6B 教程

硬件最低需求，显存13G以上基本环境：1.autodl-tmp目录下gitclonehttps://github.com/THUDM/ChatGLM2-6B.git然后使用pip安装依赖：pipinstall-rrequirements.txtpip

2629352674·2023-09-12 14:05

ThreeJS进阶之使用后期处理

首先，场景被渲染到一个渲染目标上，渲染目标表示的是一块在显存中的缓冲区。接下来，在图像最终被渲染到屏幕之前，一个或多个后期处理过程将滤镜和效果应用到图像缓冲区。这里three.js通过E

BinParker·2023-09-12 07:48

Stable Diffusion WebUI内存不够爆CUDA Out of memory怎么办？

这是因为我们的显存或者内存不够了。如果你是用cpu来跑图的则表示内存不够，这个时候就需要换个大点的内存了。如果你是用gpu来跑图的就说明你显存不够用咯，这时候咋办呢？下面我将一一述说解决办法。

星辰同学wwq·2023-09-12 06:23

Pytorch 多卡并行（1）—— 原理简介和 DDP 并行实践

近年来，深度学习模型的规模越来越大，需要处理的数据也越来越多，单卡训练的显存空间和计算效率都越来越难以满足需求。

云端FFF·2023-09-11 23:42

ColossalAI-Chat训练手册（RLHF）

Trainingrewardmodel）3.3、RL（TrainingmodelusingpromptswithRL）3.4、使用模型进行应答3.5、playground3.6、应答效果4、异常记录4.1llama爆显存

IT一氪·2023-09-11 23:26

手把手教你从0开始在服务器上部署stable diffusion

StableDiffusion服务器部署0.服务器GPUA5000-24G数量：1显存：24GBCPUAMDEPYC7551P核心：8核实例内存：63G系统Ubuntu20.04验证是否有nvidia驱动

人工智能护发素·2023-09-10 22:25

ChatGLM2-6B 部署

充分的中英双语预训练较低的部署门槛FP16半精度下，需要至少13G的显存进行推理，甚至可以进一步降低到10G(INT8)和6G(INT4)更长的序列长度ChatGLM-6B序列长度达2048；ChatGLM2

愤怒的可乐·2023-09-10 21:31

离谱至极！“核弹显卡”？！！

介绍表芯片厂商NVIDIA显卡芯片GeForceGTX590核心代号GF110核心频率607MHzCUDA核心512个显存频率3414MHz显存类型GDDR5显存容量3GB显存位宽384bitbit最大分辨率

ProgrammeLL·2023-09-10 19:02

我的想法日记

不过反过来理性的看待，以符合某类人的声音说的话，这句话很明显存在问题，但是从更深层的哲学来看，其实这已经不重要了，因为在讨论问题的时候，对错就已经产生了，所以当我写下这句有可能很多人都写过话，来讨论的时

云奏·2023-09-10 08:12

推荐频道

24G显存