显存第5页

stable-diffusion-webui 安装与运行

文章目录在NVIDIA显卡环境上安装下载配置安装与运行在AMD显卡环境上安装在集显或小于4G显卡环境上安装StableDiffusion对显卡有一定的要求，其支持的最小独立显存为4G，8G以上为优，

水滴技术·2024-01-20 17:37

cuda python

cudapythoncuda的编程模型简单的数据流：把输入数据从cpu内存拷贝到gpu的显存上；加载执行芯片上的缓存数据，加载gpu程序并执行

怎么开心怎么玩·2024-01-19 12:18

大模型学习与实践笔记（六）

一、finetune简介两种微调模式：增量预训练与指令跟随1.增量预训练2.指令微调二、LoRA与QLoRA介绍三、XTuner介绍四、低显存玩转LLM的方法

AllYoung_362·2024-01-19 10:24

大模型学习与实践笔记（九）

一、LMDeply方式部署使用LMDeploy以本地对话方式部署InternLM-Chat-7B模型，生成300字的小故事2.api方式部署运行结果：显存占用：二、报错与解决方案在使用命令，对lmdeploy

AllYoung_362·2024-01-19 10:21

Multi-Concept Customization of Text-to-Image Diffusion——【代码复现】

Multi-ConceptCustomizationofText-to-ImageDiffusion(arxiv.org)一、引言本文主要做的工作是对stable-diffusion的预训练模型进行微调，需要的显存相对较多

我是浮夸·2024-01-19 08:21

Adding Conditional Control to Text-to-Image Diffusion Models——【代码复现】

(github.com)一、前言此项目的使用需要显存大于8G，训练自己的ControlNet或需要更大，因此请注意查看自身硬件是否符合。在此之前请确保已经安装好python以及相关IDE工具。

我是浮夸·2024-01-19 08:20

Baichuan2百川模型部署的bug汇总

2.报错原因是机器没有足够的内存和显存，offload_folder设置一个文件夹来保存那些离线加载到硬盘的权重。

lsf_007·2024-01-18 20:29

TinkerBoard2板卡BuildRoot系统配置YYT-MIPI7LCD

目前的Debian采用的都是LinuxDRM框架进行显示，在DRM框架中，其显示通路如下图所示图中的几个组成部分Framebuffer：显存，嵌入式系统使用的是内存的一部分CRTC：显示控制器，在RK3399

zoipuus·2024-01-18 04:39

在矩池云使用Llama2-7B的具体方法

硬件要求矩池云已经配置好了Llama2WebUI环境，显存需要大于8G，可以选择A4000、P100、3090以及更高配置的等显卡。

机器学习是魔鬼·2024-01-18 01:07

带着问题学LLM

auto',load_in_8bit=True,torch_dtype=torch.float16)bin文件13.4g模型加载时有load_in_8bit和torch_dtype两个参数原始模型加载，显存占

zhouzhou0929·2024-01-18 01:07

vulkan中从CPU到GPU传输数据，暂存缓冲区(staging buffer)的必要性

要明确知道，stagingbuffer是显存上开辟的以IndexBuffer的创建为例：主机端创建了索引数组（CPU端内存开辟），并填充数据调用API在显存上创建一块区域，用indexBuffer来指向目的

宗浩多捞·2024-01-17 22:29

vulkan中分配显存的流程（vkBuffer、vkDeviceMemory的关系）以及VMA库介绍

VkDeviceMemory：设备内存对象（GPU显存），用于实际存储Vulkan缓冲区对象的数据。缓冲区需要分配显

宗浩多捞·2024-01-17 22:28

ChatGLM实现本地部署类似GPT,训练自己的数据

首先电脑需要有独立显卡，显存达到6G以上，下载GLM文件后，然后本地部署，费劲九牛二虎之力终于启动起来了，就可以实现类似GPT的对话模式了。（文件较大，正在上传，回头我把网

mdw5521·2024-01-17 21:52

CPU和GPU的简介

2、显卡和GPU的关系：显卡，也叫显示适配器，是由GPU、显存、电路板，

林深时雾起~·2024-01-17 21:17

云资源使用

文章目录分流程整体流程取消作业创建环境查看云计算显存查看指定日期的任务所用时间批量删除日期之前的文件分流程salloc-N1-pgpu--gres=gpu:1squeue-ujiaochangzhe查看分配资源的计算节点

ljm_99·2024-01-17 18:57

MindSpore 设置昇腾Ascend 910显存的默认大小，单卡可执行多任务处理

默认显存占用最近在使用昇腾Ascend910和MindSpore进行训练和推理时，遇到了一个非常有趣的现象，就是无论是进行模型的训练还是推理，都会占用大约30GB的显存。

大海里的猴儿·2024-01-17 15:43

ChatGLM3-6B的本地api调用

openai_api.py启动后界面：注意：本地api调到的前提是——本地部署了ChatGLM3-6B,本地部署的教程可参考：20分钟部署ChatGLM3-6B部署了若CUDA可用，默认会以CUDA方式运行，占用显存约

落叶阳光·2024-01-17 08:09

【小笔记】算法基础超参数调优思路

【学而不思则罔，思维不学则怠】9.29本文总结一下常见的一些超参数调优思路Batch_size2023.9.29简单来说，较大的bz可以加快训练速度，特别是基于GPU进行模型训练时，应该在显存允许范围内

落叶阳光·2024-01-17 08:39

【书生·浦语】大模型实战营——LMDeploy 大模型量化部署实战

LMDeploy简介推理性能核心功能-量化量化可以大大降低显存，同时提升推理速度。LLM是典型的访存密集型任务WeightOnly量化：核心功能——推理引擎TurboMind主要包

不想动脑筋的亮亮·2024-01-17 04:16

解决GPU显存句柄泄漏问题

cudastream资源没释放：释放了就小了很多其他资源没释放，问题未知！！！模型资源释放了！！！多线程导致的没释放完成！！！！https://blog.csdn.net/liu_feng_zi_/article/details/103421821现象是：/dev/nvidia01.安装nvtop随时查看GPU情况gitremote-v#查看仓库从哪里拉取的gitclonehttps://gith

_helen_520·2024-01-17 02:27

[GXYCTF2019]Ping Ping Ping

ip=明显存在命令执行注入，使用;或者|闭合上一条命令。经过fuzz测试，过滤了空格、bash字符、flag字符、以及一些特殊符号。?ip=;ls时，发现flag.php就在当前目录下。

有搞头-CC·2024-01-16 18:36

基于单片机的图形控制芯片——瑞佑（RAIO）RA8889系列介绍（一）

RA8877系列之后新推出来的产品，RA8889新增加硬件解码功能，能对AVI、JPG进行解码，同时它还保留了RA8876,RA8877系列芯片原有图形控制及处理功能，显示性能上还得到了很多改善，并且内建的显存也增加到

BW.SU·2024-01-16 17:54

Python数据分析案例31——中国A股的月份效应研究(方差分析，虚拟变量回归)

但在我国市场明显存在着一个春节效

阡之尘埃·2024-01-16 14:49

低端单片机彩色屏幕的内存占用疑惑

前言问题：假设320*240的rgb565屏幕，320*240*2=153600，内存已经150K了，而很多低端单片机接口速度虽然勉强能用，但内存只有20K/8K，整屏的显存是绝对放不下的，只刷一部分都占很多内存

2301_80596293·2024-01-16 07:31

实践学习PaddleScience飞桨科学工具包

若碰到莫名其妙的报错，换成32G显存环境试试。要平视爱因斯坦和牛顿爱因斯坦和牛顿也是普通人，也有认识不到的地方，不要盲目崇拜，也不要一味否定前人

skywalk8163·2024-01-16 00:50

大模型听课笔记——书生·浦语（1）

全链条开源开放体系全链条开源开放体系|数据全链条开源开放体系|预训练全链条开源开放体系|微调极致的显存优化：消费级显卡（8GB）玩转微调全链条开源开放体系|部署针对上述问题书生·浦语提出了LMdeploy

亲爱的阿基米德^·2024-01-15 21:42

EfficientSAM 代码推理

EfficientSAM官方给的推理代码是CPU版本的，如果想使用GPU推理需要自己修改一下经过推理测试3090GPU，官方测试图片1072*603使用框或者点prompts使用vitt模型需要41-58ms左右，显存

TYUT_xiaoming·2024-01-15 17:59

二年级下册数学线上期中考试分析

学生在答题上有关第五单元的连续进位加法和连续退位减法以及加减混合运算和线段图的认读方面，明显存在失误，导致大量失分。满分的只有三名同学。大部分同学在第五单元的线段图审图上出现失误，

高燕艳·2024-01-15 13:22

DataLoader worker (pid(s) 13424) exited unexpectedly “nll_loss_forward_reduce_cuda_kernel_2d_index“

数据集太大，超过了您的内存或显存的容量，导致数据加载器无法分配足够的空间来存储或处理它们。数据加载器使用了多个进程来加速数据加载，但由于某些原因，这些进程之间的通信出现了问题，导致数据加载

尘汐筠竹·2024-01-15 11:30

书生·浦语大模型实战营笔记（四）

需要根据具体场景进行微调增量预训练：投喂垂类领域知识陈述形式，无问答，即只有assistant指令跟随：system-user-assistantXTunerXTuner的原理是LoRA和QLoRA，降低显存开销

三省斋主·2024-01-15 07:09

FlashAttention燃爆显存，Transformer上下文长度史诗级提升...

转载自|新智元继超快且省内存的注意力算法FlashAttention爆火后，升级版的2代来了。FlashAttention-2是一种从头编写的算法，可以加快注意力并减少其内存占用，且没有任何近似值。比起第一代，FlashAttention-2速度提升了2倍。甚至，相较于PyTorch的标准注意力，其运行速度最高可达9倍。一年前，StanfordAILab博士TriDao发布了FlashAttent

风度78·2024-01-15 03:42

用 Ollama 轻松玩转本地大模型

优雅不易根据经验，16位浮点精度（FP16）的模型，推理所需显存（以GB为单位）约为模型参数量（以10亿为单位）的两倍。

m0_54050778·2024-01-14 23:02

GAT网络为什么占用那么多的显存

GAT网络显存占用原因分析（非专业，纯个人理解）1：GAT的注意力机制2：为什么transformer就可以有很长的输入本blog主要聚焦以下几点：GAT为什么占用那么多的显存，尤其是在节点多的时候Transformer

无穷升高的卡农·2024-01-14 22:19

【书生·浦语】大模型实战营——第五课笔记

lmdeploy/lmdeploy.md视频链接：https://www.bilibili.com/video/BV1iW4y1A77P大模型部署背景关于模型部署通常需要模型压缩和硬件加速大模型的特点1、显存

Horace_01·2024-01-14 19:03

在 Nvidia Docker 容器编译构建显存优化加速组件 xFormers

本篇文章，聊聊如何在新版本PyTorch和CUDA容器环境中完成xFormers的编译构建。让你的模型应用能够跑的更快。写在前面xFormers是FaceBookResearch（Meta）开源的使用率非常高的Transformers加速选型，当我们使用大模型的时候，如果启用xFormers组件，能够获得非常明显的性能提升。因为xFormers对于Pytorch和CUDA新版本支持一般会晚很久。所

soulteary·2024-01-14 10:20

app内存是怎么分析的

iOS把OpenGL占用的显存算作虚拟内存的一部分

natewang·2024-01-14 10:20

pytorch多GPU并行DistributedDataParallel应用和踩坑记录（本节-单机多卡实现）持续补充

并且我实现分布式之后还是显示显存不足，不知道为什么。

Miss_Bueno·2024-01-14 09:33

LMDeploy 的量化和部署

vansin-patch-4/lmdeploy/lmdeploy.md视频：https://www.bilibili.com/video/BV1iW4y1A77P一、模型量化大模型参数量很大，运行起来非常消耗显存和内存

yestolife123·2024-01-14 07:45

大模型实战笔记04——XTuner 大模型单卡低成本微调实战

大模型实战笔记04——XTuner大模型单卡低成本微调实战1、Finetune简介2、XTuner3、8GB显存玩转LLM4、动手实战环节注：笔记内容均为截图课程视频地址：https://www.bilibili.com

等风来随风飘·2024-01-14 00:44

XTuner 大模型单卡低成本微调实战

XTuner大模型单卡低成本微调实战Finetune简介增量预训练微调指令跟随微调LoRAXTuner介绍功能亮点8GB显存玩转LLMFlashAttentionDeepSpeedZeRO上手操作平台激活环境微调参考教程

桑_榆·2024-01-13 17:16

gpu显卡简介

显卡查看算力4.显卡算力、驱动版本（DriverVersion）、CUDAToolkit（CUDAVersion）、PyTorch版本之间的关系5.显卡安装流程6.NVIDIA显卡简介二、实现基本常用参数1.显存

云帆@·2024-01-13 17:44

第一节课笔记——书生·浦语大模型实战营

8G显存

weixin_52626049·2024-01-13 13:03

第九讲单片机驱动彩色液晶屏控制RA8889软件:显存操作

单片机驱动TFT彩色液晶屏系列讲座目录第一讲单片机最小系统STM32F103C6T6通过RA8889驱动彩色液晶屏播放视频第二讲单片机最小系统STM32F103C6T6控制RA8889驱动彩色液晶屏硬件框架第三讲单片机驱动彩色液晶屏控制RA8889软件:如何初始化第四讲单片机驱动彩色液晶屏控制RA8889软件:绘图第五讲单片机驱动彩色液晶屏控制RA8889软件:显示文字：Part1.内部字库第六讲

BW.SU·2024-01-13 12:35

BIOS知识枝桠——GPU

GPU理论阐述概念功能供应商NVIDIAGPU名称解读显存GPU/显卡信息查看、鉴别工具显示接口GPU通用计算编程科普类文章，无实际技术相关，内容来源网络概念图形处理器（英语：GraphicsProcessingUnit

Hi,Hubery·2024-01-13 12:54

【第二课课后作业】书生·浦语大模型实战营-轻松玩转书生·浦语大模型趣味Demo

huggingface_hubpython包，下载InternLM-20B的config.json文件到本地2.进阶作业2.1完成Lagent工具调用Demo创作部署Step1:本地机连接服务器端口Step2:观察显存占用

Kinno酱·2024-01-13 06:21

iTOP-3A5000开发板28路PCIE、4路SATA、2路USB2.0、2路USB3.0、LAN、RS232、VGAHDMI等

桥片采用龙芯7A2000，支持PCIE3.0、USB3.0和SATA3.0.显示接口2路、HDMI和1路VGA，可直连显示器;另外内置一个网络PHY，片内集成了自研GPU，搭配32位DDR4显存接口，支持

mucheni·2024-01-13 02:19

mean-pooling（平均池化），max-pooling（最大池化）、Stochastic-pooling（随机池化）和global average pooling（全局平均池化）的区别简介

max-pooling（最大池化）、Stochastic-pooling（随机池化）和globalaveragepooling（全局平均池化），池化层有一个很明显的作用：减少特征图大小，也就是可以减少计算量和所需显存

天竺街潜水的八角·2024-01-12 20:33

nvidia-smi 无进程占用GPU，但GPU显存却被占用了

问题：有时我们在使用GPU的时候，因为某个原因，导致GPU被占，但有无法通过nvidia-smi看到进程编号，就会产生一个现象，GPU被未知程序所占用，我们只能使用GPU的一部分，针对这种现象怎么解决呢？方法1.重启电脑，如果win系统的话，直接关机重启即可；如果是linux系统，有图形界面的话，直接关机重启即可；如果是远程服务器的话，通过命令行：reboot重启（如果权限不够，就用sudoreb