节约显存

PyTorch torch.no_grad() 指南（笔记）

PyTorchtorch.no_grad()权威在PyTorch深度学习框架中，高效的显存管理对于训练复杂模型和执行大规模推理任务至关重要。

拉拉拉拉拉拉拉马·2025-07-19 22:32

【深度学习基础】PyTorch中model.eval()与with torch.no_grad()以及detach的区别与联系？

目录1.核心功能对比2.使用场景对比3.区别与联系4.典型代码示例(1)模型评估阶段(2)GAN训练中的判别器更新(3)提取中间特征5.关键区别总结6.常见问题与解决方案(1)问题：推理阶段显存爆掉(2

·2025-07-19 22:01

leetcode 46 全排列

改进点：其中是从第一位和第一位开始的，所以当i==left的时候，需要做交换操作，可以节约一些时间leetcode46全排列

小小尧·2025-07-19 19:12

一路有你的美好Day158

我的赞美日记：1.赞美自己手下留情留下了一个未退出的宝藏群，获取了资源，节约了时间成本。2.赞美自己顺风车送了4位同事，接了公公下班。3.赞美自己面对突如其来的撂挑子，迎难而上，调动一切资源自己干。

果果儿guoguo132328·2025-07-19 15:58

2018-04-08

所以智能手机的出现显著降低了我们学习的难度，只要善于使用搜索引擎，几乎能够获得所有的知识，而我们利用这些工具的姿势，会反过来决定我们未来的走向，所以一定不能做伸手党，能查到东西尽量自己去搜索，网上有很多现成的成功，我们要善于搜索，把节约的时间拿去干别的事生活中会面临很多突发状况

viper44·2025-07-19 10:20

【DBC】DBC中CAN信号多路复用

DBC文件信号多路复用详解1何时定义有些信号比较长，但是又不常用，就可以定义多路复用信号以节约空间。2具体定义2.1定义一个短信号来当做“控制开关”。

徐饼干·2025-07-12 15:47

LLaMA 学习笔记

激活函数旋转位置编码（RoPE）LLaMA模型结构：llama3结构详解-CSDN博客模型微调手册：大模型微调LLaMA详细指南（准备环境、数据、配置微调参数+微调过程）_llama微调-CSDN博客显存占用

AI算法网奇·2025-07-12 06:41

Transformer推理性能优化技术很重要的一个就是K V cache，能否通俗分析，可以结合代码?

设输入序列的长度为s，输出序列的长度为n，模型深度为l，维度为h,以FP16来保存KVcache，那么KVcache的峰值显存占用大小为b(s+n)h∗l∗2∗2=4blh(s+n)。

javastart·2025-07-11 15:28

408考研逐题详解：2010年第22题——显存带宽

2010年第22题假定一台计算机的显示存储器用DRAM芯片实现，若要求显示分辨率为1600×1200，颜色深度为24位，帧频为85Hz，显存总带宽的50%用来刷新屏幕，则需要的显存总带宽至少约为（）A.245Mbps

CS创新实验室·2025-07-10 06:26

NVIDIA GeForce RTX 3090显卡详细介绍

GeForceRTX3090显示芯片系列：NVIDIARTX30系列制作工艺：8纳米核心代号：GA102-300核心频率：基础频率1400MHz，加速频率1700MHzCUDA核心：10496个（二）显存规格显存频率

山顶望月川·2025-07-10 02:28

【NVIDIA-H100】基于 nvidia-smi 数据H100 GPU 功耗异常深度分析与解决方案

功耗与温度的关联逻辑三、3号H100GPU异常数据深度拆解（一）正常卡与异常卡数据对比（核心指标）（二）异常指标的物理意义四、功耗低的根源分析（多维度拆解）（一）硬件故障维度1.温度传感器故障（GPU核心）2.显存散热模块失效

清风 001·2025-07-09 17:01

TensorRT-LLM：大模型推理加速引擎的架构与实践

前言：技术背景与发展历程：随着GPT-4、LLaMA等千亿级参数模型的出现，传统推理框架面临三大瓶颈：显存占用高（单卡可达80GB）、计算延迟大（生成式推理需迭代处理）、硬件利用率低（Transformer

·2025-07-09 05:03

AI初学者如何对大模型进行微调？——零基础保姆级实战指南

仅需8GB显存，三步完成个人专属大模型训练四步实战：从环境配置到模型发布步骤1：云端环境搭建（10分钟）推荐使用阿里魔塔ModelScope免费GPU资源：#注册后执行环境初始化pip3install-

·2025-07-09 02:15

AI智能体长期记忆系统架构设计与落地实践：从理论到生产部署

本文基于Mem0、MemoryOS等前沿研究，系统解析长期记忆系统的三级架构、六大原子操作与生产级优化方案，结合金融、医疗等场景案例，通过7张架构图与4张对比表格，揭示如何实现91%延迟降低与90%成本节约的企业级记忆系统

一休哥助手·2025-07-09 00:33

阶梯电价问题解决方法

问题为了提倡居民节约用电，某省电力公司执行“阶梯电价”，安装一户一表的居民用户电价分为两个“阶梯”：月用电量50千瓦时（含50千瓦时）以内的，电价为0.53元/千瓦时；超过50千瓦时的，超出部分的用电量

算法与编程之美·2025-07-08 19:31

DeepSeek 部署中的常见问题及解决方案

显存不

tonngw·2025-07-08 16:42

10.6 ChatGLM3私有数据微调实战：24小时打造高精度模型，显存直降60%

ChatGLM3私有数据微调实战：24小时打造高精度模型，显存直降60%1.实战构造私有的微调数据集在微调大模型时，数据质量直接决定模型效果。本节将手把手教你如何构建高质量的私有微调数据集。

少林码僧·2025-07-08 06:34

c++ python 共享内存

来读取并解码传递给python，Python做测试非常方便，c++和python之间必须定好协议，整体使用c++来解码，共享内存传递给python二、主类主类，串联decoder，注意decoder并没有直接在显存里面穿透

qianbo_insist·2025-07-07 08:52

【技术派专享】并行智算云：RTX 5090 免费算力深度评测 + 实战指南▎ 为什么开发者需要关注云端算力？

在微调Llama3、训练扩散模型或跑Kaggle比赛时，本地显卡（比如RTX3090/4090）常面临显存不足、训练慢、散热差等问题。

山顶望月川·2025-07-06 20:01

Transformer已死？2025年十大替代架构实战评测

点击跳转到网站封面图建议：十大架构3D渲染图环绕碎裂的Transformer图标，背景为动态性能雷达图副标题：实测推理速度/显存占用/长文本能力，附迁移成本决策树一、争议源起：Transformer的时代性局限

·2025-07-06 17:30

边缘设备上部署模型的限制之一——显存占用：模型的参数量只是冰山一角

边缘设备上部署模型的限制之一——显存占用：模型的参数量只是冰山一角在边缘设备上部署深度学习模型已成为趋势，但资源限制是其核心挑战之一。其中，显存（或更广义的内存）占用是开发者们必须仔细考量的重要因素。

烟锁池塘柳0·2025-07-05 19:48

数据结构大项目

开发其系统主要为了帮助用户提高通讯录有管理效率，节约资源，提高信息的精确度模块：一级菜单内容1>注册模块:完成用户信息的注册用于登录管理系统，将注册信息存入结构体数组2>登录模块：使用输入的登录账号和密码与结构体数组存储信息对比

2301_147258369·2025-07-04 09:57

LoRA微调详解：如何为AIGC模型节省90%显存

LoRA微调详解：如何为AIGC模型节省90%显存关键词：LoRA、低秩适应、AIGC模型、参数高效微调、显存优化摘要：在AIGC（人工智能生成内容）领域，大模型（如GPT-3、LLaMA、StableDiffusion

SuperAGI2025·2025-07-03 19:00

大模型-FlashAttention 算法分析

通过感知显存读取/写入，FlashAttention的运行速度比PyTorch标准Attention快了2-4倍，所需内存也仅是其5%-20%。

清风lsq·2025-07-03 05:46

使用GPU进行机器学习训练时，如果GPU-Util计算核心满载工作但是显存占用较少，应该如何优化？

如果出现卡顿或效率低下：增大batch_size：提升显存占用，减少数据搬运次数（但需避免OOM）。启用混合精度：torch.cuda.amp可减少显存占用并加速计算。

十子木·2025-07-03 01:11

机器学习中为什么要用混合精度训练

目录FP16与显存占用关系机器学习中一般使用混合精度训练：FP16计算+FP32存储关键变量。FP16与显存占用关系显存（VideoRAM，简称VRAM）是显卡（GPU）专用的内存。

十子木·2025-07-03 01:39

使用虚幻引擎5（UE5）开发游戏的最低配置推荐

20H2或更高）处理器4核CPU（如Inteli5-4590或AMDRyzen51600），主频≥3.0GHz内存8GBRAM（推荐32GB以上，复杂场景需64GB）显卡NVIDIAGTX970（4GB显存

知1而N·2025-07-03 01:09

KVM 虚拟化技术性能测试与调优

系统虚拟化有很多的好处，如提高物理资源利用率、让系统资源更方便监控和管理、提高系统运维的效率、节约硬件投入的成本等等。那么，在真正实施生产环境的虚拟化时，到底选择哪种虚拟化方案呢？

wespten·2025-07-02 08:36

FP16、BF16、INT8、INT4精度模型加载所需显存以及硬件适配的分析

本文主要介绍了FP16、INT8、INT4精度模型加载占用显存大小的分析，希望对学习大

herosunly·2025-07-02 05:47

【机器学习&深度学习】适合微调的模型选型指南

目录一、不同规模模型微调适用性二、微调技术类型对显存的影响三、选择建议（根据你的硬件）四、实际模型推荐五、不同模型适合人群六、推荐几个“非常适合微调”的模型七、推荐使用的微调技术八、场景选择示例场景1：

一叶千舟·2025-07-02 05:12

【机器学习&深度学习】本地部署 vs API调用：关键看显存！

目录一、本地部署VSAPI调用1.模型运行方式2.性能与速度3.成本4.隐私与安全5.何时选择哪种方式？二、为什么推荐本地部署？1️⃣零依赖网络和外部服务，更可靠稳定2️⃣无调用次数限制，更适合高频或批量推理3️⃣避免长期API费用，节省成本4️⃣保护用户隐私和数据安全5️⃣可自定义、深度优化6️⃣加载一次即可复用，低延迟高性能7️⃣离线可用（重要！）三、适合本地部署的情况四、本地部署条件4.1模

一叶千舟·2025-07-02 03:34

动态规划1：爬楼梯问题

1.看力扣这道题2.我们可以把楼梯数简化出来输入012345输出1123583.不难看出，其实就是斐波那契数列，这种题有两种解法，一种是递归，另一种则是动态规划4.动态规划可以节约时间复杂度5.下面请看解法

追梦_逐影·2025-07-02 02:20

本地部署Qwen3小参数版本实测：并非鸡肋

另一方面，大模型对硬件要求较高，尤其是对GPU的性能和显存容量有一定要求。如果硬件不达标，模型运行起来可能会很慢，甚至根本无法运行。而且，

程序员寒山·2025-07-01 09:56

g711a音频编码记录

节约了1/10带宽遂放弃。尝试了安卓端mp3直播，效果不错，差不多带宽30kb/s。但是mp3有个很大的问题，就是延迟增大了几秒。研究了下wav压缩音频格式，发觉还有g711a，这个算法比

·2025-07-01 03:49

遥感影像数据处理-大图滑窗切分为小图

遥感影像的尺寸有大有小，大的达到几万x几万像素，而图像分割算法模型在训练中尺寸适中，比如256x256，512x512，1024x1024等等，如果直接将遥感影像的原图输入模型中进行训练，大概率会提示内存和显存不足

GIS潮流·2025-06-30 15:28

浅谈新能源与计算机

后来想着计算机本身也是需要能源支撑着的，这不就是联系所在，而且就我现在的专业——计算机系统结构而言，现在越来越多的研究想要做到计算机的能耗与效率的负载均衡，从体系结构层次、软件层次、算法层次，都是想要尽量节约计算机的能源

萝萝仔·2025-06-30 04:15

使用 Xinference 命令行工具（xinference launch）部署 Nanonets-OCR-s

二、部署步骤：从命令行启动模型1.确认环境与依赖已安装Xinference：pipinstall"xinference[all]"GPU显存≥9GB（

没刮胡子·2025-06-30 01:32

141G显存H20单机DeepSeek-R1满血FP8版性能测试

#环境参数#H20141G单机8卡，CUDA12.4，vLLMv0.8.3，flashinferv0.2.2#服务化命令#基于知乎大神的推荐出装与前期H800双机生产环境测试，在H20上开启EP、MLA等核心优化参数，实现推理吞吐性能最优吞吐量破10000tokens/s，VLLM0.8.1版本驱动下的Deepseek-r1671Bhttps://zhuanlan.zhihu.com/p/1887

·2025-06-29 19:18

随机存储器有哪些，只读存储器又有哪些

VRAM：显卡专用显存，支持高速图像

我推是大富翁·2025-06-29 16:58

【AI大模型】26、算力受限下的模型工程：从LoRA到弹性智能系统的优化实践

然而，对于大多数企业和研究者而言，动辄数百GB的显存需求、数十万块GPU的训练集群显然是难以企及的"算力鸿沟"。当面对"无米之炊"的困境时，模型工程技术成为突破算力瓶颈的核心路径——通过算法创新而非

无心水·2025-06-29 09:37

探秘阿里云Tair KVCache：大模型推理的加速引擎

随着模型规模的不断扩大和推理需求的日益增长，大模型推理过程中的显存瓶颈问题逐渐凸显，成为制约其发展和应用的关键因素。

云资源服务商·2025-06-28 20:56

川翔云电脑全新上线：三维行业高效云端算力新选择

二、硬件配置与性能参数CPU机型（侧重计算能力）GPU机型（图形渲染/AI训练）性能亮点支持最高8卡并联，显存叠加提升复杂场景处理能力。

渲染101专业云渲染·2025-06-28 15:51

【安装Stable Diffusion以及遇到问题和总结】

下面为你详细介绍安装部署的步骤：一、硬件要求显卡：需要NVIDIAGPU，显存至少6GB，推荐8GB及以上。

岁月玲珑·2025-06-28 10:17

Python打卡：Day39

知识点回顾图像数据的格式：灰度和彩色数据模型的定义显存占用的4种地方模型参数+梯度参数优化器参数数据批量所占显存神经元输出中间状态batchisize和训练的关系@浙大疏锦行

剑桥折刀s·2025-06-28 00:18

【大模型学习 | 量化】pytorch量化基础知识（1）

performingcomputationsandstoringtensorsatlowerbitwidthsthanfloatingpointprecision.支持INT8量化，可以降低4倍的模型大小以及显存需求

九年义务漏网鲨鱼·2025-06-27 23:37

MI300X vs H100：DeepSeek 部署在哪个 GPU 上性价比最高？

特别是像DeepSeek这样的开源模型家族，从轻量级的6.7B，到动辄上百亿甚至数百亿参数的超大模型，背后对算力和显存的要求各不相同。

卓普云·2025-06-27 15:15

第2章：Flux全版本说明

Dev版本开源但是不可商用，至少需要24G显存运行。

鱼雀AIGC·2025-06-26 19:54

DAY 39 图像数据与显存

知识点回顾图像数据的格式：灰度和彩色数据模型的定义显存占用的4种地方模型参数+梯度参数优化器参数数据批量所占显存神经元输出中间状态batchisize和训练的关系#先继续之前的代码importtorchimporttorch.nnasnnimporttorch.optimasoptimfromtorch.utils.dataimportDataLoader

小白菜333666·2025-06-26 02:01

ESP32S3控制舵机：当电子大脑遇上机械肌肉

文章总结（帮你们节约时间）电机的分类及舵机在其中的位置舵机的内部结构和工作原理ESP32S3的强大功能及其与舵机控制的完美结合EC11旋转编码器的使用方法及与ESP32S3的配合详细的硬件连接和Arduino

SlientICE·2025-06-26 01:58

ESP32S3 GPIO全模式解析：掀开Arduino底层的神秘面纱

文章总结（帮你们节约时间）ESP32S3的GPIO输入输出功能及底层实现原理。详细讲解了ESP32S3的8种GPIO工作模式。解释了ESP32S3GPIO寄存器配置及底层驱动机制。

SlientICE·2025-06-26 01:28

推荐频道