24G显存

LLaMA 学习笔记

激活函数旋转位置编码（RoPE）LLaMA模型结构：llama3结构详解-CSDN博客模型微调手册：大模型微调LLaMA详细指南（准备环境、数据、配置微调参数+微调过程）_llama微调-CSDN博客显存占用
AI算法网奇·2025-07-12 06:41

Transformer推理性能优化技术很重要的一个就是K V cache，能否通俗分析，可以结合代码?

设输入序列的长度为s，输出序列的长度为n，模型深度为l，维度为h,以FP16来保存KVcache，那么KVcache的峰值显存占用大小为b(s+n)h∗l∗2∗2=4blh(s+n)。
javastart·2025-07-11 15:28

408考研逐题详解：2010年第22题——显存带宽

2010年第22题假定一台计算机的显示存储器用DRAM芯片实现，若要求显示分辨率为1600×1200，颜色深度为24位，帧频为85Hz，显存总带宽的50%用来刷新屏幕，则需要的显存总带宽至少约为（）A.245Mbps
CS创新实验室·2025-07-10 06:26

NVIDIA GeForce RTX 3090显卡详细介绍

GeForceRTX3090显示芯片系列：NVIDIARTX30系列制作工艺：8纳米核心代号：GA102-300核心频率：基础频率1400MHz，加速频率1700MHzCUDA核心：10496个（二）显存规格显存频率
山顶望月川·2025-07-10 02:28

【NVIDIA-H100】基于 nvidia-smi 数据H100 GPU 功耗异常深度分析与解决方案

功耗与温度的关联逻辑三、3号H100GPU异常数据深度拆解（一）正常卡与异常卡数据对比（核心指标）（二）异常指标的物理意义四、功耗低的根源分析（多维度拆解）（一）硬件故障维度1.温度传感器故障（GPU核心）2.显存散热模块失效
清风 001·2025-07-09 17:01

TensorRT-LLM：大模型推理加速引擎的架构与实践

前言：技术背景与发展历程：随着GPT-4、LLaMA等千亿级参数模型的出现，传统推理框架面临三大瓶颈：显存占用高（单卡可达80GB）、计算延迟大（生成式推理需迭代处理）、硬件利用率低（Transformer
·2025-07-09 05:03

AI初学者如何对大模型进行微调？——零基础保姆级实战指南

仅需8GB显存，三步完成个人专属大模型训练四步实战：从环境配置到模型发布步骤1：云端环境搭建（10分钟）推荐使用阿里魔塔ModelScope免费GPU资源：#注册后执行环境初始化pip3install-
·2025-07-09 02:15

DeepSeek 部署中的常见问题及解决方案

显存不
tonngw·2025-07-08 16:42

10.6 ChatGLM3私有数据微调实战：24小时打造高精度模型，显存直降60%

ChatGLM3私有数据微调实战：24小时打造高精度模型，显存直降60%1.实战构造私有的微调数据集在微调大模型时，数据质量直接决定模型效果。本节将手把手教你如何构建高质量的私有微调数据集。
少林码僧·2025-07-08 06:34

c++ python 共享内存

来读取并解码传递给python，Python做测试非常方便，c++和python之间必须定好协议，整体使用c++来解码，共享内存传递给python二、主类主类，串联decoder，注意decoder并没有直接在显存里面穿透
qianbo_insist·2025-07-07 08:52

飞睿智能酒店人体存在感应雷达模块24G传感器，智能空调、LED照明开关节能新风尚

在科技日新月异的今天，智能酒店已经不再是遥不可及的梦想，而是逐渐走进了我们的日常生活。从智能门锁到自动调节的室内环境，再到贴心的语音助手服务，智能酒店为我们带来了未有的便捷与舒适。然而，在这些令人惊叹的智能化设施中，一个可能并不起眼但同样至关重要的组件正在悄然改变着我们的住宿体验——飞睿智能人体存在感应雷达模块。一、揭秘人体存在感应雷达模块人体存在感应雷达模块，听起来可能有些陌生，但其实它的工作原
飞睿科技·2025-07-06 22:17

【技术派专享】并行智算云：RTX 5090 免费算力深度评测 + 实战指南▎ 为什么开发者需要关注云端算力？

在微调Llama3、训练扩散模型或跑Kaggle比赛时，本地显卡（比如RTX3090/4090）常面临显存不足、训练慢、散热差等问题。
山顶望月川·2025-07-06 20:01

Transformer已死？2025年十大替代架构实战评测

点击跳转到网站封面图建议：十大架构3D渲染图环绕碎裂的Transformer图标，背景为动态性能雷达图副标题：实测推理速度/显存占用/长文本能力，附迁移成本决策树一、争议源起：Transformer的时代性局限
·2025-07-06 17:30

边缘设备上部署模型的限制之一——显存占用：模型的参数量只是冰山一角

边缘设备上部署模型的限制之一——显存占用：模型的参数量只是冰山一角在边缘设备上部署深度学习模型已成为趋势，但资源限制是其核心挑战之一。其中，显存（或更广义的内存）占用是开发者们必须仔细考量的重要因素。
烟锁池塘柳0·2025-07-05 19:48

LoRA微调详解：如何为AIGC模型节省90%显存

LoRA微调详解：如何为AIGC模型节省90%显存关键词：LoRA、低秩适应、AIGC模型、参数高效微调、显存优化摘要：在AIGC（人工智能生成内容）领域，大模型（如GPT-3、LLaMA、StableDiffusion
SuperAGI2025·2025-07-03 19:00

大模型-FlashAttention 算法分析

通过感知显存读取/写入，FlashAttention的运行速度比PyTorch标准Attention快了2-4倍，所需内存也仅是其5%-20%。
清风lsq·2025-07-03 05:46

使用GPU进行机器学习训练时，如果GPU-Util计算核心满载工作但是显存占用较少，应该如何优化？

如果出现卡顿或效率低下：增大batch_size：提升显存占用，减少数据搬运次数（但需避免OOM）。启用混合精度：torch.cuda.amp可减少显存占用并加速计算。
十子木·2025-07-03 01:11

机器学习中为什么要用混合精度训练

目录FP16与显存占用关系机器学习中一般使用混合精度训练：FP16计算+FP32存储关键变量。FP16与显存占用关系显存（VideoRAM，简称VRAM）是显卡（GPU）专用的内存。
十子木·2025-07-03 01:39

使用虚幻引擎5（UE5）开发游戏的最低配置推荐

20H2或更高）处理器4核CPU（如Inteli5-4590或AMDRyzen51600），主频≥3.0GHz内存8GBRAM（推荐32GB以上，复杂场景需64GB）显卡NVIDIAGTX970（4GB显存
知1而N·2025-07-03 01:09

FP16、BF16、INT8、INT4精度模型加载所需显存以及硬件适配的分析

本文主要介绍了FP16、INT8、INT4精度模型加载占用显存大小的分析，希望对学习大
herosunly·2025-07-02 05:47

【机器学习&深度学习】适合微调的模型选型指南

目录一、不同规模模型微调适用性二、微调技术类型对显存的影响三、选择建议（根据你的硬件）四、实际模型推荐五、不同模型适合人群六、推荐几个“非常适合微调”的模型七、推荐使用的微调技术八、场景选择示例场景1：
一叶千舟·2025-07-02 05:12

【机器学习&深度学习】本地部署 vs API调用：关键看显存！

目录一、本地部署VSAPI调用1.模型运行方式2.性能与速度3.成本4.隐私与安全5.何时选择哪种方式？二、为什么推荐本地部署？1️⃣零依赖网络和外部服务，更可靠稳定2️⃣无调用次数限制，更适合高频或批量推理3️⃣避免长期API费用，节省成本4️⃣保护用户隐私和数据安全5️⃣可自定义、深度优化6️⃣加载一次即可复用，低延迟高性能7️⃣离线可用（重要！）三、适合本地部署的情况四、本地部署条件4.1模
一叶千舟·2025-07-02 03:34

本地部署Qwen3小参数版本实测：并非鸡肋

另一方面，大模型对硬件要求较高，尤其是对GPU的性能和显存容量有一定要求。如果硬件不达标，模型运行起来可能会很慢，甚至根本无法运行。而且，
程序员寒山·2025-07-01 09:56

遥感影像数据处理-大图滑窗切分为小图

遥感影像的尺寸有大有小，大的达到几万x几万像素，而图像分割算法模型在训练中尺寸适中，比如256x256，512x512，1024x1024等等，如果直接将遥感影像的原图输入模型中进行训练，大概率会提示内存和显存不足
GIS潮流·2025-06-30 15:28

使用 Xinference 命令行工具（xinference launch）部署 Nanonets-OCR-s

二、部署步骤：从命令行启动模型1.确认环境与依赖已安装Xinference：pipinstall"xinference[all]"GPU显存≥9GB（
没刮胡子·2025-06-30 01:32

141G显存H20单机DeepSeek-R1满血FP8版性能测试

#环境参数#H20141G单机8卡，CUDA12.4，vLLMv0.8.3，flashinferv0.2.2#服务化命令#基于知乎大神的推荐出装与前期H800双机生产环境测试，在H20上开启EP、MLA等核心优化参数，实现推理吞吐性能最优吞吐量破10000tokens/s，VLLM0.8.1版本驱动下的Deepseek-r1671Bhttps://zhuanlan.zhihu.com/p/1887
·2025-06-29 19:18

随机存储器有哪些，只读存储器又有哪些

VRAM：显卡专用显存，支持高速图像
我推是大富翁·2025-06-29 16:58

【AI大模型】26、算力受限下的模型工程：从LoRA到弹性智能系统的优化实践

然而，对于大多数企业和研究者而言，动辄数百GB的显存需求、数十万块GPU的训练集群显然是难以企及的"算力鸿沟"。当面对"无米之炊"的困境时，模型工程技术成为突破算力瓶颈的核心路径——通过算法创新而非
无心水·2025-06-29 09:37

探秘阿里云Tair KVCache：大模型推理的加速引擎

随着模型规模的不断扩大和推理需求的日益增长，大模型推理过程中的显存瓶颈问题逐渐凸显，成为制约其发展和应用的关键因素。
云资源服务商·2025-06-28 20:56

川翔云电脑全新上线：三维行业高效云端算力新选择

二、硬件配置与性能参数CPU机型（侧重计算能力）GPU机型（图形渲染/AI训练）性能亮点支持最高8卡并联，显存叠加提升复杂场景处理能力。
渲染101专业云渲染·2025-06-28 15:51

【安装Stable Diffusion以及遇到问题和总结】

下面为你详细介绍安装部署的步骤：一、硬件要求显卡：需要NVIDIAGPU，显存至少6GB，推荐8GB及以上。
岁月玲珑·2025-06-28 10:17

Python打卡：Day39

知识点回顾图像数据的格式：灰度和彩色数据模型的定义显存占用的4种地方模型参数+梯度参数优化器参数数据批量所占显存神经元输出中间状态batchisize和训练的关系@浙大疏锦行
剑桥折刀s·2025-06-28 00:18

【大模型学习 | 量化】pytorch量化基础知识（1）

performingcomputationsandstoringtensorsatlowerbitwidthsthanfloatingpointprecision.支持INT8量化，可以降低4倍的模型大小以及显存需求
九年义务漏网鲨鱼·2025-06-27 23:37

MI300X vs H100：DeepSeek 部署在哪个 GPU 上性价比最高？

特别是像DeepSeek这样的开源模型家族，从轻量级的6.7B，到动辄上百亿甚至数百亿参数的超大模型，背后对算力和显存的要求各不相同。
卓普云·2025-06-27 15:15

第2章：Flux全版本说明

Dev版本开源但是不可商用，至少需要24G显存运行。
鱼雀AIGC·2025-06-26 19:54

DAY 39 图像数据与显存

知识点回顾图像数据的格式：灰度和彩色数据模型的定义显存占用的4种地方模型参数+梯度参数优化器参数数据批量所占显存神经元输出中间状态batchisize和训练的关系#先继续之前的代码importtorchimporttorch.nnasnnimporttorch.optimasoptimfromtorch.utils.dataimportDataLoader
小白菜333666·2025-06-26 02:01

从零构建ComfyUI：揭秘节点式AI工作流引擎开发全流程

看开发者如何打造可视化AI流水线超深度目录开篇隐喻：汽车工厂与节点流水线️地基搭建：开发环境全景配置基因工程：核心架构设计哲学节点系统：可插拔模块实现⚡引擎内核：工作流执行原理跨域通信：前后端数据桥梁性能革命：显存与计算优化生态拓展
留思难·2025-06-25 21:24

ComfyUI底层架构大揭秘：从节点工厂到AI艺术流水线

当节点像乐高积木般拼接，看ComfyUI如何构建AI艺术的生产流水线深度目录开篇类比：汽车工厂与节点流水线核心骨架：模块化节点系统设计⚙️动力引擎：Python异步执行框架神经连接：事件驱动架构剖析加速秘籍：显存优化三大黑科技跨域桥梁
留思难·2025-06-25 21:21

vllm docker容器部署大语言模型

VLLM（VeryLargeLanguageModelInference）是一个高性能、优化显存管理的大模型推理引擎。
zhangxiangweide·2025-06-25 07:15

DAY 39 图像数据与显存

目录DAY39图像数据与显存1.图像数据的格式：灰度和彩色数据2.模型的定义3.显存占用的4种地方a.模型参数+梯度参数b.优化器参数c.数据批量所占显存d.神经元输出中间状态4.batchisize和训练的关系作业
HINOTOR_·2025-06-24 19:47

网络模块尺寸多样导致的内存碎片

在给网络换了编码器之后，出现了显存不足的报错，于是出现了两个问题，一个是为什么服务器上有5G的显存不可用，由于除了数据集之外，配置和模型相同的另一个设备上还有接近一半的占用，而这里显然高出了几G，所以先不解决这个问题
weixin_42319617·2025-06-24 17:58

从7B到671B：DeepSeek R1大模型微调的GPU选型终极指南

以FP16精度计算，7B模型微调需要至少14GB显存（含优化器状态），而671B版本则需要惊人的3TB级存储空间。
卓普云·2025-06-24 17:54

【Python打卡Day38】Dataset和Dataloader类 @浙大疏锦行

Dataset和Dataloader类在遇到大规模数据集时，显存常常无法一次性存储所有数据，所以需要使用分批训练的方法。
可能是猫猫人·2025-06-24 07:18

Python_day38Dataset和Dataloader类

DAY38在遇到大规模数据集时，显存常常无法一次性存储所有数据，所以需要使用分批训练的方法。
且慢.589·2025-06-24 06:46

DAY 39 图像数据与显存

@浙大疏锦行https://blog.csdn.net/weixin_45655710知识点回顾图像数据的格式：灰度和彩色数据模型的定义显存占用的4种地方模型参数+梯度参数优化器参数数据批量所占显存神经元输出中间状态
·2025-06-23 14:31

资源调度与分配策略

当一台GPU服务器同时运行多个模型服务实例，如果没有合理的资源调度机制，某些实例可能占用大量显存导致其他实例OOM，甚至拖垮整个节点。
大数据张老师·2025-06-21 14:20

解决大场景渲染崩溃！RenderG专家亲授：贴图与代理优化终极指南

当你的场景包含：✅数十栋高清建筑模型✅4K植被贴图×上千实例✅复杂粒子+流体模拟⚠️崩溃根源：贴图过载：未压缩的4K/8K贴图吃光显存；模型细节冗余：百万面模型直接参与渲染；代理缺
Bar_artist·2025-06-21 05:20

炸裂提速！PyTorch 2.2 Torch.compile优化器实战：从原理到模型训练加速300%全攻略

传统PyTorch训练模式面临诸多挑战：计算效率低下：某计算机视觉模型在A100GPU上训练，单步迭代耗时达800ms，GPU利用率不足45%内存开销大：自然语言处理Transformer模型训练时，显存占用超过
游戏人生的NPC·2025-06-20 14:41

BitsAndBytes（简称 BnB）是一个用于“压缩”大语言模型的工具包

BitsAndBytes（简称BnB）是一个用于“压缩”大语言模型的工具包，能把模型从原来的16位或32位，压成4位或8位，减少显存占用，同时保持尽量高的精度。为什么叫BitsandBytes？
背太阳的牧羊人·2025-06-20 06:10

windows获取显卡的显存

windows获取显卡名称上一篇获取显卡名称，这一篇讲获取显卡的显存。
Depth君·2025-06-20 06:39
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他