E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
24G显存
【书生·浦语】大模型实战营——第五课笔记
lmdeploy/lmdeploy.md视频链接:https://www.bilibili.com/video/BV1iW4y1A77P大模型部署背景关于模型部署通常需要模型压缩和硬件加速大模型的特点1、
显存
Horace_01
·
2024-01-14 19:03
笔记
人工智能
python
语言模型
在 Nvidia Docker 容器编译构建
显存
优化加速组件 xFormers
本篇文章,聊聊如何在新版本PyTorch和CUDA容器环境中完成xFormers的编译构建。让你的模型应用能够跑的更快。写在前面xFormers是FaceBookResearch(Meta)开源的使用率非常高的Transformers加速选型,当我们使用大模型的时候,如果启用xFormers组件,能够获得非常明显的性能提升。因为xFormers对于Pytorch和CUDA新版本支持一般会晚很久。所
soulteary
·
2024-01-14 10:20
为了不折腾而去折腾的那些事
docker
nvidia
xformers
flash
attention
cutlass
app内存是怎么分析的
iOS把OpenGL占用的
显存
算作虚拟内存的一部分
natewang
·
2024-01-14 10:20
pytorch多GPU并行DistributedDataParallel应用和踩坑记录(本节-单机多卡实现)持续补充
并且我实现分布式之后还是显示
显存
不足,不知道为什么。
Miss_Bueno
·
2024-01-14 09:33
pytorch
人工智能
python
LMDeploy 的量化和部署
vansin-patch-4/lmdeploy/lmdeploy.md视频:https://www.bilibili.com/video/BV1iW4y1A77P一、模型量化大模型参数量很大,运行起来非常消耗
显存
和内存
yestolife123
·
2024-01-14 07:45
人工智能
大模型实战笔记04——XTuner 大模型单卡低成本微调实战
大模型实战笔记04——XTuner大模型单卡低成本微调实战1、Finetune简介2、XTuner3、8GB
显存
玩转LLM4、动手实战环节注:笔记内容均为截图课程视频地址:https://www.bilibili.com
等风来随风飘
·
2024-01-14 00:44
书生浦语大模型实战
笔记
XTuner 大模型单卡低成本微调实战
XTuner大模型单卡低成本微调实战Finetune简介增量预训练微调指令跟随微调LoRAXTuner介绍功能亮点8GB
显存
玩转LLMFlashAttentionDeepSpeedZeRO上手操作平台激活环境微调参考教程
桑_榆
·
2024-01-13 17:16
MMLab实战训练营
人工智能
深度学习
机器学习
gpu显卡简介
显卡查看算力4.显卡算力、驱动版本(DriverVersion)、CUDAToolkit(CUDAVersion)、PyTorch版本之间的关系5.显卡安装流程6.NVIDIA显卡简介二、实现基本常用参数1.
显存
云帆@
·
2024-01-13 17:44
NVIDIA显卡
服务器
人工智能
第一节课笔记——书生·浦语大模型实战营
8G
显存
weixin_52626049
·
2024-01-13 13:03
语言模型
第九讲 单片机驱动彩色液晶屏 控制RA8889软件:
显存
操作
单片机驱动TFT彩色液晶屏系列讲座目录第一讲单片机最小系统STM32F103C6T6通过RA8889驱动彩色液晶屏播放视频第二讲单片机最小系统STM32F103C6T6控制RA8889驱动彩色液晶屏硬件框架第三讲单片机驱动彩色液晶屏控制RA8889软件:如何初始化第四讲单片机驱动彩色液晶屏控制RA8889软件:绘图第五讲单片机驱动彩色液晶屏控制RA8889软件:显示文字:Part1.内部字库第六讲
BW.SU
·
2024-01-13 12:35
单片机
嵌入式硬件
BIOS知识枝桠——GPU
GPU理论阐述概念功能供应商NVIDIAGPU名称解读
显存
GPU/显卡信息查看、鉴别工具显示接口GPU通用计算编程科普类文章,无实际技术相关,内容来源网络概念图形处理器(英语:GraphicsProcessingUnit
Hi,Hubery
·
2024-01-13 12:54
BIOS
gpu
【第二课课后作业】书生·浦语大模型实战营-轻松玩转书生·浦语大模型趣味Demo
huggingface_hubpython包,下载InternLM-20B的config.json文件到本地2.进阶作业2.1完成Lagent工具调用Demo创作部署Step1:本地机连接服务器端口Step2:观察
显存
占用
Kinno酱
·
2024-01-13 06:21
大模型
机器学习
人工智能
深度学习
bert
chatgpt
nlp
iTOP-3A5000开发板28路PCIE、4路SATA、2路USB2.0、2路USB3.0、LAN、RS232、VGAHDMI等
桥片采用龙芯7A2000,支持PCIE3.0、USB3.0和SATA3.0.显示接口2路、HDMI和1路VGA,可直连显示器;另外内置一个网络PHY,片内集成了自研GPU,搭配32位DDR4
显存
接口,支持
mucheni
·
2024-01-13 02:19
3A5000
mean-pooling(平均池化),max-pooling(最大池化)、Stochastic-pooling(随机池化)和global average pooling(全局平均池化)的区别简介
max-pooling(最大池化)、Stochastic-pooling(随机池化)和globalaveragepooling(全局平均池化),池化层有一个很明显的作用:减少特征图大小,也就是可以减少计算量和所需
显存
天竺街潜水的八角
·
2024-01-12 20:33
深度学习基本知识
数学建模
python
开发语言
nvidia-smi 无进程占用GPU,但GPU
显存
却被占用了
问题:有时我们在使用GPU的时候,因为某个原因,导致GPU被占,但有无法通过nvidia-smi看到进程编号,就会产生一个现象,GPU被未知程序所占用,我们只能使用GPU的一部分,针对这种现象怎么解决呢?方法1.重启电脑,如果win系统的话,直接关机重启即可;如果是linux系统,有图形界面的话,直接关机重启即可;如果是远程服务器的话,通过命令行:reboot重启(如果权限不够,就用sudoreb
天竺街潜水的八角
·
2024-01-12 20:33
安装调式
linux
人工智能
memory监控方法
class对象,读取so,apk,dex文件时用到的mmap文件Stack:stack内存存放了栈帧(用于存储局部变量、操作数以及返回地址),每个方法调用都会创建一个栈,stack内存是虚拟机进程独有的GPU
显存
亚瑟-小郎
·
2024-01-12 20:27
Android性能优化
linux
android
性能优化
memory
速度飙升200%!Flash Attention 2一统江湖,注意力计算不再是问题!
每天给你送上干货❤️作者|godweiyang出品|公众号:算法码上来(ID:GodNLP)-BEGIN-attention是Transformer中最重要的一个结构,但是随着序列长度的增加,计算复杂度以增长,
显存
和速度都会吃不消
算法码上来
·
2024-01-12 14:12
LLM大模型
显存
计算
一、目录模型参数单位内存计算案例显卡算力推理
显存
计算训练
显存
计算huggface官网计算模型推理/训练需要的
显存
大模型输入长度与
显存
的关系大模型推理多线程与
显存
的关系参考:https://blog.csdn.net
云帆@
·
2024-01-12 14:02
AI
深度学习
pytorch
人工智能
STM32使用1.69寸液晶显示模块使用缓冲区实现快速刷新全屏显示字符串功能
个字节表示RGB的颜色,所以需要153.6K个字节的数据来刷新全屏,如果SPI口输出数据不是高速并且不紧密排列的话,刷新就会比较慢,有从下到下的肉眼可见的刷新过程,现就是希望使用数据缓冲区(我理解这就是
显存
的概念吧
ztvzbj
·
2024-01-12 06:56
stm32
硬件工程
嵌入式硬件
单片机
大模型学习第四课
8GB显卡玩转LLM动手实战环节学习时间:20240110学习产出:Finetune简介增量预训练微调指令跟随微调LoRA,QLoRAXTuner简介:适配多种生态,适配多种硬件快速上手:数据引擎8GB
显存
玩转
敲键盘的喵桑
·
2024-01-11 21:38
大模型实战营笔记
学习
LORA的基本原理
使用LORA,训练参数仅为整体参数的万分之一、GPU
显存
使用量减少2/3且不会引入额外的推
TFATS
·
2024-01-11 19:56
GPT大模型
nlp
算法
大模型
lora
自然语言处理
人工智能
InternLM第1节课笔记
预训练InternLM-Train高可扩展:8卡-千卡兼容主流:支持HuggingFace微调XTuner:自动优化加速、适配多种开源生态,
显存
优化增量续训有监督微调部署LMDeploy接口:Python
Jamiechoi
·
2024-01-11 05:34
笔记
用BEVformer来卷自动驾驶-3
书接前文前文链接:用BEVformer来卷自动驾驶-2(qq.com)上文书基本把BEV的概念捋清楚了,也对标准BEV可能存在的计算和
显存
的压力做了一番分析这篇就是介绍BEVformer是个啥先给个定义
周博洋K
·
2024-01-10 17:17
自动驾驶
深度学习
机器学习
ChatGLM3在windows上部署
2本机配置台式机:CPU:Intel(R)Core(TM)i7-10700FRAM:32GGPU:NVIDIARTX3060(
显存
12G)OS:Windows10企业版3部署环境3.1使用anaconda3
shgh_2004
·
2024-01-10 15:07
windows
ChatGML3
大模型
ChatGLM2-6B 大语言模型本地搭建
ChatGLM2-6B的6B代表了训练参数量为60亿,同时运用了模型量化技术,意味着用户可以在消费级的显卡上进行本地部署(INT4量化级别下最低只需6GB
显存
)详细介绍(官方git:https://github.com
雪峰空间
·
2024-01-10 11:42
语言模型
人工智能
自然语言处理
Ubuntu 实时查看
显存
调用命令 free 及命令详解与原理说明(全)
Ubuntu实时查看
显存
调用命令free及详解文章目录Ubuntu实时查看
显存
调用命令free及详解1free作用1.1语法:1.2单独显示例子1.3组合显示例子2输出介绍3原理解释3.1buff/cache
sugardisk
·
2024-01-10 07:02
ubuntu
linux
运维
【大模型】LLM
显存
占用对比:Qwen-7B-Chat,Qwen-14B-Chat-Int8,chatglm3-6b
【大模型】LLM
显存
占用对比:Qwen-7B-Chat,Qwen-14B-Chat-Int8,chatglm3-6b
显存
占用对比:总结参考
显存
占用对比:显卡:NVIDIAGeForceRTX4090系统环境
szZack
·
2024-01-09 22:02
大语言模型
LLM显存对比
工业异常检测AnomalyGPT-Demo试跑
一、试跑环境NVIDIA4090显卡
24g
,cpu内存33G,交换空间8g,操作系统ubuntu22.04(试跑过程cpu使用峰值为32.8g,交换空间使用峰值8g)二、数据准备1.AnomalyGPT
独鹿
·
2024-01-09 16:00
人工智能
算法
llama
大模型
工业缺陷检测模型
GPT实战系列-ChatGLM3管理外部借力工具
LLM大模型相关文章:GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡
24G
实战方案GPT实战系列-LangChain+ChatGLM3构建天气查询助手大模型查
Alex_StarSky
·
2024-01-09 16:59
GPT实战系列
ChatGLM3
tools
GPT
langchain
大模型助手
LLM
股票查询
报错RuntimeError: no valid convolution algorithms available in CuDNN
而是因为你的
显存
过低不能训练,解决办法是使用混精度训练!!!这样能减少近一半的
显存
!!!这种报错一般都是在自己电脑上跑才会出现的,或者你可以在服务器上跑,一般服务器
显存
是足够的。
虽然什么都没做,但我还是辛苦了
·
2024-01-09 15:26
人工智能
深度学习
显卡的困惑
4那
显存
又是什么嘞?5显卡与
显存
有什么关联呢?6劳资买个电脑有这么麻烦?图片发自App好的吧看到这里显然是要看答案喽好的那我就用简单的话来解释就好了1
老腊程序猿
·
2024-01-09 12:12
腐烂国度计算机配置要求,腐烂国度2配置要求高吗 腐烂国度2具体配置要求介绍...
【配置要求】最低配置要求:OS:Windows10架构:x64,X64DirectX:Version11内存:8GB
显存
:2G
吴思扬
·
2024-01-09 12:39
腐烂国度计算机配置要求
腐烂国度计算机配置要求,《腐烂国度2》PC配置公布 最低要求GTX 760
具体如下:最低配置要求:操作系统:Windows10架构:x64,X64DirectX:Version11内存:8GB
显存
:2GB处理器:AMDFX-6300|Inteli5-2500@2.7GHz显卡
转角一只喵
·
2024-01-09 12:39
腐烂国度计算机配置要求
【书生·浦语大模型实战营01】《书生·浦语大模型全链路开源体系》
等低成本微调评测:OpenCompass全方位评测,性能可复现80套评测集,40万道题目3.全链条开源开放体系|微调3.1高效微调框架XTuner3.1.1适配多种生态自动优化加速开发者无需关注复杂的
显存
优化与计算加速细节
songyuc
·
2024-01-09 05:16
LLM
将3060独显笔记本升级为高级AI工作站
将3060独显笔记本升级为windows+UbuntuAI工作站背景:我搞AI的,手头有一个笔记本,显卡Nvidia30606G
显存
,磁盘和内存较低。
君宝bob
·
2024-01-08 22:03
边缘分布式计算
数字空间建设指南
docker
gpu
人工智能
ubuntu
linux
GPT实战系列-简单聊聊LangChain
GPT实战系列-简单聊聊LangChainLLM大模型相关文章:GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡
24G
实战方案GPT实战系列-Baichuan2本地化部署实战方案
Alex_StarSky
·
2024-01-08 11:55
GPT实战系列
gpt
langchain
大模型
LLM
AI助手
大模型应用框架
GPT实战系列-LangChain + ChatGLM3构建天气查询助手
LLM大模型相关文章:GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡
24G
实战方案GPT实战系列-Baichuan2本地化部署实战方案
Alex_StarSky
·
2024-01-08 11:21
GPT实战系列
Langchain
ChatGLM3
天气查询助手
LLM
本地部署
大模型
计组总复习
第2题8分,其余每题10分,共48分)名词解释CISC:复杂指令系统计算机RISC:精简指令计算机BCD:二进码十进数或二-十进制代码SRAM:静态随机存取存储器DRAM:动态随机存取存储器VRAM:
显存
燃梅
·
2024-01-08 10:28
stable diffusion WebUI基础-安装
电脑配置要求N卡
显存
6G起(建议直接上12G)内存建议16G,8G也可固态盘500G以上CPUi5即可魔法上网虚拟环境安装python我非常不建议直接在自己的电脑里直接装python,因为现在很多项目的环境比较乱
mindcarver
·
2024-01-08 09:17
AI绘画教程
stable
diffusion
AI作画
ai
【LMM 012】TinyGPT-V:
24G
显存
训练,8G
显存
推理的高效多模态大模型
论文标题:TinyGPT-V:EfficientMultimodalLargeLanguageModelviaSmallBackbones论文作者:ZhengqingYuan,ZhaoxuLi,LichaoSun作者单位:AnhuiPolytechnicUniversity,NanyangTechnologicalUniversity,LehighUniversity论文原文:https://ar
datamonday
·
2024-01-08 00:21
Learning)
人工智能
多模态
Phi2
MiniGPT
BLIP
CVPR 2022 |节省70%的
显存
,训练速度提高2倍
本篇分享CVPR2022论文『OnlineConvolutionalRe-parameterization』,浙大&阿里提出在线卷积重新参数化OREPA,节省70%的
显存
!训练速度提高2倍!
FightingCV
·
2024-01-07 05:01
[ComfyUI] 基础教程(一)环境部署和插件安装
ComfyUI为StableDiffusion提供了一个强大的节点流程操作界面,带来了更多的自由度和可复现性,同时降低了
显存
要求。
细节控-AI先行者
·
2024-01-07 04:12
ComfyUI从入门到精通
stable
diffusion
人工智能
ai绘画
Anaconda+pycharm+pytorch安装教程(GPU版)
配置环境os:win11Anaconda:3pycharm:2022.3.2(ProfessionalEdition)CUDA:11.7注意:显卡必须是英伟达且
显存
6G及以上为佳,否则Pytorch安装在
RinceK
·
2024-01-06 06:29
pycharm
pytorch
python
【Graphics Pipeline 2011】GPU内存架构以及Command Processor
CommandBuffer的整个处理过程都是跟内存相关的,不管是通过PCI总线访问的系统内存还是local
显存
等,因此如果我们要
离原春草
·
2024-01-06 03:13
读书之深入理解ffmpeg_简单笔记3(初步)
(涉及硬件相关结构体,接口,
显存
和cpu之间数据的交互)AVFrame的介绍,以及相关接口demo的使用。
yun6853992
·
2024-01-05 14:29
读书
ffmpeg
笔记
基于transformers,用GPU训练的
显存
优化方法
声明:以下基本都是基于时间换空间的方法,微调方法用的是firefly(流萤)框架1.减小"per_device_train_batch_size",设置"gradient_accumulation_steps"。这样在计算梯度的时候是每per_device_train_batch_size*gradient_accumulation_steps个样本计算一下2.设置gradient_checkpo
鱼鱼9901
·
2024-01-05 12:16
nlp
人工智能
算法
机器学习
大语言模型占
显存
的计算和优化
可以优化的地方:per_device_train_batch_size(相当于batchsize,越小
显存
占的越小)gradient_accumulation_steps(per_device_train_batch_size
鱼鱼9901
·
2024-01-05 12:39
nlp
语言模型
人工智能
自然语言处理
解决方法:RuntimeError: CUDA out of memory. Tried to allocate ... MiB
解决方法:1.直接上大
显存
显卡,当然能上就不在这了,哈哈,看下面的方法;2.调小batch_size,1都不行,再看看下面;3.在验证模型代码前面,插入withtorch.no_grad():因为在验证和测试的时候
是人间一只财
·
2024-01-04 21:20
深度学习
pytorch
神经网络
pytorch 基于 apex.amp 的混合精度训练:原理介绍与实现
我们在训练模型时,往往受制于
显存
空间只能选取较小的batchsize,导致训练时间过长,使人
ctrl A_ctrl C_ctrl V
·
2024-01-04 18:23
#
混合精度计算
python
pytorch
神经网络
深度学习
人工智能
调参
转载https://www.sohu.com/a/241208957_787107基本原则:快速试错一些大的注意事项:1.刚开始,先上小规模数据,模型往大了放,只要不爆
显存
,能用256个filter你就别用
三点水_787a
·
2024-01-04 13:41
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他