E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
24G显存
java 获取GPU 信息(英伟达)
方案一获取已用
显存
,总
显存
,gpu名称,使用率等等命令获取gpu信息publicclassShellService{@Value("${micronaut.server.port}")privateIntegermyServerPort
没有腹肌不改名
·
2023-12-17 16:12
工具类
运维
使用java获取nvidia显卡信息
现在的需求是要获取nvidia显卡的使用情况,如剩余
显存
。这里给出两种较简单的解决方案。基于nivdia-smi工具显卡是硬件,当然需要操作系统支持相关的驱动程序。
天使手儿
·
2023-12-17 16:40
java
nvml
nvidia-smi
深度学习踩坑记录
并且这种占
显存
的方式你在nvidia-smi还看不出来,得去htop里
平平平安喔
·
2023-12-17 04:23
深度学习
人工智能
[论文笔记] chatgpt系列 SparseMOE—GPT4的MOE结构
显存
增加。ExpertsChoice:路由MOE:由专家选择token。这样不同的专家都选择到某个token,也可以不选择该token。
心心喵
·
2023-12-17 00:59
论文笔记
论文阅读
K中期考核-降低
显存
的关键
读入模型参数-且不占用显卡see_memory_usage(‘message’)#4.读入checkpiont参数state_dict=torch.load('../train-output/'+args.model_name_or_path.split('/')[-1]+'/unet/diffusion_pytorch_model.bin',map_location='cpu')#state_d
计算机视觉-Archer
·
2023-12-16 15:19
深度学习
深入浅出:Python内存管理机制详解
1.1、RAM简介1.2、RAM容量1.3、查看电脑内存1.4、监控电脑内存二、RAM是CPU的主内存,
显存
是GPU的专用内存三、内存管理3.0、不同数据类型的内存范围3.1、python是如何分配内存的
胖墩会武术
·
2023-12-16 08:11
深度学习
Python项目实战
python
内存管理
内存优化
同一个kmz数据同样的底图在QGIS上显示位置正常, 在Mars3d中显示就偏移了一些
问题:1.同一个kmz数据同样的底图在QGIS上显示位置正常,在网页中显示就偏移了一些在qgis上的显示效果,和在mars3d的显示效果:数据明
显存
在偏移。
mianmian0103
·
2023-12-16 03:07
前端
对教师而言幸福是奢侈品
反观我们当下的一些教师,明
显存
在着职业倦怠。一位教育专家曾指出:今天的中小学是一群不幸福的校长带领着一群不幸福的教师,教着一群不幸福的学生,面对着一群不幸福的家长。“幸福”竟然成了教师的奢侈品。
余清华乐平一小
·
2023-12-15 23:05
【ChatGLM2-6B】P-Tuning训练微调
机器配置阿里云GPU规格ecs.gn6i-c4g1.xlargeNVIDIAT4显卡*1GPU
显存
16G*1准备训练数据进入/ChatGLM-6B/ptuningmkdirAdvertiseGencdAdvertiseGen
太空眼睛
·
2023-12-15 18:30
人工智能
ChatGLM2
chatglm2-6b
大语言模型
P-Tuning
训练
微调
train
LLaMA-Factory可视化界面微调chatglm2;LoRA训练微调模型 简单案例
可视化界面微调chatglm2类似工具还有流萤,注意是做中文微调训练这块;来训练微调的chatglm2需要完整最新文件,不能是量化后的模型;另外测试下来显卡资源要大于20来G才能顺利,这边T4单卡训练中间
显存
不足
loong_XL
·
2023-12-15 13:59
深度学习
深度学习
神经网络
人工智能
StabilityAI成功将Stable Video DiffusionAI视频模型项目
显存
需求降至20G的研究突破
在StabilityAI(一家初创公司,旗下拥有强大的绘画工具——StableDiffusion)的最新研究中,他们成功地将StableVideoDiffusionAI视频模型项目的运行
显存
需求从40GB
喜好儿aigc
·
2023-12-15 13:51
人工智能
aigc
stable
diffusion
显存
优化 Trick(gradient_accumulation、gradient_checkpointing、xformers)
目录OutofMemoryGradientAccumulationGradientCheckpointingXformersDiffusers的
显存
优化OutofMemory先来说下OOM问题,其实也是日常会遇到的情况
Yuezero_
·
2023-12-15 05:59
人工智能
探索AIGC未来:CPU源码优化、多GPU编程与中国算力瓶颈与发展
★人工智能;大数据技术;AIGC;Turbo;DALL·E3;多模态大模型;MLLM;LLM;Agent;Llama2;国产GPU芯片;GPU;CPU;高性能计算机;边缘计算;大模型
显存
占用;5G;深度学习
高性能服务器
·
2023-12-15 04:30
AIGC
【Pytorch API笔记8】用torch.cuda.empty_cache()释放所有未使用的缓存内存
骚操作:循环训练多个不同数据集的模型,
显存
占用得不到释放!那么,在python上,如何释放pytorch开辟的
显存
呢?PyTorch提供了上下文管理器来控制GPU内存分配。
hjxu2016
·
2023-12-15 02:07
深度框架
Pytorch
pytorch
人工智能
python
还没亮相就被嘲成这样,金鹰奖也搞祭天剧本?
但是谁能想到昨晚金鹰奖官方直接发了声明,表示观众最喜爱男女演员的票数存在异常,明
显存
在涉嫌“刷票”
e46064faf8cf
·
2023-12-14 23:35
【PyTorch】计算设备
可以用以下方式表示:torch.device('cpu')GPU设备只代表一个GPU和相应的
显存
。
盛世隐者
·
2023-12-14 22:40
深度学习
pytorch
大模型的实践应用13-量化后的通义千问Qwen的18亿参数在CPU上的部署,最小2GB
显存
可跑,并利用两种文本流式方式输出
大家好,我是微学AI,今天给大家介绍大模型的实践应用13-量化后的通义千问Qwen的18亿参数在CPU上的部署,最小2GB
显存
可跑,并利用两种文本流式方式输出。
微学AI
·
2023-12-14 21:01
大模型的实践应用
大模型
nlp
实时监控gpu
setPYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:50参考文章:通过设置PYTORCH_CUDA_ALLOC_CONF中的max_split_size_mb解决Pytorch的
显存
碎片化导致的
LANWENBING
·
2023-12-06 21:43
人工智能
linux清除
显存
占用:
sudofuser-v/dev/nvidia*|awk'{for(i=1;i<=NF;i++)print"kill-9"$i;}'|sudosh
图 (TU商兴)
·
2023-12-06 19:40
linux
运维
服务器
显卡算力总结
https://www.topcpu.net/cpu-r5显卡
显存
(G)浮点算力FP32(TFLOPS)浮点算力FP16(TensorTFLOPS)RTX4090Ti2493.24RTX40902482
Kun Li
·
2023-12-06 17:04
算法部署
人工智能
从零开始训练一个ChatGPT大模型(低资源,1B3)
adafactor源码地址:https://github.com/yongzhuo/MacroGPT-Pretrain.git踩坑1.数据类型fp16不太行,很容易就Nan了,最好是fp32,tf32,2.单卡如果
显存
不够
Macropodus
·
2023-12-06 13:54
LLM
自然语言处理
gpt
1b3
chatgpt
预训练
从零开始
2022-05-08 基于卷积神经网络ResNet的车型识别(实验)
(注意内存或者
显存
小的话,把输入图片大小、批大小减小)在第12次训练中得到最高正确率为0.9259。三、实验分析和总结Res
Luo_淳
·
2023-12-06 10:52
专业学习
cnn
深度学习
计算机视觉
正点原子linux应用编程——提高篇2
FrameBuffer应用编程FrameBuffer介绍帧缓冲(framebuffer)是Linux系统中的一种显示驱动接口,它将显示设备(如LCD)进行抽象、屏蔽了不同显示设备硬件的实现,对应用层抽象为一块显示内存(
显存
努力自学的小夏
·
2023-12-06 09:45
linux学习
linux
笔记
学习
linux 僵尸进程 关闭看不见的进程
多卡训练,如果
显存
不够,程序会崩溃退出,但是gpu
显存
会一直占用。
AI视觉网奇
·
2023-12-06 04:16
win/ubuntu
linux
运维
服务器
Adaptive Softmax
这样会引起常见的两个问题:参数量巨大会直接影响线上部署
显存
占用,单点部署的进程数就会收到限制,云上GPU是很贵的自然语言中单词的分布服从齐夫定
chao0804
·
2023-12-05 14:01
使用autodl服务器,两个3090显卡上运行, Yi-34B-Chat-int4模型,并使用vllm优化加速,
显存
占用42G,速度23 words/s
1,演示视频地址https://www.bilibili.com/video/BV1Hu4y1L7BH/使用autodl服务器,两个3090显卡上运行,Yi-34B-Chat-int4模型,用vllm优化,增加--num-gpu2,速度23words/s2,使用3090显卡和使用A40的方法一样https://blog.csdn.net/freewebsys/article/details/134
fly-iot
·
2023-12-05 08:10
chatgpt
大模型
Python
服务器
运维
技巧-GPU
显存
和利用率如何提高和batch_size/num_works等参数的实验测试
目录简介实验测试
显存
占用问题GPU占用率波动问题num_work不是越大越好总结本专栏为深度学习的一些技巧,方法和实验测试,偏向于实际应用,后续不断更新,感兴趣童鞋可关,方便后续推送简介在PyTorch
zwhdldz
·
2023-12-04 13:27
深度学习杂谈
batch
开发语言
机器学习
conda
算法
深度学习
人工智能
方法-进程已经杀死但是
显存
还未释放怎么办(ubuntu)
本专栏为深度学习的一些技巧,方法和实验测试,偏向于实际应用,后续不断更新,感兴趣童鞋可关,方便后续推送现象训练程序ctrl+c后,依然显示
显存
占用nvidia-smiMonDec614:26:332021
zwhdldz
·
2023-12-04 13:26
深度学习杂谈
ubuntu
linux
运维
gpu算力
深度学习
机器学习
服务器
DeepFaceLab进阶(4):通过Colab免费使用Tesla K80 跑模型!
CPU能跑,但是慢到怀疑人生,低配模型都得跑一周低配显卡,
显存
不够,H128根本就跑不起来,BS稍微大点就蹦了本地不行,其实可以用GPU服务器,但是价格不比买个高配显卡便宜。
托尼是塔克
·
2023-12-04 12:12
Stable Diffusion 系列教程 - 1 基础准备(针对新手)
使用SD有两种方式:本地:显卡要求:硬件环境推荐NVIDIA的具有8G
显存
的独立显卡,这个
显存
勉勉强强能摸到门槛。再往下的4G可能面临各种炸
显存
、炼丹失败、无法生成图片等各种问题。
@会飞的毛毛虫
·
2023-12-03 22:36
大模型专栏
stable
diffusion
树莓派3b+显示异常
显存
设置太小了,直接从75m改为448吗,就ok了。
小爱同学的同桌
·
2023-12-03 04:01
如何手工获取并更新ESXi中macOS的VMware Tools版本
macOS虚拟机(VMwareESXI部署macOSMonterey),也大概介绍了如何安装VMwareTools,因为VMwareTools可以提供对虚拟硬件的更好支持,尤其是图形卡,可以识别到更大的
显存
对使用体验至关重要
Danileaf_Guo
·
2023-12-02 18:30
macos
GPT实战系列-大模型训练和预测,如何加速、降低
显存
GPT实战系列-大模型训练和预测,如何加速、降低
显存
不做特别处理,深度学习默认参数精度为浮点32位精度(FP32)。
Alex_StarSky
·
2023-12-02 13:09
GPT实战系列
GPT训练流程
大模型
LLM
GPT
降低显存
训练加速
ChatGLM2-6B本地化部署
ChatGlm2-6B部署【GPU
显存
建议12G以上,以下为单卡GPU环境】环境需求【当前环境未使用虚拟环境,建议使用虚拟环境安装】#安装Python3.8及以上#torch2.0对应CUDA11.7/
陈陈小网工
·
2023-12-02 12:50
语言模型
云计算
基于mps的pytorch 多实例并行推理
是否可以同时加载多个模型实例到
显存
空间,且能实现多个实例同时并发执行?本次实验测试基于mps的方案,当请求依次过来时,多个相同的实例推理任务就可以同时运行。显然,该方法需要显卡测提供某种支持。
海棠花不香
·
2023-12-02 10:13
cuda
python
pytorch
人工智能
python
实现一个高并发的Redis分布式锁
分布式环境,redissetnx分布式锁基础版问题1问题2问题3Redisson分布式锁ReadLock红锁算法红锁存在问题1.无锁场景下面是一个扣减库存逻辑,由于查库存和扣减库存两个操作不是原子的,明
显存
在并发超卖问题
kk_0910
·
2023-12-02 06:27
redis
Embedding压缩之hash embedding
MaskNet中,阐述了特征建模的重要性,并且介绍了一些微博在特征建模方面的研究实践,再次以下面这张图引出今天的主题:在推荐系统中,特征Embedding是极其重要的一部分,并且占了模型体积的大头,消耗巨大的
显存
我就算饿死也不做程序员
·
2023-12-01 23:59
推荐系统
推荐系统
embedding
Mysql 字符集配置修改操作
Oracle等其它数据库管理系统都只能使用相同的字符集,相比之下,MySQL明
显存
在更大的灵活性。MySQL的字符集和校对规则有4个级别的默认设置,即服务器级、数据库级、表级和字
it技术分享just_free
·
2023-12-01 18:54
数据库
mysql
数据库
使用autodl服务器,在A40显卡上运行, Yi-34B-Chat-int4模型,并使用vllm优化加速,
显存
占用42G,速度18 words/s
演示视频https://www.bilibili.com/video/BV1gu4y1c7KL/使用autodl服务器,在A40显卡上运行,Yi-34B-Chat-int4模型,并使用vllm优化加速,
显存
占用
fly-iot
·
2023-12-01 08:40
大模型
chatgpt
Python
人工智能
大模型
mmdetection_3-训练自己的数据集
修改格式(可选)修改configs/_base_/datasets/coco_detection.py中的image_scale
显存
为4G建议改成(800,500),这里是多尺度训练。
YilK
·
2023-12-01 05:51
mmdetection
目标检测
深度学习
pytorch
玄学调参实践篇 | 深度学习模型 + 预训练模型 + 大模型LLM
设多大基本看你的显卡
显存
能不能hold得住咯。学习率:常
#苦行僧
·
2023-12-01 00:37
NLP
#
LLM微调
机器学习理论知识
深度学习
人工智能
大模型
llm
自然语言处理
计算机视觉
低配和小白福音,4G
显存
玩转最强AI绘画模型
每天玩点新东西才能让我感觉到快乐!今天要介绍的是一个AI绘画软件“Fooocus”。这个项目对AI绘画的入门级玩家实在是太友好了。友好主要是体现在两个点:一个是安装和使用超简单。一个是对设备要求特别低。具体一点说就是:Fooocus是借鉴了StableDiffusion的离线,开源,免费,同时也吸收了Midjourney使用简单的特性,不需要手动调整,用户只需关注提示和图像即可。Fooocus包含
产品大道
·
2023-11-30 20:17
人工智能
AI作画
人工智能
Linux 下用R语言打开hdf5(.h5)文件异常的解决方案
但是由于文件太大,有6个G,在我
24G
内存的Windows系统上没办法完全加载出矩阵。于是就把文件上传到服务器集群进行处理,以
Nh_code
·
2023-11-30 08:19
r语言
ComfyUI搭建使用教程
ComfyUI因为内部生成流程做了优化,生成图片时的速度相较于WebUI有10%~25%的提升(根据不同显卡提升幅度不同),生成大图片的时候不会爆
显存
,只是图片太大时,会因为切块运算的导致图片碎裂。
培根芝士
·
2023-11-29 13:31
AI
stable
diffusion
新一代消费级显卡 GeForce RTX 30 系列出炉
「从架构、定制流程设计、电路、逻辑、封装、seriesIO、
显存
、供电、散热、软件和算法……我们在所有层面
磕就完事儿
·
2023-11-29 10:42
centos 显卡驱动安装(chatglm2大模型安装步骤一)
1.服务器配置服务器系统:Centos7.9x64显卡:RTX3090(
24G
)2.安装环境2.1检查显卡驱动是否安装输入命令:nvidia-smi(显示显卡信息)如果有以下显示说明,已经有显卡驱动。
平原2018
·
2023-11-28 09:14
算法
人工智能
自然语言处理
ChatGLM2详细安装部署(chatglm2大模型安装步骤三)
ChatGLM2安装部署1.服务器配置服务器系统:Centos7.9x64显卡:RTX3090(
24G
)虚拟环境:Miniconda32.安装部署2.1ChatGLM2下载输入命令:gitclonehttps
平原2018
·
2023-11-28 09:44
算法
人工智能
自然语言处理
Miniconda虚拟环境安装(chatglm2大模型安装步骤二)
1.服务器配置服务器系统:Centos7.9x64显卡:RTX3090(
24G
)2.安装环境2.1检查conda是否安装输入命令:conda-V如果显示conda4.7.12,说明已经有不需要安装2.2
平原2018
·
2023-11-28 09:35
算法
人工智能
自然语言处理
chatgpt
接纳负面情绪,凸
显存
在的正向意义
赵秀珍沧州焦点解决68期学习分享第7天20190809焦点之所以强调重新建构的重要性,是因为焦点认为负向情绪的持续同理共情,有时反而使当事人更加沈陷于痛苦之中,难以采取有效行动。以重新建构来辨识、认可以及肯定当事人各类情绪背后的正向意义,将能转化当事人的负面情绪,甚至使其开始采取行动。一般化与重新建构的技巧回应,往往会给当事人新的观点,当事人的负性情绪也会有所减弱。往往在当事人的情绪被理解和接纳后
赵秀珍_ca19
·
2023-11-26 22:45
Ubuntu 22.04上编译Android 13 AOSP系统并刷入Pixel 6
环境:vm22.04空间500g内存
24g
环境配置以下所有操作需要全球通上网,已经安装git环境。把Ubuntu源切到国内,下载速度快很多。
debug_cat
·
2023-11-26 16:45
Android改机系列
android
ubuntu
linux
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他