GPU变速图像压缩

极大提升GPT-4等模型推理效率，微软、清华开源全新框架

但推理的效率并不高，因为，多数主流模型采用的是“顺序生成词”方法，会导致GPU利用率很低并带来高延迟。
RPA中国·2023-12-26 21:31

基于XLA_GPU的llama7b推理

环境@pytorch-tpu/llamapytorch2.1.2(+cuda117)torch-xla2.1.1#llama2gitclone--branchllama2-google-next-inferencehttps://github.com/pytorch-tpu/llama.git#pytorchgitclonehttps://github.com/pytorch/pytorch.gi
SE1992·2023-12-26 21:59

大模型部署之GPU查询及切换

1、查询当前机器GPU使用情况#总览nvidia-smi#每1s下的占用情况watch-n1nvidia-smi2、绑定gpu执行#方法1:设置CUDA_VISIBLE_DEVICES并直接执行CUDA_VISIBLE_DEVICES
bulucc·2023-12-26 20:33

iOS 图片解码（decode）笔记

图片设置到UIImageView或者CALayer.contents中去，并且CALayer被提交到GPU前，CGImag
i学好·2023-12-26 19:49

Neural network classification task

###Torchinstallmethod-CPU:pipinstalltorch-ihttps://download.pytorch.org/shl/torch_stable.html-GPU:CUDAandcorrespondingtorchversion-http
python-码博士·2023-12-26 17:16

C语言26L,LNBH26L - 双路LNBS电源和控制IC，带升压和I²C接口 - STMicroelectronics

willkeeparecordofmynavigationhistoryandusethatinformationaswellasthepersonaldatathatIhavecommunicatedtoSTformarketingpurposesrelevanttomyinteres
神经小黑·2023-12-26 14:47

@RequestMapping注解

：@Target({ElementType.METHOD,ElementType.TYPE})@Retention(RetentionPolicy.RUNTIME)@Documented@Mappingpublic
智商欠费，不死也废·2023-12-26 11:24

大模型开发之CUDA

•线程（Thread）：CUDA中基本执行单元，由硬件支持、开销很小，每个线程执行相同代码；•线程块（Block）：若干线程的分组，Block内一个块至多512个线程、或1024个线程（根据不同的GPU
永远的HelloWorld·2023-12-26 07:59

GPU的并行方式

•数据并行（DataParallelism）—在不同的GPU上运行同一批数据的不同子集；•流水并行（PipelineParallelism）—在不同的GPU上运行模型的不同层；•张量并行（TensorParallelism
永远的HelloWorld·2023-12-26 07:59

Ubuntu20.04-查看GPU的使用情况及输出详解

1.查看GPU的使用情况1.1nvidia-smi#直接在终端得到显卡的使用情况#不会自动刷新nvidia-smi#重定向到文件中nvidia-smi>nvidia_smi_output.txt#如果输出的内容部分是以省略号表示的
天寒心亦热·2023-12-26 07:03

OpenGL学习 跟着官网教程学习（深度测试）

现在大部分的GPU都提供一个叫做提前深度测试(EarlyDepthTesting)的硬件特性。提前深度测试允许深度测试在片段着色器之前运行。只要
asiwxy·2023-12-26 06:47

使用VOC2007数据集yolov8模型训练 预测 验证与导出

使用VOC2007数据集，yolov8模型训练，预测，验证与导出（此处省略环境配置，使用GPU）以下是我模型类别标签：names:0:dog1:person2:train3:sofa4:chair5:car6
不做梵高417·2023-12-26 06:35

一体机定制_工控触控一体机安卓主板方案

该芯片拥有2.0GHz的主频和IMGPowerVRGE8320图形处理GPU，具备强大的视频处理能力，并且兼容大部分的视频格式和解码能力。
智物通讯科技·2023-12-26 04:50

MT6739/MTK6739安卓核心板规格参数_MTK平台核心板定制

它集成GPUPowerVRGE8100570MHz，集成了BASEBAND、UMCP、PMU等核心器件，支持2.4G+5G双频WIFI(可支持1*1MIMO)、BLUETOOTH近距离无线传输技术，支持
智物通讯科技·2023-12-26 04:20

nvidia-smi查看GPU的使用信息并分析

登入服务器后，输入命令（注意中间无空格）：nvidia-smi或者可以使用命令（可以自动实时刷新GPU的使用情况）：nvidia-smi-l如果要周期性地输出显卡的使用情况，可以用watch指令实现（命令行参数
IronLavender·2023-12-26 01:23

【全过程】Pycharm 远程服务器调试 配置 project Interpreter

前言因为深度学习算法的流行，目前很多算法的运行都需要在GPU上运行，因为DeepLearning是一项数据驱动的技术，训练的时候需要大量的数据支撑，所以，要想快速的完成基于深度神经网络模型的训练模型，一般是要在
爱科研的徐博士·2023-12-25 23:12

linux密钥登录sftp,设置LinuxSSH通过密钥登录

用密码登录到你打算使用密钥登录的账户，然后执行以下命令：[root@host~]$ssh-keygen//建立密钥对Generatingpublic/privatersakeypair.Enterfileinwhichtosavethekey
weixin_39607450·2023-12-25 23:30

GPU性能实时监测的实用工具

本文主要介绍了GPU性能实时监测的实用工具，希望能
爱编程的喵喵·2023-12-25 21:10

14快速及变速阅读文学作品和诗歌（17/22）

第一部分：完成线上听课文字版思维导图笔记阅读文学作品前首先要了解文学要素，包含有十个方面：1.情节：表达的是作品基本的结构或者发展的线索；2.主题：突出情节的要点；3.哲学观：是整个作品的思想体系，也反映了作者的评价；4.观点：是作者的看法或者感受，可以是个人角度，也可能是全面多角度的观点；5.人物塑造：根据故事的进展表达人物的变化；6.情绪和气氛：用来唤起现实的或者是非现实的感觉，或者是读者的情
逸柏妈·2023-12-25 20:03

科研GPU环境配置-快让师兄弟们优雅地享受共享环境吧！

优雅永不过时，这里列举我对实验室4090显卡的操作，目的是为了让实验室所有人都有隔离的沙盒环境，节省硬盘以及更方便系统：Ubuntu22.04显卡不限型号英伟达驱动安装略，网上教程很多CUDA和CuDNN安装当我们安装好驱动，一般来说输入nvidia-smi就能看到支持的最高CUDA版本，在conda虚拟环境就可以任意安装最高CUDA以及以下版本但是为了有时候可以直接使用，于是也在服务器安装了一个
染念·2023-12-25 20:28

语音技术的未来：识别更精准、应用更丰富！

本文将结合近年ICASPP上的最新进展和各大知名语音技术公司产品探讨这些技术点，从语音识别、语音增强、语音风格迁移到语音情感识别等多个方向，展望语音技术的未来，并深入探讨GPU算力在这一领域的重要作用。
virtaitech·2023-12-25 15:09

智能交通技术与数据集大观：揭秘趋动云的无尽能量，引领AI发展的GPU算力及相关资源

智能交通是一种先进的交通系统，其核心目标在于通过实时数据的采集、分析以及智能决策，全面提升城市交通的效率、安全性和便捷性。该系统涵盖多项关键技术，包括行人检测、车辆检测、智能交通信号控制、智能导航和路径规划、以及安全监控等。行人检测：智能交通系统利用计算机视觉技术，通过摄像头、激光雷达等传感器对行人进行实时监测和识别。深度学习算法在处理多姿态和遮挡等复杂场景时，能够高效地检测行人的存在、位置和运动
virtaitech·2023-12-25 15:09

GPU池化技术来赋能！

AI数字员工能说会道懂业务，八成银行将“聘用”AI数字员工。据IDC预测，到2025年，银行业的AI数字员工预计承担90%的客服和理财咨询服务。目前各家银行的AI数字员工数量已超过10个。01AI数字人的特征当前AI数字人的概念非常火爆，大量AI数字人在资本和市场的推动下竞相问世。最近几年，AI数字人在包括银行业金融机构在内的众多行业领域都得到了广泛的业务应用。那么让各行各业卷起研究应用热潮的AI
virtaitech·2023-12-25 15:38

当GPU资源池化遇到量化

目录01量化投资的兴起02量化交易与量化分析03人工智能赋能量化金融04量化交易平台05GPU资源池化赋能AI量化平台01量化投资的兴起20世纪60年代，宽客之父爱德华·索普利创立了“科学股票市场系统”
virtaitech·2023-12-25 15:38

KVM虚拟机使用GPU的最佳实践

系统虚拟化是指一台物理计算机系统虚拟化为一台或多台虚拟计算机系统。每个虚拟机都拥有由自己的虚拟硬件提供的一个独立的虚拟机执行环境。通过虚拟化层VMM（VirtualMachineManager）的模拟，虚拟机中的操作系统认为自己仍然独占一个系统在运行。1974年，Popek和Goldberg定义了虚拟机的三层含义：同质、高效和资源受控——这也是一个虚拟机所拥有的三个典型特征。所谓同质，是指虚拟机运
virtaitech·2023-12-25 15:38

GPU池化在AI OCR场景的应用

一、AIOCR的历史及概念OCR（OpticalCharacterRecognition，光学字符识别）是指采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程。2012年AlexNet在ImageNet竞赛夺冠以来，深度学习方法开始在图像视频领域大幅超越传统算法，基于CV（计算机视觉）和NLP（自然语言处理）卷
virtaitech·2023-12-25 15:38

聊聊GPU利用率那些事

引言众所周知，GPU本身的计算能力是越来越强大，特别是新一代的NVIDIAAMPERE架构发布之后，又一次刷新了大家对AI算力的认知。
virtaitech·2023-12-25 15:37

趋动科技猎户座OrionX AI加速器资源池化软件——产品介绍

目前，云端AI算力主要由三类AI加速器来提供：GPU，FPGA和AIASIC芯片。这些加速器的优点是性能非常高，缺点是价格也非常高。今天由于缺乏高效经济的AI加速器虚拟化解决方案，绝大部分企业因无法构
virtaitech·2023-12-25 15:07

Unity Shader Early-Z技术

因此现代GPU中运用了E
类人_猿·2023-12-25 15:31

什么是计算机？

计算机主要有以下部分组成运算单元主要包括cpu和gpu,存储单元，一般指高速缓存,内存,硬盘还有外设，通常我们只需要知道这三部分就可以了，通常是我们也不需要知道，但是安卓的进程间通信需要我们理解一下.目前所有的
许国华_9dff·2023-12-25 14:54

超维空间S2无人机使用说明书——51、使用yolov8进行目标跟踪

简介，为了提高识别速度，系统采用了GPU进行加速，在使用7W功率的情况，大概可以稳定在20FPS，满功率情况下可以适当提高。
ROS机器人学习与交流·2023-12-25 13:21

Android UI 性能优化 -- XML优化

提要：以下仅为个人查阅资料，视频总结所得，如有错误，请指出谢谢优化要点:本文优化是针对启动时App的界面渲染进行优化，主要体现在XML优化知识储备:我们需要了解CPU和GPU的工作流程卡顿原理CPU和GPU
Iimly·2023-12-25 12:22

【AI】人工智能本地环境集成安装

目录1、基础安装1.1GPU安装1.1.1GPU版本支持1.1.2下载CUDA1.1.3安装CUDA1.1.4配置环境变量1.1.5检测CUDA是否安装成功1.2CUDNN安装1.2.1下载CUDNN1.2.2
lxtx-0510·2023-12-25 10:20

[论文笔记] PiPAD: Pipelined and Parallel Dynamic GNN Training on GPUs

PiPAD:PipelinedandParallelDynamicGNNTrainingonGPUsPiPAD:基于GPU的流水线并行动态GNN训练[Paper]PPoPP’23摘要提出了PiPAD,一个流水线并行的
PeakCrosser·2023-12-25 09:16

elasticsearch使用painless的一些简单例子

2、准备数据2.1mappingPUT/index_person{"mappings":{"properties":{"name":{"type":"keyword"},"age":{"type":"integer
huan1993·2023-12-25 08:25

Real-Time Volumetric Cloudscapes

实时体积云景GPUPro7实时体积云景的翻译4.1概览游戏中的实时体积云通常为了提高渲染效率而降低质量。最成功的方法仅限于低空蓬松半透明的层状云。
学习！！！·2023-12-25 07:28

在windows笔记本中安装tensorflow1.13.2版本的gpu环境2

tensorflow1.13.2版本的gpu环境看python-anacona的安装只需要看1.1部分即可目录1.1Anaconda安装1.2tensorflow-gpu安装1.3python编译器-pycharm
bug生成中·2023-12-25 06:43

在win10上安装pytorch-gpu版本2

目录1.1anaconda安装1.2pytorch-gpu安装1.1Anaconda安装anaconda的安装请看我之前发的tensoflow-gpu安装，里面有详细的安装过程，这里不做重复描述，传送门
bug生成中·2023-12-25 06:13

确保设备索引与 GPU 的物理连接顺序一致的方法

问题描述在使用以下指令来指定使用的GPU序号时，可能会遇到设备索引与GPU的物理连接顺序不一致的问题，即你指定了GPU3来运行代码，但代码却是在其他GPU上运行的。
chen_znn·2023-12-25 06:04

seamless-m4t-v2-large transformers 使用gpu推理

GPUversion:step1,model=model.to('cuda:0')ormodel=model.to('cuda')step2:audio_inputs=processor(audios=
pkuyjxu·2023-12-25 04:23

docker container 指定gpu设备

1，在yaml中TurnonGPUaccesswithDockerCompose|DockerDocsExampleofaComposefileforrunningaservicewithaccessto1GPUdevice
pkuyjxu·2023-12-25 04:51

实验室服务器部署

实验室需要搭建多人共用的GPU服务器，参考基于LXD搭建多人共用GPU服务器，简单易用，全网最详细！
xianpeter·2023-12-25 01:41

显卡驱动开发DRM入门--Apple的学习笔记

DRM简介DRM是Linux目前主流的图形显示框架，同时DRM可以统一管理GPU和Display驱动，使得软件架构更为统一，方便管理和维护。而且drm是集成在linuxkernel中的。
applecai·2023-12-24 21:31

ubuntu18.04安装后的登陆问题、卡顿问题及基本环境配置

卡顿问题及基本环境配置文章目录ubuntu18.04安装后的登陆问题、卡顿问题及基本环境配置1.ubuntu18.04循环登录、卡在开机界面、无法进入图像界面2.安装显卡驱动3.确定tensorflow-gpu
迷路爸爸180·2023-12-24 21:02

同一个问题，Gemini、ChatGPT、Copilot、通义千问和文心一言会怎么答？

正文共：1221字17图，预估阅读时间：1分钟没想到在Windows部署深度学习模型上面遇到了这么多问题，搞了将近一个月了，问题还是没有彻底解决（TensorFlow识别GPU难道就这么难吗？
Danileaf_Guo·2023-12-24 17:12

TensorFlow识别GPU难道就这么难吗？还是我的GPU有问题？

正文共：1220字20图，预估阅读时间：2分钟有了上次的经验（Windows部署TensorFlow后识别GPU失败，原因是啥？）
Danileaf_Guo·2023-12-24 17:42

cuda run out of memory 和 signal killed 解决方法

设置多小也是会出现这个问题的，我的原因是我将pytorch升级到了1.0.1，然后出现了这个问题RuntimeError:CUDAoutofmemory.Triedtoallocate823.88MiB(GPU0
啊啊啊啊啊1231·2023-12-24 17:55

1-2B参数规模大模型使用心得及模型汇总

即使有gptq、fastllm、vllm等推理加速方法，但如果GPU资源不够也很难保证高并发。那么如何在模型变小的同时，模型效果不明显下降，在指定任务上也可以媲美大模型的效果呢？
机器学习社区·2023-12-24 16:00

【无标题】

报错：RuntimeError:CUDAoutofmemory.Triedtoallocate560.00MiB(GPU0;23.70GiBtotalcapacity;3.57MiBalreadyallocated
小趴菜日记·2023-12-24 16:56

Window系统显存不足时利用共享内存继续运行

存在问题在进行实验过程中，时常碰到显存不足的问题，此时要么需要减小模型体积，要么减小batch-size大小，但这势必会对结果造成一定影响，此时我们可以使用GPU共享内存的方法来扩充显存。
彭祥.·2023-12-24 16:52
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他