gpu利用率第2页

InfiniteHiP - 在单个GPU上扩展 LLM 上下文至300万tokens

InfiniteHiP:ExtendingLanguageModelContextUpto3MillionTokensonaSingleGPUPaper:https://huggingface.co/papers

伊织code·2025-02-16 14:18

TrafficMonitor-开源版[时隔两年, 终于更新了]

pwd=bygj#TrafficMonitor是一款用于Windows平台的网速监控悬浮窗软件，可以显示当前网速、CPU及内存利用率，支持嵌入到任务栏显示，支持更换皮肤、历史流量统计等功能。

私人珍藏库·2025-02-16 13:44

理解WebGPU 中的 GPUDevice ：与 GPU 交互的核心接口

在WebGPU开发中，GPUDevice是一个至关重要的对象，它是与GPU进行交互的核心接口。

ttod_qzstudio·2025-02-16 13:12

解析浏览器中JavaScript与Native交互原理：以WebGPU为例

WebGPU的出现正是这一矛盾的解决方案之一。作为新一代Web图形API，WebGPU允许JS以接近原生（Native）的方式操作GPU，同时严格遵循浏览器的安全模型。本文将结

ttod_qzstudio·2025-02-16 12:36

onnx 推理报错：onnxruntime.capi.onnxruntime_pybind11_state.Fail: [ONNXRuntimeError] : 1 : FAIL : Load mo

onnx模型不匹配有可能是你转换的是gpu但是推理是cpu，也可能版本不兼容导致，因此卸载cpu版本，重新安装gpu版本或者升级gpu版本pipuninstallonnxruntime-gpupipinstall-ihttps

fengsongdehappy·2025-02-16 10:19

华为交换机堆叠配置

华为交换机堆叠（Stack）技术是一种将多台物理交换机虚拟化为单一逻辑设备的高可靠性解决方案，可简化网络管理、提升带宽利用率并增强冗余能力。

Rebesa·2025-02-16 08:02

理解WebGPU 中的 GPUAdapter ：连接浏览器与 GPU 的桥梁

在WebGPU开发中，GPUAdapter是一个至关重要的对象，它作为浏览器与GPU之间的桥梁，为开发者提供了请求GPU设备、查询GPU特性以及获取适配器信息的能力。

ttod_qzstudio·2025-02-16 06:44

理解 WebGPU 中的 GPUQueue：GPU 的命令队列

在现代图形编程中，与GPU的交互变得越来越高效和灵活，而WebGPUAPI的出现更是为Web开发者带来了强大的图形处理能力。其中，GPUQueue作为WebGPU的核心接口之一，扮演着至关重要的角色。

ttod_qzstudio·2025-02-16 05:38

DeepSeek 大模型离线 Docker 部署技术指南

核心组件包括：模型服务层：基于TritonInferenceServer的模型推理容器API网关层：FastAPI实现的REST/gRPC接口服务资源管理层：CUDA-awareDocker运行时+NVIDIAGPU

容器的搬运工·2025-02-16 04:32

动手学深度学习V2.0(Pytorch)——25. 使用块的网络 VGG

文章目录P1讲解1.1基本介绍1.2总结P2代码实现2.1报错解决2.2windows下专用/共享GPU内存P3Q&AP4.其他4.1ImageNetClassificationLeaderboard4.2VGG

吨吨不打野·2025-02-16 04:58

清华大学KVCache.AI团队联合趋境科技联合的KTransformers开源项目为什么那么厉害

以下是KTransformers的详细介绍：1.核心特点高性能优化：KTransformers通过内核级优化、多GPU并行策略和稀疏注意力等技术，显著加速模型推理速度，降低硬件门槛。

魔王阿卡纳兹·2025-02-16 03:52

大模型转换为 GGUF

其目的是为了有一个单文件共享的格式，并且易于在不同架构的GPU和CPU上进行推理。但在后续的开发中，遇到了灵活性不足、相容性及难以维护的问

奔跑中的小象·2025-02-15 22:48

C++之线程池（Thread Pool）

线程池的核心思想是预先创建一组线程，并将任务分配给这些线程执行，从而提高程序的性能和资源利用率。

画个逗号给明天"·2025-02-15 19:24

深度学习基础知识

它允许开发人员利用NVIDIA的GPU（图形处理器）来加速各种计算任务，包括科学计算、机器学习、深度学习、数据分析等。NVIDIA是一个全球领先的计算技术公司，专注于设计和制造高性能计算设备。

namelijink·2025-02-15 15:22

如何在我的电脑上查看是否安装cuda12？我现在在我的VS中新建项目时，里面多出来一个CUDA12.4 runtime，这是什么？是不是使用CUDA cpp进行编程？

在你的电脑上检查是否安装了CUDA12，可以通过以下几种方法：1.检查CUDAToolkit安装目录查看CUDA安装目录：-默认情况下，CUDAToolkit安装在C:\ProgramFiles\NVIDIAGPUComputingToolkit

吃榴莲的小鳄鱼·2025-02-15 15:21

Python 并发处理

编写您自己的并发和并行软件系统所需的并发的基本概念介绍调试和异常处理等概念，以及一些允许您创建事件驱动和反应式系统的最流行的库和框架内容加快速度并行化线程的生命线程间同步线程之间的通信调试和基准测试执行和池多进程事件驱动编程反应式编程使用GPU

亚图跨际·2025-02-15 15:21

【开发日志】数字人+LLM：从概念到实现的全程记录！

系统环境：CPU:i91490016GBGPU:GTX40608GBSYS:Windows11WSL:Ubuntu22.04本文章使用到的技术内容:数字人框架:LiveTalking大模型:Llama3.1TTS

AI大模型-王哥·2025-02-15 13:11

麒麟8000处理器参数

麒麟8000CPU为1个2.4GHz的A77核心+3个2.19GHz的A77核心+4个1.84GHz的A55核心，GPU是Mali-G610，频率为864MHz。

m0_50307601·2025-02-15 12:32

使用CerebriumAI进行大规模语言模型的推理

传统的CPU在处理大规模语言模型（LLM）时效率较低，GPU成为了首选。然而，自行搭建GPU环境成本高昂且维护复杂。

qahaj·2025-02-15 07:54

20240911 光迅科技笔试

岗位：嵌入式软件工程师题型：15道选择题，1道编程题注意：本文章暂无解析，谨慎分辨答案对错1、选择题1.1若某图有100个顶点、90条边，则该图一定是（C）有向图连通图非连通图无向图1.2假定当前网络利用率达到了

OSnotes·2025-02-15 06:47

哈夫曼码编、译码器

实验内容问题描述：利用哈夫曼编码进行通信可以大大提高信道利用率，缩短信息传输时间，降低传输成本。但是，这要求在发送端通过一个编码系统对待传数据预先编码，在接收端将传来的数据进行译码。

misty youth·2025-02-15 02:43

实验随记2-Pytorch Lightning多机多卡训练

示例实现5节点4GPU共计20卡训练。使用pytorch_lightning==1.9.4存在bug:启

晓岚和雪·2025-02-14 23:48

PyTorch Lightning多GPU分布式日志介绍

分布式日志是指在分布式系统中，多个节点（如多台机器或多个GPU）协同工作时，对系统运行状态、错误信息、性能指标等进行记录的过程。

qq_27390023·2025-02-14 23:48

1.1、Ray-关键概念Key Concepts

Ray使任务能够指定其在CPU、GPU和自定义资源方面的资源需求。这些资源请求被集群调度器用来在整个集群中分配任务，以实现并行执行。参见

MaxCode-1·2025-02-14 20:23

用 Python 实现 DeepSeek R1 本地化部署

你的电脑至少得配备8GB内存，要是想运行更大的模型，比如7B及以上的，那最好有更强劲的CPU和GPU，内存也

喜-喜·2025-02-14 18:33

Ollama与Vllm使用对比与优劣

Ollama和vLLM是两个用于优化大型语言模型（LLM）推理的框架，它们在性能、资源利用率、部署复杂性等方面各有优劣。

魔王阿卡纳兹·2025-02-14 08:55

基于Win XDMA的PCIE 2.0 X8速率不足原因分析与解决方案

一、理论速率与实测值对比根据PCIe2.0协议规范，单通道（Lane）的理论速率为5GT/s（GigaTransferspersecond），编码方式为8b/10b（有效带宽利用率80%），因此单通道有效速率为

RunningCamel·2025-02-14 06:04

Chrome内核解析 -- 背景篇：Chromium的多进程多线程构架

采用多进程构架，以DesktopChromium为例，它包括一个BrowserProcess(也称为UIProcess),一个或多个RenderProcess(也称为WebProcess),零个或一个GPUProcess

yunchao_he·2025-02-14 05:31

windows hyperv中Ubuntu使用本机的nvidia显卡

在WindowsHyper-V中，Ubuntu虚拟机默认无法直接使用主机的NVIDIA显卡，因为Hyper-V的虚拟化技术会独占GPU资源。

飞瀑·2025-02-14 05:26

GPU（Graphics Processing Unit）详解

GPU（GraphicsProcessingUnit）详解1.GPU的定义与核心特性GPU（图形处理器）是一种专为并行计算和图形渲染优化的处理器。

美好的事情总会发生·2025-02-14 03:32

自学人工智能大模型，满足7B模型的训练和微调以及推理，预算3万，如何选购电脑

岁月的眸·2025-02-13 23:03

Windows下安装CPU用的Tensorflow

刚在电脑上安装了Tensorflow，还是碰到了一些麻烦，记录一下：很多教程是介绍怎么在Linux平台下安装的，或者是Windows平台下GPU用的，很可惜，这些教程对我来说太麻烦了。

Coder LM Wang·2025-02-13 22:26

ubuntu-gpu生产环境，创建lvm步骤（真实生产）

一、手动-创建步骤多块磁盘创建成一个LVM，并挂载到/mnt，同时确保系统在启动时自动挂载该LVM卷，你可以按照以下步骤进行操作。以下是具体的操作命令：1.创建LVM1.1初始化物理卷首先，我们需要将所有指定的磁盘初始化为物理卷（PhysicalVolume,PV）。#列出所有磁盘lsblk#初始化每个磁盘为物理卷pvcreate/dev/nvme0n1pvcreate/dev/nvme1n1pv

清风 001·2025-02-13 22:26

【虚幻引擎UE】UE4.23到UE5.5的核心功能变化

但通过第三方插件（如WebAssembly+WebGPU）可在浏览器运行部分项目。

灵境引路人·2025-02-13 21:19

免费体验！DeepSeek一键部署全攻略

借助AlayaNeW算力云服务提供的强大GPU资源，您可以轻松实现DeepS

·2025-02-13 20:13

【Linux】【网络】IO多路复用 select、poll、epoll

【Linux】【网络】IO多路复用select、poll、epollIO多路复用进程或线程同时监控多个文件描述符，查看描述符上是否有事件发生，从而提高资源利用率和系统吞吐量。

钟离墨笺·2025-02-13 19:34

Deepseek的MOE架构中ColumnParallelLinear()是怎么实现的

我记得在PyTorch中，模型并行通常涉及到将模型的层分布到不同的GPU上。ColumnParallelLinear可能指的是将线性层的列（即输出神经元）分布在多个设备上。

DukeYong·2025-02-13 18:00

Tritonserver 在得物的最佳实践

一、Tritonserver介绍Tritonserver是Nvidia推出的基于GPU和CPU的在线推理服务解决方案，因其具有高性能的并发处理和支持几乎所有主流机器学习框架模型的特点，是目前云端的GPU

·2025-02-13 16:03

DeepSeek核心成员专访，顶级团队的思维与执行力恐怖如斯 - 1

例如，我们曾在讨论一个核心算子时，发现其GPU使用率并不高，我们尝

2402_86608154·2025-02-12 22:33

一文走进GpuGeek | 如何快速使用实例？

使用流程注册登录进入GpuGeek.com平台注册页面使用手机号注册数据上传平台提供网盘存储，在【网盘存储】页面，可以看到存储的使用量、费用及文件。选择网盘后，点击上传，上传本地文件至网盘。

·2025-02-12 22:38

CUDA与CUDPP源码解析及实战应用

本文还有配套的精品资源，点击获取简介：CUDA是NVIDIA推出的并行计算平台，CUDPP是一个提供GPU优化算法的开源库。

昊叔Crescdim·2025-02-12 19:06

嵌入式AI革命：DeepSeek开源如何终结GPU霸权，开启单片机智能新时代？

2025年，全球AI领域最震撼的突破并非来自算力堆叠的超级模型，而是中国团队DeepSeek通过开源策略，推动大模型向微型化、低功耗场景的跨越。相对于当人们还在讨论千亿参数模型的训练成本被压缩到600万美金而言，被称作“核弹级别”的操作，是DeepSeek的完全开源。一个更具颠覆性的命题浮出水面：能否将DeepSeek这样的先进AI模型移植到单片机（MCU）上，让手表、传感器甚至灯泡都具备真正的智

老六哥_AI助理指南·2025-02-12 16:09

操作系统期末复习

2、操作系统的作用1.OS作为用户与计算机硬件系统之间的接口2.OS作为计算机系统资源的管理者3.OS实现了对计算机资源的抽象推动操作系统发展的主要动力不断提高计算机资源的利用率方便用户器件的不断更新迭代计算机体系结

ConstMAO·2025-02-12 12:51

Deep Seek大模型部署到本地详细教程

以下是将DeepSeek大模型部署到本地开发环境的详细教程，分为多个步骤，包含技术细节和注意事项：步骤1：环境准备硬件要求GPU：推荐NVIDIAGPU（至少16GB显存，如RTX3090/4090或A100

Katie。·2025-02-12 11:40

（python）如何看自己安装的包的版本

findstr"numpyscipytensorflowkeras"输出numpy1.13.1scipy0.19.1tensorflow-cpu2.4.0tensorflow-estimator2.4.0tensorflow-gpu2.4.0

9677·2025-02-12 10:04

llama-cpp-python CUDA error问题

安装完cuBLAS(CUDA)版本的llama-cpp-pythonCMAKE_ARGS="-DLLAMA_CUBLAS=on"pipinstallllama-cpp-python跑模型，指定n_gpu_layers

0语1言·2025-02-12 09:31

【‌Unity】Unity中物体的static属性作用

因此，Unity可以提前计算并缓存这些物体的光照和遮挡信息，从而减少在运行时对GPU的调用次数，提高游戏运行的流畅度‌。光照贴图优化‌：对于标

_Keep up·2025-02-12 07:42

Pointnet++改进即插即用系列：全网首发ACConv2d|即插即用，提升特征提取模块性能

目录1.理论介绍2.修改步骤2.1步骤一2.2步骤二2.3步骤三1.理论介绍由于在给定的应用环境中设计合适的卷积神经网络(CNN)架构通常需要大量的人工工作或大量的GPU时间，研究社区正在

AICurator·2025-02-12 06:36

Lua语言的云计算

云计算通过互联网将计算资源（如服务器、存储、数据库、网络等）进行动态调配和高效利用，极大地提高了资源利用率与开发效率。

梅清瑶·2025-02-12 05:27

模型轻量化

影响神经网络推理速度主要有4个因素：FLOPs、MAC、计算并行度、硬件平台架构与特性（算力、GPU内存带宽）模型压缩工业界主流的模型压缩方法有：知识蒸馏（KnowledgeDistillation，KD

莱茶荼菜·2025-02-11 22:10

推荐频道

gpu利用率