GPU并行第14页

vLLM显存优化

在使用vLLM框架进行大模型推理时，为了最大程度地减少GPU显存的占用，可以从以下几个方面调整参数和配置：1.调整max_batch_size参数max_batch_size：这是批处理的最大大小。

xnuscd·2025-02-08 04:07

2025年大年初一篇，C#调用GPU并行计算推荐

C#调用GPU库的主要目的是利用GPU的并行计算能力，加速计算密集型任务，提高程序性能，支持大规模数据处理，优化资源利用，满足特定应用场景的需求，并提升用户体验。

zzlyx99·2025-02-08 02:30

RK3568 OpenHarmony4.0适配HDMI液晶屏

适配效果先看下最终适配效果视频：OpenHarmony_V40_HDMI液晶屏开发环境本文基于如下开发环境进行开发调试：硬件：RK3568开发板处理器：RK3568CPU：四核64位Cortex-A55，主频最高达2.0GHzGPU

敲嵌入式代码的·2025-02-07 23:10

【node-gyp】坑爹的BUG node.lib: fatal error LNK1106 解决方案

若要启用并行生成，请添加“/m”开关

一墨滢一·2025-02-07 19:20

RK3588的Ubuntu 22.04.2使用方法

Ubuntu22.04桌面系统简介Ubuntu22.04桌面系统的特点：桌面环境采用GNOME42;默认使用Wayland会话,性能更好;提供基于MaliGPU的OpenGLES支持;支持RockhipMPP

alaolv·2025-02-07 16:56

MOE-conformer 流式多语种语音识别

每个专家是一个独立的神经网络(可以是MLP、CNN、RNN等)输入数据会被路由分配到不同的专家进行处理，目的是确定最适合处理输入的专家模型各个专家独立处理得到的结果进行加权聚合后输入结果各个专家独立计算，容易实现数据并行通过组合不同专家的强项

深度学习-视听觉·2025-02-07 14:16

浅析GPU通信技术（中）-NVLink

目录浅析GPU通信技术（上）-GPUDirectP2P浅析GPU通信技术（中）-NVLink浅析GPU通信技术（下）-GPUDirectRDMA1.背景上一篇文章《浅析GPU通信技术（上）-GPUDirectP2P

helloxielan·2025-02-07 12:56

Python 如何使用dask库来并行化Pandas DataFrame

Dask是一个用于并行计算的Python库，它可以处理比内存大得多的数据集。

openwin_top·2025-02-07 11:21

deepseek本地部署会遇到哪些坑

在本地部署DeepSeek（或其他类似AI模型）时，可能会遇到以下常见问题及解决方案：1.硬件资源不足问题表现：GPU不兼容（如型号过旧）、显存不足（OOM错误）或CPU模式性能极低。

skyksksksksks·2025-02-07 11:49

python-20-理解多进程多线程，进程池，线程池，进程间通信最详细整理！

多进程：1.多进程是通过创建多个独立的进程来并行执行任务举个例子：你电脑是8核心的，那么可以创建超过8个进程，但是超过8个进程会导致上下文切换开销增加，从而导致降低性能！说句人话，当

SEEONTIME·2025-02-07 09:08

本地部署 DeepSeek 多模态大模型！支持图像识别和图像生成

虽说现在的电脑基本都能跑，但是最好还是十几代的CPU或者GPU。

这儿有一堆花·2025-02-07 08:31

【AI基础】K8S环境使用GPU--Kubernetes环境（三）

AI时代下，学习如何使用和管理GPU是基础入门技能，本文以常见的NVIDIAGPU为例，介绍在普通机器、Docker和Kubernetes等不同的环境下如何使用和管理GPU。

赛博Talk·2025-02-07 07:26

K8S中使用英伟达GPU —— 筑梦之路

前提条件根据不同的操作系统，安装好显卡驱动，并能正常识别出来显卡，比如如下截图：GPU容器创建流程containerd-->containerd-shim-->nvidia-container-runtime

筑梦之路·2025-02-07 07:25

anaconda中安装tensorflow1.15以及Jupyter

cudnn7.4PackagesNotFoundError:Thefollowingpackagesarenotavailablefromcurrentchannelscondainstalltensorflow-gpu

hou_hbl·2025-02-07 04:35

漂亮，功能就差？错！优秀可视化大屏一定是颜值体验功能三位一体

这种二分法源于早期技术限制：当GPU渲染能力不足时，复杂动效会导致帧率下降；当数据吞吐量超过单机处理能力时，交互响应必然延迟。但随着分布式渲染架构与边缘计算的发展，技术边界已被突破。

贝格前端工场·2025-02-07 02:19

2024年GitHub上最火的Python项目

表格：项目名称简介GitHub星星数量主要应用领域PyTorch强大的深度学习框架，支持GPU加速。

Allen-Steven·2025-02-07 00:08

Java 8 Stream 方法详解

一句话概述学习stream()方法可以使得我们的编程工作更加高效、清晰、优雅，并且更容易处理并行化计算。为什么要学习JavaStreamAPI？

AI天才研究院·2025-02-06 23:32

Ubuntu为julia安装深度学习框架MXNet（支持CUDA和OPenCV编译）

安装深度学习框架MXNet（支持CUDA和OPenCV编译）环境介绍与注意事项下载源文件安装依赖编译环境配置安装MXNet测试后记环境介绍与注意事项Ubuntu18.04julia1.5.3CUDA10.1（为了GPU

盼小辉丶·2025-02-06 21:15

MXNet深度学习框架：高效与灵活性的结合

MXNet支持多种编程语言，包括Python、Java、Scala、R、C++等，能够运行在CPU、GPU和云平台上，满足不同场景下的需求。1.MXNet的核心特性MXNet的主要

原机小子·2025-02-06 20:44

yolov5 c++ onnx pytorch pycharm gpu train test

目的：目标实时检测；方法：c++调用yolov5模型；数据资源参考：【Yolov5】1.认真总结6000字Yolov5保姆级教程（2022.06.28全新版本v6.1）_yolov5教程-CSDN博客代码:#include#include#includeusingnamespacecv;usingnamespacecv::dnn;//#classnamesstd::vectorclasses={"

mulsh·2025-02-06 12:50

快速掌握用python写并行程序

一、大数据时代的现状当前我们正处于大数据时代，每天我们会通过手机、电脑等设备不断的将自己的数据传到互联网上。据统计，YouTube上每分钟就会增加500多小时的视频，面对如此海量的数据，如何高效的存储与处理它们就成了当前最大的挑战。但在这个对硬件要求越来越高的时代，CPU却似乎并不这么给力了。自2013年以来，处理器频率的增长速度逐渐放缓了，目前CPU的频率主要分布在34GHz。这个也是可以理解的

python2021_·2025-02-06 12:18

深度学习No module named ‘torchvision.transforms.functional_tensor‘问题解决

关于我的环境：CUDA==12.1torch==2.4.1GPU==4090D原先进行深度学习用的CUDA11.3，torch1.2.1，但是在训练时出现nvrtc:error:in

winrisef·2025-02-06 11:44

JUC并发编程常用锁三个辅助类的使用

JUC并发编程就是多线程的进阶版，所以很多多线程没写到的会在这里写到目录并发和并行的区别Lock锁公平锁和非公平锁Lock锁使用复习synchronized锁和lock锁区别防止虚假唤醒的方法conditioncondition

Andrew0219·2025-02-06 10:06

二值连接：深度神经网络的轻量级革命

然而，这些突破背后的一个关键推手是计算能力的飞速提升，尤其是图形处理单元（GPU）的广泛应用。然而，随着模型规模和数据量的增长，深度学习的计算需求也在不断攀升。

步子哥·2025-02-06 06:11

【Triton 教程】triton.autotune

Triton是一种用于并行编程的语言和编译器。它旨在提供一个基于Python的编程环境，以高效编写自定义DNN计算内核，并能够在现代GPU硬件上以最大吞吐量运行。

·2025-02-06 05:56

Hadoop1.0-HDFS介绍

Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括HadoopCommon、HDFS与MapReduce。

szjianzr·2025-02-06 03:13

大规模语言模型从理论到实践 DeepSpeed实践

实践文章目录大规模语言模型从理论到实践DeepSpeed实践1.背景介绍1.1大规模语言模型的兴起1.2训练和部署LLM的挑战1.3DeepSpeed：赋能LLM规模化1.4本文结构2.核心概念与联系2.1模型规模与性能的关系2.2模型并行化

AI天才研究院·2025-02-06 01:59

Python如何解决“No module named ‘torch’”错误

Python如何解决“Nomodulenamed‘torch’”错误1.选择版本：稳定版本or预览版本2.了解你的操作系统3.工具选择4.如何与PyTorch通信5.CPU还是GPU？

程序媛一枚~·2025-02-06 01:25

ffmpeg 硬件解码 264 265 各个平台

以下是在不同平台上使用FFmpeg进行硬件解码的概述：1.NVIDIAGPU(NVDEC)适用于Windows、Linux和macOS（较旧的Mac设备）。

爱学习的大牛123·2025-02-06 01:54

python 3.6 tensorflow_无法在python 3.6中导入Tensorflow

我的GPUnvidia940mx和我正在使用python3.6。

weixin_39835178·2025-02-05 23:41

为AI聊天工具添加一个知识系统之59 数据库和程序的并行设计

本文要点要点数据系统有三级存储库：元对象设施库（资源库），元数据仓库（源码库）和数据库（数据库）三个库的分别管理的实体是（文档块Trunk的）模块，（程序块Block）组件和（数据块piece的）对象，需要提供不同的容器使用不同的机器完成这些实体的ETL.。容器包括三个不同时期的运行时容器，开发阶段的容器和生产过程的容器还要考虑各时期它们的测试。这里的测试应包括功能测试、能力评估和性能证明。另外还

一水鉴天·2025-02-05 23:38

RK3568、RK3588、RK3358性能对比

GPU:Mali-G522EE，支持OpenGLES3.2、Vulkan1.1。NPU:内置0.8TOPs的神经网络处理单元，

给生活加糖！·2025-02-05 22:36

什么是大模型框架？常用的大模型框架盘点对比

这些框架通常提供了高效的计算资源管理、分布式训练、模型优化和推理加速等功能，以便更好地利用硬件资源（如GPU和TPU）来处理庞大的数据集和复杂的模型结构。

AI产品经理·2025-02-05 21:25

ARM与x86：架构对比及其应用

CPU和其他组件（如显卡和GPU、内存控制器、存储或处理核心）针对特定功能进行了优化，可以轻松更换或扩展。

qq_52609913·2025-02-05 21:54

昇腾设备torch_npu推理配置

1.Ascend310B1的npu推理思路在昇腾Ascend310B1NPU上基于PyTorch进行推理时，通过torch_npu替换原有GPU/CUDA操作。

时间逝世298·2025-02-05 20:21

获取 Elasticsearch 的 token_count 类型的值（qbit）

前言本文对Elasticsearch7.17适用，官方文档Tokencountfieldtype测试新建mappingPUTmy_index{"mappings":{"properties":{"name

·2025-02-05 17:04

NVIDIA的算力支持

NVIDIA的算力支持关键词：NVIDIA,GPU,Turing架构,RTX,AI,AIoT,云计算,大数据,深度学习1.背景介绍NVIDIA作为全球领先的图形处理芯片制造商，近年来在人工智能领域也取得了显著的进展

杭州大厂Java程序媛·2025-02-05 16:55

CEF多进程框架：CEF初始化进程过程

文章目录CEF如何创建进程CefExecuteProcess函数CEF如何创建进程CEF框架启动后，会有多个进程，之前也提到过，有Browser进程，Render进程，GPU进程等。

新兴AI民工·2025-02-05 13:02

运行 Deepseek 视觉模型的方法

知识大胖·2025-02-05 13:30

Shader编程：OpenGL入门与实践_2024-07-21_07-39-05.Tex

Shader编程：OpenGL入门与实践Shader基础Shader概述在计算机图形学中，Shader是一种程序，用于GPU（图形处理单元）上运行，以实现对图形的实时渲染。

chenjj4003·2025-02-05 13:00

Metal：Metal与虚拟现实技术_2024-07-20_20-31-56.Tex

Metal框架提供了对GPU的直接访问，允许开发者以更高效的方式编写代码，从而在设备上实现更高质量的图形和更快的计算速度。与OpenGL和OpenCL相比，Metal减少了API的开

chenjj4003·2025-02-05 13:00

Linux 平台上安装 NVIDIA GPU 驱动和 CUDA Toolkit

在Linux平台上安装NVIDIAGPU驱动和CUDAToolkit的步骤如下：###1.安装NVIDIAGPU驱动####步骤1:更新系统首先，确保你的系统是最新的：```bashsudoaptupdatesudoaptupgrade

weifengma-wish·2025-02-05 11:43

DeepSeek安装部署指南

CUDA和GPU驱动（如果需要GPU加速）。pip和virtualenv（推荐使用虚拟环境）。2.安装DeepSeek克隆DeepSeek仓库（假设DeepSeek已发布为开源项目）：gi

SAFE20242034·2025-02-05 11:11

无需昂贵GPU：本地部署开源AI项目LocalAI在消费级硬件上运行大模型

无需昂贵GPU：本地部署开源AI项目LocalAI在消费级硬件上运行大模型随着人工智能技术的快速发展，越来越多的AI模型被广泛应用于各个领域。

芯作者·2025-02-05 10:36

星辰——人工智能中台

人工智能中台四个部分介绍算力层面：可以实现对众多CPU、GPU、FPGA和ARM等国内外计算资源进行有机整合。容器层面：支持和数据中台进行无缝对接，

jingmuxu123·2025-02-05 08:49

GPU架构（1.3）--GPU SoC 中的内存控制器

目录详细介绍GPUSoC中的内存控制器1.内存控制器概述功能2.支持的内存类型DDR4和LPDDR4DDR5和LPDDR53.内存控制器的设计多通道支持内存管理技术功耗管理4.性能优化带宽优化延迟优化功耗优化

小蘑菇二号·2025-02-05 07:17

GPU之nvidia-smi命令行

显示GPU当前的状态：nvidia-smi表格参数详解：GPU：本机中的GPU编号（有多块显卡的时候，从0开始编号）图上GPU的编号是：0Fan：风扇转速（0%-100%），N/A表示没有风扇Name：

瑶瑶领先_·2025-02-05 06:10

GPU 进阶笔记（二）：华为昇腾 910B GPU

1术语1.1与NVIDIA术语对应关系1.2缩写2产品与机器2.1GPU产品2.2训练机器底座CPU功耗操作系统2.3性能3实探：鲲鹏底座8*910BGPU主机3.1CPU3.2网卡和网络3.3GPU信息

hao_wujing·2025-02-05 04:22

在量子计算与AI结合的未来，是否能够实现更高效、更复杂的模式识别和数据处理？

通过量子计算的并行处理能力和AI模型的智能学习能力，未来有望实现比传统计算更高

concisedistinct·2025-02-05 03:16

【2024第一期CANN训练营】Ascend C算子开发基础篇

AscendC是面向算子开发场景的编程语言，它原生支持C和C++标准规范，并提供了多层接口抽象、自动并行计算等关键技术，以提高算子开发效率。

小超编程·2025-02-05 03:45

推荐频道

GPU并行