gpu人工智能深度学习第2页

DeepSeek 大模型离线 Docker 部署技术指南

核心组件包括：模型服务层：基于TritonInferenceServer的模型推理容器API网关层：FastAPI实现的REST/gRPC接口服务资源管理层：CUDA-awareDocker运行时+NVIDIAGPU

容器的搬运工·2025-02-16 04:32

动手学深度学习V2.0(Pytorch)——25. 使用块的网络 VGG

文章目录P1讲解1.1基本介绍1.2总结P2代码实现2.1报错解决2.2windows下专用/共享GPU内存P3Q&AP4.其他4.1ImageNetClassificationLeaderboard4.2VGG

吨吨不打野·2025-02-16 04:58

清华大学KVCache.AI团队联合趋境科技联合的KTransformers开源项目为什么那么厉害

以下是KTransformers的详细介绍：1.核心特点高性能优化：KTransformers通过内核级优化、多GPU并行策略和稀疏注意力等技术，显著加速模型推理速度，降低硬件门槛。

魔王阿卡纳兹·2025-02-16 03:52

大模型转换为 GGUF

其目的是为了有一个单文件共享的格式，并且易于在不同架构的GPU和CPU上进行推理。但在后续的开发中，遇到了灵活性不足、相容性及难以维护的问

奔跑中的小象·2025-02-15 22:48

深度学习基础知识

它允许开发人员利用NVIDIA的GPU（图形处理器）来加速各种计算任务，包括科学计算、机器学习、深度学习、数据分析等。NVIDIA是一个全球领先的计算技术公司，专注于设计和制造高性能计算设备。

namelijink·2025-02-15 15:22

如何在我的电脑上查看是否安装cuda12？我现在在我的VS中新建项目时，里面多出来一个CUDA12.4 runtime，这是什么？是不是使用CUDA cpp进行编程？

在你的电脑上检查是否安装了CUDA12，可以通过以下几种方法：1.检查CUDAToolkit安装目录查看CUDA安装目录：-默认情况下，CUDAToolkit安装在C:\ProgramFiles\NVIDIAGPUComputingToolkit

吃榴莲的小鳄鱼·2025-02-15 15:21

Python 并发处理

编写您自己的并发和并行软件系统所需的并发的基本概念介绍调试和异常处理等概念，以及一些允许您创建事件驱动和反应式系统的最流行的库和框架内容加快速度并行化线程的生命线程间同步线程之间的通信调试和基准测试执行和池多进程事件驱动编程反应式编程使用GPU

亚图跨际·2025-02-15 15:21

【开发日志】数字人+LLM：从概念到实现的全程记录！

系统环境：CPU:i91490016GBGPU:GTX40608GBSYS:Windows11WSL:Ubuntu22.04本文章使用到的技术内容:数字人框架:LiveTalking大模型:Llama3.1TTS

AI大模型-王哥·2025-02-15 13:11

麒麟8000处理器参数

麒麟8000CPU为1个2.4GHz的A77核心+3个2.19GHz的A77核心+4个1.84GHz的A55核心，GPU是Mali-G610，频率为864MHz。

m0_50307601·2025-02-15 12:32

使用CerebriumAI进行大规模语言模型的推理

传统的CPU在处理大规模语言模型（LLM）时效率较低，GPU成为了首选。然而，自行搭建GPU环境成本高昂且维护复杂。

qahaj·2025-02-15 07:54

实验随记2-Pytorch Lightning多机多卡训练

示例实现5节点4GPU共计20卡训练。使用pytorch_lightning==1.9.4存在bug:启

晓岚和雪·2025-02-14 23:48

PyTorch Lightning多GPU分布式日志介绍

分布式日志是指在分布式系统中，多个节点（如多台机器或多个GPU）协同工作时，对系统运行状态、错误信息、性能指标等进行记录的过程。

qq_27390023·2025-02-14 23:48

1.1、Ray-关键概念Key Concepts

Ray使任务能够指定其在CPU、GPU和自定义资源方面的资源需求。这些资源请求被集群调度器用来在整个集群中分配任务，以实现并行执行。参见

MaxCode-1·2025-02-14 20:23

用 Python 实现 DeepSeek R1 本地化部署

你的电脑至少得配备8GB内存，要是想运行更大的模型，比如7B及以上的，那最好有更强劲的CPU和GPU，内存也

喜-喜·2025-02-14 18:33

Chrome内核解析 -- 背景篇：Chromium的多进程多线程构架

采用多进程构架，以DesktopChromium为例，它包括一个BrowserProcess(也称为UIProcess),一个或多个RenderProcess(也称为WebProcess),零个或一个GPUProcess

yunchao_he·2025-02-14 05:31

AI人工智能深度学习算法：在缺陷检测中的应用

AI人工智能深度学习算法：在缺陷检测中的应用1.背景介绍1.1缺陷检测的重要性在制造业中,产品质量是关键因素之一。缺陷检测是确保产品质量的重要环节,旨在及时发现并排除产品中的任何缺陷或异常。

AI天才研究院·2025-02-14 05:59

windows hyperv中Ubuntu使用本机的nvidia显卡

在WindowsHyper-V中，Ubuntu虚拟机默认无法直接使用主机的NVIDIA显卡，因为Hyper-V的虚拟化技术会独占GPU资源。

飞瀑·2025-02-14 05:26

GPU（Graphics Processing Unit）详解

GPU（GraphicsProcessingUnit）详解1.GPU的定义与核心特性GPU（图形处理器）是一种专为并行计算和图形渲染优化的处理器。

美好的事情总会发生·2025-02-14 03:32

自学人工智能大模型，满足7B模型的训练和微调以及推理，预算3万，如何选购电脑

岁月的眸·2025-02-13 23:03

Windows下安装CPU用的Tensorflow

刚在电脑上安装了Tensorflow，还是碰到了一些麻烦，记录一下：很多教程是介绍怎么在Linux平台下安装的，或者是Windows平台下GPU用的，很可惜，这些教程对我来说太麻烦了。

Coder LM Wang·2025-02-13 22:26

ubuntu-gpu生产环境，创建lvm步骤（真实生产）

一、手动-创建步骤多块磁盘创建成一个LVM，并挂载到/mnt，同时确保系统在启动时自动挂载该LVM卷，你可以按照以下步骤进行操作。以下是具体的操作命令：1.创建LVM1.1初始化物理卷首先，我们需要将所有指定的磁盘初始化为物理卷（PhysicalVolume,PV）。#列出所有磁盘lsblk#初始化每个磁盘为物理卷pvcreate/dev/nvme0n1pvcreate/dev/nvme1n1pv

清风 001·2025-02-13 22:26

【虚幻引擎UE】UE4.23到UE5.5的核心功能变化

但通过第三方插件（如WebAssembly+WebGPU）可在浏览器运行部分项目。

灵境引路人·2025-02-13 21:19

免费体验！DeepSeek一键部署全攻略

借助AlayaNeW算力云服务提供的强大GPU资源，您可以轻松实现DeepS

·2025-02-13 20:13

Deepseek的MOE架构中ColumnParallelLinear()是怎么实现的

我记得在PyTorch中，模型并行通常涉及到将模型的层分布到不同的GPU上。ColumnParallelLinear可能指的是将线性层的列（即输出神经元）分布在多个设备上。

DukeYong·2025-02-13 18:00

Tritonserver 在得物的最佳实践

一、Tritonserver介绍Tritonserver是Nvidia推出的基于GPU和CPU的在线推理服务解决方案，因其具有高性能的并发处理和支持几乎所有主流机器学习框架模型的特点，是目前云端的GPU

·2025-02-13 16:03

DeepSeek核心成员专访，顶级团队的思维与执行力恐怖如斯 - 1

例如，我们曾在讨论一个核心算子时，发现其GPU使用率并不高，我们尝

2402_86608154·2025-02-12 22:33

一文走进GpuGeek | 如何快速使用实例？

使用流程注册登录进入GpuGeek.com平台注册页面使用手机号注册数据上传平台提供网盘存储，在【网盘存储】页面，可以看到存储的使用量、费用及文件。选择网盘后，点击上传，上传本地文件至网盘。

·2025-02-12 22:38

CUDA与CUDPP源码解析及实战应用

本文还有配套的精品资源，点击获取简介：CUDA是NVIDIA推出的并行计算平台，CUDPP是一个提供GPU优化算法的开源库。

昊叔Crescdim·2025-02-12 19:06

嵌入式AI革命：DeepSeek开源如何终结GPU霸权，开启单片机智能新时代？

2025年，全球AI领域最震撼的突破并非来自算力堆叠的超级模型，而是中国团队DeepSeek通过开源策略，推动大模型向微型化、低功耗场景的跨越。相对于当人们还在讨论千亿参数模型的训练成本被压缩到600万美金而言，被称作“核弹级别”的操作，是DeepSeek的完全开源。一个更具颠覆性的命题浮出水面：能否将DeepSeek这样的先进AI模型移植到单片机（MCU）上，让手表、传感器甚至灯泡都具备真正的智

老六哥_AI助理指南·2025-02-12 16:09

Deep Seek大模型部署到本地详细教程

以下是将DeepSeek大模型部署到本地开发环境的详细教程，分为多个步骤，包含技术细节和注意事项：步骤1：环境准备硬件要求GPU：推荐NVIDIAGPU（至少16GB显存，如RTX3090/4090或A100

Katie。·2025-02-12 11:40

（python）如何看自己安装的包的版本

findstr"numpyscipytensorflowkeras"输出numpy1.13.1scipy0.19.1tensorflow-cpu2.4.0tensorflow-estimator2.4.0tensorflow-gpu2.4.0

9677·2025-02-12 10:04

llama-cpp-python CUDA error问题

安装完cuBLAS(CUDA)版本的llama-cpp-pythonCMAKE_ARGS="-DLLAMA_CUBLAS=on"pipinstallllama-cpp-python跑模型，指定n_gpu_layers

0语1言·2025-02-12 09:31

【‌Unity】Unity中物体的static属性作用

因此，Unity可以提前计算并缓存这些物体的光照和遮挡信息，从而减少在运行时对GPU的调用次数，提高游戏运行的流畅度‌。光照贴图优化‌：对于标

_Keep up·2025-02-12 07:42

Pointnet++改进即插即用系列：全网首发ACConv2d|即插即用，提升特征提取模块性能

目录1.理论介绍2.修改步骤2.1步骤一2.2步骤二2.3步骤三1.理论介绍由于在给定的应用环境中设计合适的卷积神经网络(CNN)架构通常需要大量的人工工作或大量的GPU时间，研究社区正在

AICurator·2025-02-12 06:36

模型轻量化

影响神经网络推理速度主要有4个因素：FLOPs、MAC、计算并行度、硬件平台架构与特性（算力、GPU内存带宽）模型压缩工业界主流的模型压缩方法有：知识蒸馏（KnowledgeDistillation，KD

莱茶荼菜·2025-02-11 22:10

DARTS算法笔记（论文+代码）

DARTS通过两次近似，将问题简单化，以减少GPU计算天数，局部最优近似全局最优，有限差分近似求梯度。摘要：在CIFAR-10、ImageNet、PennTreebank和

朴公英不会飞·2025-02-11 19:42

【DeepSeek】DeepSeek R1 本地部署（Ollama+Docker+OpenWebUI）

说明为什么使用本方案部署环境与资源本地部署需要用户自建硬件（如GPU集群）和配置环境，适合对数据隐私要求较高或离线处理场景；线上API则由服务商托管，用户通过网络调用，无需自行投资硬件资源。

neter.asia·2025-02-11 19:42

云上部署文生图大模型Stable Diffusion 3

请跟随本文，在百度智能云GPU服务器上部署StableDiffusion3。准备工作环境信息本文以百度智能云GP

·2025-02-11 16:26

Win11电脑显存大小查看教程：两种方法轻松掌握

Win11电脑显存大小查看教程：两种方法轻松掌握显存作为图形处理单元（GPU）的重要组成部分，对于图形渲染、游戏性能以及专业图形应用等方面都有着至关重要的影响。

mmoo_python·2025-02-11 13:05

唤醒 AI 算力，专有云 ABC Stack 面向企业级智算平台的 GPU 提效实践

从「建好」到「用好」，企业级智算平台借助专有云ABCStack的GPU提效服务，应对大模型业务挑战，唤醒AI算力，加速AI原生业务的落地。

·2025-02-11 12:16

0 Token 间间隔 100% GPU 利用率，百度百舸 AIAK 大模型推理引擎极限优化 TPS

大模型推理引擎的基本工作模式可以概括为，接收包括输入prompt和采样参数的并发请求，分词并且组装成batch输入给引擎，调度GPU执行前向推理，处理计算结果并转为词元返回给用户。

·2025-02-11 11:44

NVIDIA-docker Cheatsheet

TensorFlowDockerrequirementsInstallDockeronyourlocalhostmachine.ForGPUsupportonLinux,installnvidia-docker.Note

weixin_30758821·2025-02-11 11:22

windows server独立部署Qwen2.5-vl-7B

服务器配置信息CPU：64GGPU：48G（RTX4090）一、使用conda下载模型Qwen2.5-VL-7B-Instructconda下载condacreate--nameqwenpython=3.11condaactivateqwen

hello_world_Q·2025-02-11 10:38

Vulkan：Vulkan性能优化与调试技巧_2024-07-20_16-35-28.Tex

Vulkan：Vulkan性能优化与调试技巧Vulkan基础概述Vulkan渲染管线简介Vulkan是一种低开销、跨平台的图形和计算API，它为开发者提供了直接访问GPU的能力，从而实现高性能的图形渲染和计算任务

chenjj4003·2025-02-11 02:36

AI 场景下，函数计算 GPU 实例模型存储最佳实践

为了帮助开发者高效地在函数计算上部署AI推理应用，并快速解决不同场景下的模型存储选型问题，本文将对函数计算的GPU模型存储的优缺点及适用场景进行对比分析，以期为您的模型存储决策提供帮助。

·2025-02-10 23:53

看懂 DeepSeek 模型参数与运行需求

在运行配置方面，最低只需4GB显存的GPU、4核CPU以及8GB内存，普通的个人电脑便能轻松驾驭。

现时云·2025-02-10 22:08

“轻松上手！5分钟学会用京东云打造你自己的专属DeepSeek”

\#从第⼀步骤到第四步骤是完成DeepSeek本地部署和使⽤,可以满⾜中⼩企业环境的稳定使⽤,第五步骤为基于AnythingLLM和本地数据进⾏训练(基于本地数据搭建本地知识库):⼀：京东云GPU云主机环境准备

·2025-02-10 18:11

DeepSpeed 在三台T4卡上部署deepseek-r1:32b

推理部署的重点是利用多台机器和多块GPU来加速模型的推理过程。1.环境准备首先，确保每台机器上都安装了正确的依赖项。

MonkeyKing.sun·2025-02-10 14:33

硅基流动与华为云联合推出基于昇腾云的DeepSeek R1&；V3推理服务

该服务具备以下特点：得益于自研推理加速引擎加持，硅基流动和华为云昇腾云服务支持部署的DeepSeek模型可获得持平全球高端GPU部署模型的效果。

光锥智能·2025-02-10 12:14

解决Pytorch的cuDNN error: CUDNN_STATUS_NOT_INITIALIZED

目录1.问题报错2.可能原因2.1GPU内存不足2.2缓存问题2.3CUDA和Pytorch版本不兼容2.4CUDA和cuDNN版本不兼容3.验证CUDA是否可用4.参考1.问题报错在使用GPU加速模型训练的过程中经常会遇到这样的错误

Jurio.21·2025-02-10 00:31

推荐频道

gpu人工智能深度学习