cpu推理

Linux 查看 CPU 使用情况

在Linux系统中，查看CPU使用情况是性能分析和故障排查的重要环节。查看CPU使用情况，使用top命令或者htop命令来查看。
·2025-03-19 11:57

使用 DeepSeek-R1 为 RAG 运行本地 Gradio 应用程序

第1步：先决条件在深入研究实现之前，我们确保已安装以下工具和库：Python3.8+Python3.8+版Langchain：用于构建由大型语言模型（）LLMs提供支持的应用程序的框架，支持轻松检索、推理和工具集成
呱牛 do IT·2025-03-19 10:53

OctoTools：一个具有复杂推理可扩展工具的智体框架

解决复杂的推理任务可能涉及视觉理解、域知识检索、数值计算和多步骤推理。现有方法使用外部工具增强大语言模型(LLM)，但仅限于专业领域、有限的工具类型或需要额外的训练数据。
三谷秋水·2025-03-19 09:09

华为海思 CPU「麒麟 X90」曝光

芯片集成：将CPU、
自不量力的A同学·2025-03-19 09:09

【大模型开发】ONNX 格式的大模型在 Android 上的部署与测试

最后会给出一些针对在移动设备上部署ONNX推理的优化方法和未来建议。
云博士的AI课堂·2025-03-19 08:05

Linux中部署DeepSeek R1

DeepSeek-R1本地部署硬件需求表模型规模GPU需求CPU需求内存需求存储需求备注1.5B-GTX16504GB（可选）四核i5/Ryzen3000+16GBDDR450GBSSD需4-bit量化
Java探索者 °·2025-03-19 07:26

SSH后判断当前服务器是云主机、物理机、虚拟机、docker环境

可以使用命令如lscpu、dmidecode（需安装）或者sudolshw来查看硬件信息。在
uui1885478445·2025-03-19 07:24

十年老鸟告诉你，51单片机和STM32怎么选择？

单从电路板硬件上看，是将串口、以太等控制芯片集成到CPU内，或者做成模组的形式;从软件上看，就是将业务程序和操作系统一起烧录到ROM中去。
单片机陈老师·2025-03-19 06:50

STM 32简介

本质：一块高度集成的“微型电脑芯片”，内部包含：CPU（ARMCortex-M系列）：负责运算和逻辑控制。内
xwhking·2025-03-19 06:19

51单片机的寻址方式（完整）

目录一、立即数寻址二、直接寻址三、寄存器寻址四、寄存器间接寻址五、变址寻址六、位寻址七、指令寻址（一）绝对寻址（二）相对寻址在51单片机中，寻址方式是指在执行指令时，CPU寻找操作数所在存储单元地址的方法
二年级程序员·2025-03-19 06:18

linux环境下快速输出电脑的系统/硬件/显卡/网络/已安装软件等信息

内核信息uname-a#发行版信息lsb_release-a2>/dev/null||cat/etc/*release*#系统启动时间uptime#环境变量echo"PATH:$PATH"2.硬件信息#CPU
Tipriest_·2025-03-19 05:38

手机零部件三维光学测量解决方案

市场的火热造就了手机厂商白热化的竞争，继CPU、屏幕、摄像头等硬件配置大战之后，以外观、设计、质量为切入点的设计及功能竞争，也日趋激烈。
yy229382036·2025-03-19 05:05

功能强大的电脑硬件检测及驱动安装工具

无论是CPU的型号、频率，还是显卡、内存等硬件的具体规格，都能轻松获取，让你对电脑的“内部构造”了如指掌。入梦工具箱功能十分丰富，内含80多款实用工具。
开开心心就好·2025-03-19 03:14

自建智能算力中心 vs 第三方算力租赁：AI企业的算力博弈与最优解

从ChatGPT到DeepSeek，从自动驾驶到智能医疗，AI模型的训练和推理需求呈现指数级增长。在这场技术革命中，算力已成为企业竞争的“命脉”。
·2025-03-19 03:50

【重回基础】理解CPU Cache及缓存一致性MESI

文章目录一、前言二、为何需要CPUCache三、L1、L2、L3Cache三级缓存结构四、CacheLine：与内存数据交换的最小单位五、MEIS：缓存一致性5.1底层操作5.2MESI协议参考一、前言原打算重新学习一下
Patrick_Lam·2025-03-19 01:05

CPU多级缓存 MESI－CPU缓存一致性协议 以及 乱序执行优化

一、CPU的多级缓存1.为什么需要CPU缓存在一个典型的系统中，可能会有几个缓存共享主存，每个相应的CPU会发出读写请求，CPU的频率太快了，快的主存跟不上，这样主存常常需要等待主存，而缓存的目的是为了减少
H_Ystar·2025-03-19 01:34

空闲任务是什么？

其核心作用是确保CPU始终有任务可执行（避免系统“空转”），同时为开发者提供资源管理和低功耗优化的入口。
九层指针·2025-03-18 22:12

理解深度学习1-简介

它覆盖了众多方法，涵盖了基于逻辑、搜索和概率推理的技术。机器学习是AI的一个分支，它通过对观测数据进行数学模型拟合来学习决策制定。这个领域近年来迅猛发展，现在几乎（虽不完全准确）与AI同义。
shangjg3·2025-03-18 21:35

程序员必看！DeepSeek全栈开发实战指南：从代码生成到性能优化

这两项技术突破对程序员群体意义重大：通信效率飞跃：DeepEP通过NVLink优化实现GPU间158GB/s传输速度，后端开发者训练大模型时可节省60%集群资源推理性能突破：R1模型在H
AI创享派·2025-03-18 20:59

五、AIGC大模型_05模型的vLLM部署与LangChain调用

0、概述要搭建一个大模型应用服务，通常需要包含以下五层结构，即：基础环境、模型层、推理层、对外接口、外挂应用在了解了模型的微调训练之后，本文将以vLLM、OpenAI、LangChain为例，介绍大模型的推理部署以及对外接口开放调用
学不会lostfound·2025-03-18 19:20

[V-11][A-33]ARMv8/v9-GIC-中断虚拟化架构与工作原理

ver0.1前言在正式进入本文的主题之前，我们专门介绍了一下关于CPU虚拟化的课题，目的就是为本文打下基础。
奔跑的架构师·2025-03-18 18:12

3D-AFFORDANCELLM: HARNESSING LARGE LANGUAGE MODELS FOR OPEN-VOCABULARY AFFORDANCE DETECTION

为了解决这些限制，我们将传统的可及性检测范式重新定义为指令推理可及性分割（IRAS）任务。该任务旨在根据查询推理文本输出可及性掩码区域，避免了输入标签的固定类别。相应地，我们提出了
UnknownBody·2025-03-18 16:00

yolov4

从数据层面和网络设计层面来进行改善消融实验，感觉能做的都让他给做了，这工作量不轻全部实验都是单GPU完成，不用太担心设备了Bagoffreebies(BOF)只增加训练成本，但是能显著提高精度，并不影响推理速度数据增强
zzh-·2025-03-18 16:28

YOLOv8n-OBB使用C#在windows10进行部署（CPU）

：X-AnyLabeling下载链接：https://github.com/CVHub520/X-AnyLabeling/releases/download/v2.3.6/X-AnyLabeling-CPU.exe
cd_Ww777·2025-03-18 15:21

llama.cpp 和 LLM（大语言模型）

它通过海量文本数据训练，能够生成连贯、语义丰富的文本，完成问答、创作、推理等任务。特点：参数规模大：如GPT-3（1750亿参数）、Llama-65B（650亿参数）等。
这个懒人·2025-03-18 14:12

Elasticsearch：为推理端点配置分块设置

推理端点对一次可处理的文本量有限，具体取决于模型的输入容量。分块（Chunking）是指将输入文本拆分成符合这些限制的小块的过程，在将文档摄取到semantic_text字段时会进行分块。
Elastic 中国社区官方博客·2025-03-18 13:35

Yolov11目标检测(ultralytics)

Yolov11目标检测（ultralytics）1.克隆仓库2.安装环境依赖3.训练、验证、推理以及onnx模型导出1.克隆仓库从官网下载Yolov11到本地。
@M_J_Y@·2025-03-18 13:02

Redis为什么比较快 - java后端面试必考 - 基于C老师

AOF（Append-OnlyFile）日志的全流程Redis为什么比较快Redis之所以快，核心原因是它采用了单线程处理命令，并结合了多线程优化，最大程度地减少了线程切换、锁竞争和CPU资源浪费。
amber66666！·2025-03-18 12:51

应用广泛的2.4G无线私有协议射频PA芯片盘点

集成了多协议2.4GHz收发器、Arm®Cortex®-M4FCPU和闪存程序FLASH。支持蓝牙BLE、802.15.4和2.4GHz私有协议等多种协议。
番茄老夫子·2025-03-18 11:16

TorchServe详解和应用

TorchServer是PyTorch的一个组件，它是一个轻量级的服务框架，用于部署和管理PyTorch模型，以便在生产环境中提供高效、可扩展的推理服务。
易之阴阳·2025-03-18 11:43

Flink流式计算系统

本文将以这些概念为基础，逐一介绍Flink的发展背景、核心概念、时间推理与正确性工具、安装部署、客户端操作、编程API等内容，让开发人员对Flink有较为全面的认识并拥有一些基础操作与编程能力。
xyzkenan·2025-03-18 07:13

ubuntu20.04挂起/休眠后无法唤醒，只能强制重启

3、解决思路3.1、禁用挂起功能3.2、降低驱动版本1、设备信息OS:Ubuntu20.04.2LTSx86_64Kernel:5.8.0-63-genericShell:zsh5.8DE:GNOMECPU
koigh·2025-03-18 04:11

Java语言前言

字节计算机中存储数据最小计量单位，用byte或者B表示计算机最小的存储单元是二进制，因为计算机上能看到的任何东西都是CPU通过二进制转换而来的，二进制用bit表示1byte=8bit取值范围：-128-
始终奔跑在路上·2025-03-18 02:29

深入解析Linux进程调度器-CPU负载

说明：Kernel版本：4.14ARM64处理器，Contex-A53，双核使用工具：SourceInsight3.5，Visio1.概述CPU负载（cpuload）指的是某个时间点进程对系统产生的压力
Linux内核站·2025-03-18 02:26

Linux内核--进程管理(十一)多核下的负载均衡

目录一、引言二、调度机制介绍------>2.1、线程的多核运行------>2.2、RT进程多核负载均衡------>2.3、普通进程多核负载均衡------>2.4、设置CPUtaskaffinity
文艺小少年·2025-03-18 02:53

51 单片机指令系统入门

目录基本概念讲解一、机器指令二、汇编指令（一）汇编指令的一般格式（二）按字节数分类的指令三、高级指令总结基本概念讲解指令是计算机（或单片机）中CPU能够识别并执行的基本操作命令。
二年级程序员·2025-03-18 00:38

ChatGPT推理模型&通用模型大解析！

很多人知道通用模型和推理模型了，那么ChatGPT的哪些模型是通用模型，哪些又是推理模型呢？
即兴小索奇·2025-03-18 00:38

【技术解密】本地部署 DeepSeek-V3：完整指南

目录引言运行环境需求下载与安装推理部署总结参考资源引言随着人工智能的快速发展，开源大模型正逐步改变着技术生态。
海棠AI实验室·2025-03-17 22:54

Matlab GPU加速技术

CPU擅长处理逻辑复杂的串行任务，而GPU拥有数千个流处理器，专为并行计算设计。对于大规模矩阵运算、深度学习训练或科学计算等任务，GPU加速可将计算速度提升数十至数百倍。
算法工程师y·2025-03-17 21:50

【大模型实战篇】使用GPTQ量化QwQ-32B微调后的推理模型

低精度运算（如INT8）在GPU等硬件上计算效率更高，推理速度可提升2~4倍。我们的任务是，将QwQ-32B微调后的推理模型，也就是bf16的精度，通过量化，压缩到int4。
源泉的小广场·2025-03-17 21:19

LLM-PowerHouse: 一站式大型语言模型定制训练与推理指南

LLM-PowerHouse:解锁大型语言模型的潜力在人工智能和自然语言处理领域,大型语言模型(LargeLanguageModels,LLMs)正在掀起一场革命。随着GPT、BERT等模型的出现,LLMs展现出了惊人的能力,可以执行各种复杂的语言任务。然而,如何有效地训练和使用这些强大的模型仍然是一个挑战。针对这一需求,GitHub上的LLM-PowerHouse项目应运而生,为开发者、研究人员
Nifc666·2025-03-17 21:43

JVM常用概念之FPU溢出

基础知识FPU和矢量单元在现代CPU中随处可见，在许多情况下，它们为FPU特定的操作提供了一组备用寄存器。
剑海风云·2025-03-17 19:03

利用pprof对golang进行性能分析

利用pprof进行性能分析pprof性能分析的5个方面一、性能分析的五个核心维度CPU分析-剖析程序的CPU使用情况，定位高耗时函数内存分析-追踪内存分配与泄露，优化内存使用模式IO分析-监控文件/网络
忍界英雄·2025-03-17 19:00

s1K 数据集：是一个用于提升语言模型推理能力的高质量数据集。

2025-02-07，由斯坦福大学、华盛顿大学等研究机构创建了s1K数据集，该数据集包含1,000个精心挑选的问题，并配以推理轨迹和答案，为语言模型推理能力的提升提供了重要的数据基础。
·2025-03-17 14:37

Ollama 基本概念

Ollama是一个本地化的、支持多种自然语言处理（NLP）任务的机器学习框架，专注于模型加载、推理和生成任务。通过Ollama，用户能够方便地与本地部署的大型预训练模型进行交互。
Mr_One_Zhang·2025-03-17 13:47

ServerStatus牛逼！！

作为一名攻城狮，面对各种服务器内存飙高、CPU猛增、磁盘打满等等服务器问题，可谓是伤透了我们的心。不仅要开发，还要处理这些问题，大把的时间浪费了，这时候一个好的全面的监控工具尤为重要了。
架构文摘JGWZ·2025-03-17 12:09

DeepSeek 在代码生成方面的优势解析

文章将详细解析DeepSeek在代码生成方面的优势，包括模型架构、数据训练、优化策略、编程语言支持、推理效率等核心技术点。1.DeepSeek-Coder的模型架构优化DeepSeek-Code
草莓屁屁我不吃·2025-03-17 08:15

Google Gemini 大模型技术架构剖析

Gemini系列包括Ultra、Pro和Nano三种尺寸，适用于从复杂的推理任务到设备内存受限的应用场景。GeminiUltra是最强大的模型，可在各种高度复杂的任务（包括推理和多
musicml·2025-03-17 08:15

文心一言提前免费，高性能大模型全面入局该咋看？

文心大模型4.5作为首个原生多模态大模型，在多模态理解、文本和逻辑推理能力上的显著提升，使其在多项测试中表现优于GPT4.5，这体现了百度在AI技术研发上的深厚积累。同时，文心大模型X1作为深度思
江瀚视野·2025-03-17 07:06

DeepSeek-R1模型1.5b、7b、8b、14b、32b、70b和671b有啥区别？

码笔记mabiji.com分享：1.5B、7B、8B、14B、32B、70B是蒸馏后的小模型，671B是基础大模型，它们的区别主要体现在参数规模、模型容量、性能表现、准确性、训练成本、推理成本和不同使用场景
facaixxx2024·2025-03-17 06:01
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他