cpu推理

浙大IInftyThink（无限深度推理引擎）原理解析及应用场景

InftyThink（无限深度推理引擎）是由浙江大学与北京大学联合研发的大模型推理范式创新，通过“分段思考+中间总结”机制突破传统模型的上下文与计算瓶颈。
DK_Allen·2025-07-02 10:17

从源码编译 ONNX Runtime GPU 1.18.2 并验证 CUDA 推理成功

文章目录从源码编译ONNXRuntimeGPU1.18.2并验证CUDA推理成功【实测环境+完整步骤】✅环境信息（实测成功）第一步：获取源码️第二步：编译命令参数说明（重点）第三步：安装构建好的`.whl
草莓奶忻·2025-07-02 09:41

OpenAI租用谷歌TPU，降低推理计算成本

OpenAI近期开始租用谷歌TPU芯片，这是该公司首次大规模使用非英伟达芯片。除了OpenAI外、苹果、SafeSuperintelligence和Cohere等公司也一直租用谷歌云的TPU。英伟达的芯片主导地位正被侵蚀，OpenAI租用谷歌TPU，为首次大规模使用“非英伟达”芯片。周六，据媒体报道，作为全球最大的人工智能芯片客户之一，OpenAI近期开始租用谷歌的TPU芯片为ChatGPT等产品
加百力·2025-07-02 06:49

RISC-V设计之Decoder的封装与函数(二)

-----2025/7/1示例代码：这个opcodes包是为一个简单的处理器设计的辅助模块，作用是封装指令解析相关的功能，供CPU
·2025-07-02 05:42

【机器学习&深度学习】本地部署 vs API调用：关键看显存！

1️⃣零依赖网络和外部服务，更可靠稳定2️⃣无调用次数限制，更适合高频或批量推理3️⃣避免长期API费用，节省成本4️⃣保护用户隐私和数据安全5️⃣可自定义、深度优化6️⃣加载一次即可复用，低延迟高性能
一叶千舟·2025-07-02 03:34

文件系统中元数据的隐患——缓存

如果元信息较大且访问QPS较大时，就会导致实例网卡打满、CPU爆表，造成缓存失效（缓存击穿）；流量直接打到DB上，造成大量读请求超时、连接打满、机器挂掉（服务雪崩）。
小可爱amour·2025-07-02 02:57

鸿蒙内核源码分析(互斥锁篇) | 互斥锁比自旋锁丰满多了

使用面非常的广.其实在给内核源码加注的过程中,会看到大量的自旋锁和互斥锁,它们的存在有序的保证了内核和应用程序的正常运行.是非常基础和重要的功能.概述自旋锁和互斥锁虽都是锁,但解决的问题不同,自旋锁解决用于CPU
OpenHarmony_小贾·2025-07-02 02:56

鲲鹏CPU+麒麟操作系统arm环境安装MySQL

系统环境背景：CPU：鲲鹏920操作系统：Ky10SP3MySQL版本：8.4.2一、下载MySQL官网地址：https://downloads.mysql.com/archives/community
运维小乔·2025-07-02 00:39

FastGPT与MCP：解锁AI新时代的技术密码

FastGPT，以其高效的推理
挑战者666888·2025-07-01 23:04

1、 快速上手 [代码级手把手解析diffusers库]

快速上手Pipeline内部执行步骤后续更新计划diffusers是HuggingFace推出的一个diffusion库，它提供了简单方便的diffusion推理训练pipe，同时拥有一个模型和数据社区
Yuezero_·2025-07-01 22:55

信创产品合规认证的一般流程，标准化产品、项目型产品

核心流程概述基础适配与互认选择适配环境：确定目标适配的国产CPU架构（鲲鹏、飞腾、龙芯、兆芯、海光、申威等）、操作系统（麒麟、统信UOS、中科方德等）、数据库、中间件等。
极创信息·2025-07-01 21:50

未来有确定发展的技术公司

ArmHoldings(ARM):潜力评估与小市值高增长投资机会分析一、ArmHoldings(ARM)深度剖析核心业务与市场地位当前市值:约140亿美元（2023年9月IPO后，股价波动显著）业务模式:CPU
兔老大RabbitMQ·2025-07-01 21:18

Mac mini 跑 DeepSeek R1 及 QwQ-32B模型实测报告

测试对象：2025款Macmini（M4/M4Pro芯片）测试模型：DeepSeek-R1（14B/32B）、QwQ-32B（原版/量化版）测试目标：硬件性能适配性、推理速度、内存占用及优化方案一、Macmini
强哥之神·2025-07-01 21:16

【AI】AI大模型发展史：从理论探索到技术爆发

一、早期探索阶段—理论与技术奠基1.1符号主义与连接主义的博弈20世纪50-70年代，符号主义AI主导研究方向，通过专家系统模拟人类逻辑推理，但受限于计算能力和数据规模。
不想当程序汪的第N天·2025-07-01 21:44

YOLOv10 全面升级解析：关键改进点一文掌握

✅YOLOv10改进点详解一、前言YOLOv10是由Ultralytics团队在2024年提出的新一代目标检测模型，在保持高精度的同时进一步优化了部署效率和推理速度。
要努力啊啊啊·2025-07-01 20:10

大模型系列——提示词工程：从原理、实践到未来的一部系统性综述

本文深度剖析了多种高级提示框架，包括旨在激发模型逐步推理的“思维链”（Chain-o
猫猫姐·2025-07-01 20:39

考取华为HCIE-AI有什么用？

主要是为了培养和认证掌握人工智能解决方案架构、设计与应用知识，具备大模型业务场景分析、大模型训练与微调、模型推理部署能力的专家级人才。一、HCIE-AI：专家级能力的权威认证HC
博睿谷IT99_·2025-07-01 18:59

Windows环境下Docker容器化的安装与设置指南

虚拟化支持：确保您的CPU支持虚拟化技术（如IntelVT-x
python自动化工具·2025-07-01 17:14

ESXi 8 相较于 ESXi 7 升级

以下是关键改进点的详细对比：‌对比维度‌‌ESXi7‌‌ESXi8‌‌核心优势‌‌硬件支持‌•支持旧代CPU•PCIe3.0•最高6TBRAM•IntelSapphireRapids•AMDEPYC7003
SZHCI·2025-07-01 15:33

十个服务器中毒的常见特征及其检测方法

1.系统性能下降病毒常常占用大量的CPU和内存资源，导致服务器响应速度变慢。
群联云防护小杜·2025-07-01 14:26

从文心开源谈起，论大模型发展新生态

6月30日，百度正式宣布开源ERNIE4.5即文心4.5系列模型，覆盖47B和3B激活参数的MoE（混合专家）模型，以及0.3B参数的稠密模型，并实现了预训练权重+推理代码的完全开源。
CSDN资讯·2025-07-01 10:04

GPU 分布式通信加速黑马！DeepEP 的实战与深度剖析

随着大模型和稀疏激活模型（如MoE/EP架构）的广泛应用，分布式all-to-all通信成为训练和推理过程中的核心瓶颈。
DeepLink_01·2025-07-01 10:33

告别GPU焦虑：如何在纯CPU服务器上，打造高性能Embedding服务？

最近接手一个项目，要求在纯CPU服务器上部署Embedding模型服务。兄弟们都懂，GPU它香啊，但它也贵啊！很多时候，咱只能在有限的资源里想办法。
ezl1fe·2025-07-01 10:02

高性能AI核心板Z3588CV1：基于瑞芯微RK3588的旗舰级解决方案——8K视觉处理 · 6TOPS NPU算力 · 多场景边缘计算

RK3588处理器技术细节计算单元CPU：4×[email protected]（大核集群）4×[email protected]（能效集群）支持ARMDynamIQ混合架构，可实现任务智能调度GPU：
九鼎创展科技·2025-07-01 07:18

火山引擎大模型未来发展趋势

我注意到几个关键点：技术层面，多模态和推理效率是火山近期的发力重点。他们6月刚发布的Sky
苹果企业签名分发·2025-07-01 07:17

Android异步布局加载：AsyncLayoutInflater解析与实战优化

当应用启动或跳转界面时，布局加载时间直接影响用户体验：主线程阻塞：XML解析和View创建是CPU密集型操作复杂布局问题：深层嵌套或大量View导致加载时间过长冷启动延迟：Activi
时小雨·2025-07-01 05:36

面经总结系列（十六）： 元象科技大模型推理优化工程师

‍作者简介：CSDN、阿里云人工智能领域博客专家，新星计划计算机视觉导师，百度飞桨PPDE，专注大数据与AI知识分享。✨公众号：GoAI的学习小屋，免费分享书籍、简历、导图等，更有交流群分享宝藏资料，关注公众号回复“加群”或➡️点击链接加群。AI学习星球推荐：GoAI的学习社区知识星球是一个致力于提供《机器学习|深度学习|CV|NLP|大模型|多模态|AIGC》各个最新AI方向综述、论文等成体系的
GoAI·2025-07-01 05:04

PaddleOCR不同模型和Paddle版本推理性能对比

飞桨PaddleOCR这几年发布了从V2到V5的中英文OCR模型，Paddle推理框架也从2.X升级到3.0.0版本。本次对不同模型和推理框架的性能做些对比。
dotNET跨平台·2025-07-01 02:12

牛客 AI 面试 Ultra 版重磅升级！定义智能招聘新高度，三大颠覆性创新，重新诠释 AI 面试专业标杆

01.智能交互革命：2秒极速追问，双向对话零延迟●全语音沉浸式体验：无需手动操作，候选人开口即答，数字面试官依托实时推理引擎，2秒内触发多维追问，基于岗位胜任力模型（如冰山模型）层层挖掘需求理解、沟通能力
牛客企业服务·2025-07-01 01:41

linux操作系统的软件架构分析

内核的主要功能1）进程管理2）内存管理3）文件系统4）进程间通信、I/O系统、网络通信协议等2.系统程序1）系统接口函数库，比如libc2)shell程序3）编译器、编辑器等基础设施3.最关键的部分1）CPU
sunflower_w·2025-07-01 01:11

信创背景下应用软件迁移解析：从政策解读到落地实践方案

信创（信息技术应用创新）是指用我国自主研发的基础软硬件产品实现对国外产品的替代，特别是在CPU、GPU及操作系统等关键领域。其核心目标是解决核心技术"卡脖子"问题，构建安全可控的IT底层架构和标准。
tianzhiyi1989sq·2025-07-01 00:06

从汇编指令看函数调用堆栈的详细过程

returntemp;}intmain(){inta=10;intb=20;intret=sum(a,b);return0;}2、汇编代码在ARMCortex-A9平台上，编译后的C++源代码的汇编代码如下：.cpucortex
melonbo·2025-07-01 00:04

YOLOv11革命性升级：基于MobileNetv4的UIB和ExtraDW模块重构C3k2架构，实现移动端推理性能飞跃

引言与背景概述在当今人工智能飞速发展的时代，目标检测技术已成为计算机视觉领域的核心技术之一。从自动驾驶汽车到智能安防系统，从移动端AR应用到工业质检，目标检测无处不在。然而，随着应用场景的多样化，特别是移动端和边缘设备的普及，对模型的计算效率提出了更为严苛的要求。YOLO（YouOnlyLookOnce）系列算法作为目标检测领域的领军者，一直在精度与速度之间寻求最佳平衡。从YOLOv1到最新的YO
博导ai君·2025-06-30 23:25

Spring Boot秒杀系统崩溃？一招解决高并发难题

高并发下的致命痛点流量洪峰：瞬时并发量（QPS/TPS）远超日常数十甚至数百倍，服务器资源（CPU、内存、网络、数据库连
国际云·2025-06-30 23:24

AMD机密计算虚拟机介绍

一、什么机密计算虚拟机机密计算虚拟机是一种基于硬件安全技术（如AMDSecureEncryptedVirtualization,SEV）的虚拟化环境，旨在保护虚拟机（VM）的运行中数据（包括内存、CPU
李天琦·2025-06-30 21:39

1 c++多线程创建和传参

（1）加快程序执行速度和响应速度,使得程序充分利用CPU资源。（2）多个线程可以在同一时间并行执行，将一个任务分成多份，让多个线程执行，加快执行速度。比如for循环，可以分解成多个线程同时处理。
选与握·2025-06-30 21:35

YOLOV10的tensorrt C++部署

根据博客进行python版本安装YOLOv10最全使用教程（含ONNX和TensorRT推理）-CSDN博客并将pt转为onnx：yoloexportmodel=yolov10s.ptformat=onnxopset
dddccc1234·2025-06-30 19:26

【LLaMA 3实战】2、LLaMA 3对话能力全解析：从架构革新到多智能体实战指南

这款拥有128K上下文窗口的开源模型，不仅在MT-Bench评测中超越GPT-3.5，更通过分组查询注意力(GQA)等架构创新，实现了推理速度30%的提升。
无心水·2025-06-30 18:14

AI人工智能领域知识图谱在深度学习中的应用拓展

AI人工智能领域知识图谱在深度学习中的应用拓展关键词：知识图谱、深度学习、神经网络、图嵌入、知识表示学习、推理机制、应用场景摘要：本文深入探讨了知识图谱与深度学习的融合应用，系统性地分析了知识图谱在深度学习中的关键技术路径和应用场景
·2025-06-30 17:38

CARLsim开源程序 是一个高效、易用、GPU 加速的软件框架，用于模拟具有高度生物细节的大规模脉冲神经网络 （SNN） 模型。

CARLsim允许在通用x86CPU和标准现成GPU上以逼真的突触动力学执行Izhikevich脉冲神经元网络。
struggle2025·2025-06-30 16:06

UBOOT学习笔记（六）：UBOOT启动--CPU架构及板级初始化阶段

3.1、_mainENTRY(_main)#ifdefined(CONFIG_TPL_BUILD)&&defined(CONFIG_TPL_NEEDS_SEPARATE_STACK)ldrr0,=(CONFIG_TPL_STACK)/*TPL（三级引导）使用独立栈*/#elifdefined(CONFIG_SPL_BUILD)&&defined(CONFIG_SPL_STACK)ldrr0,=(C
ZH_2025·2025-06-30 16:34

[pytorch] pytorch_model.bin 和 training_args.bin 的区别

这个文件可以被加载到PyTorch中，以便进行推理、评估或继续训练。training_args.bin:
心心喵·2025-06-30 15:29

高性价比二手服务器CPU你知多少?

以前E33220这些都不太好的吧,现在不知有哪种二手服务器CPU核心多,主频高,性价比更高,闲鱼二手上哪些值的买,多少钱根据2025年二手服务器CPU市场现状，结合核心数、主频、价格及兼容性，以下推荐四款高性价比型号
专注VB编程开发20年·2025-06-30 15:59

Linux程序设计：什么时候选择开发内核模块？

最近看一个CPU使用率高的问题，从perf里看，是下面的一个占用的比较多是下面一个OverheadSource:LineSymbolSharedObject-8.48%[vdso][1129]0x1129B
mzhan017·2025-06-30 15:54

Ultralytics YOLO 库介绍与使用指南

文章目录UltralyticsYOLO库介绍与使用指南主要特点安装基本使用1.使用预训练模型进行推理2.训练自定义模型3.验证模型4.导出模型高级功能1.使用不同任务模型2.使用自定义数据集3.跟踪对象
东北豆子哥·2025-06-30 13:15

使用SQL-Ollama与自然语言交互SQL数据库的指南

SQL-Ollama是一个专门设计的模板，利用Zephyr-7b模型，通过Ollama在本地运行推理，使这一过程变得简单而高效。##核心原理解析SQL-Ollama通过将自然语言转换为
antja_·2025-06-30 13:42

计算机系统中隐藏的‘时间陷阱’——为什么你的代码总比预期慢10倍？

本文将揭示5个最典型的陷阱，从CPU缓存失效到操作系统调度暗坑，并用真实案例展示如何绕过它们。陷阱1：CPU
尤物程序猿·2025-06-30 12:38

【TVM 教程】PAPI 入门

ApacheTVM是一个深度的深度学习编译框架，适用于CPU、GPU和各种机器学习加速芯片。
·2025-06-30 12:30

本地运行大型语言模型(LLM)的实践指南

隐私上，数据不需要发送到第三方，避免了商业服务条款的限制；成本方面，无需支付推理费用，尤其是对于那些需要大量计算的应用，如长时间的模拟和总结。
yunwu12777·2025-06-30 11:58

记录一个异常检测库

https://github.com/openvinotoolkit/anomalib/tree/main关于一个异常检测库，包括最先进的算法和功能，如实验管理，超参数优化和边缘推理。
STO检测王·2025-06-30 09:46
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他