cpu推理

C C++ 为什么称为Native代码、虚拟机

CC++为什么称为Native代码，为什么要快1.直接编译为机器码无需中间层：C/C++代码通过编译器（如GCC、Clang）直接编译为CPU可执行的机器码（二进制指令），运行时无需虚拟机（如JVM）或解释器
TO_ZRG·2025-03-14 09:24

【解决方案】RAGFlow部分问题清单及解决方案备忘1

一、长时间显示：Taskisqueued多半是因为模型确实在队列中排队的原因，要么是内存一直在被占用中，要么是CPU或GPU一直在被占用中，可以首先检查硬件利用率：如果是内存导致的队列缓慢，可以将.env
中杯可乐多加冰·2025-03-14 08:45

在windows下运行ollama用5600XT (其实旧的a卡应该都可以）步骤同时用ComfyUI + RX 5600 XT + DirectML 安装与配置

没钱也要玩AI(自能简单运用，不能训练，微调等)这张卡只有6g远远不够ai使用所以我发现好像是能和cpu一起混用的。
Zalo2·2025-03-14 07:07

java阻塞线程中断_线程阻塞,线程中断,何时以及如何响应中断

线程中断,何时以及如何响应中断1.在线程阻塞时中断线程的4中状态:(1)新建(new):线程被创建时,它只会短暂的处于这种状态.此时线程已经分配了必须的系统资源,并执行了初始化.此刻线程已经有资格获取CPU
AI传送门·2025-03-14 06:33

11B模型拿下开源视频生成新SOTA！仅用224张GPU训练，训练成本省10倍

同时，此次发布全面开源模型权重、推理代码及分布式训练全流程，开发者们可以看过来！GitH
·2025-03-14 04:12

计算机组成原理知识点精汇（一）计算机基础知识

二、机器字长CPU一次操作中能够处理的数据的位数
A.sir啊·2025-03-14 02:08

单片机的历史与发展

1976年，Intel发布MCS-48系列单片机，首次将8位CPU、RAM、ROM（1KB）、I/O接口集成于单芯片，标志着世
二年级程序员·2025-03-14 01:59

QwQ-32B企业级本地部署：结合XInference与Open-WebUI使用

QwQ-32B是阿里巴巴Qwen团队推出的一款推理模型，拥有320亿参数，基于Transformer架构，采用大规模强化学习方法训练而成。
大势下的牛马·2025-03-14 00:56

安装oVirt环境

1.oVirtEngine硬件要求资源最低推荐中央处理器双核x86_64CPU.一个四核x86_64CPU或多个双核x86_64CPU。
唯独不开心·2025-03-13 23:50

Linux笔记

•操作系统内核：Linux本质是一个管理计算机硬件和软件资源的“核心程序”（称为内核），负责处理内存、CPU、设备驱动等底层任务。•Linux发行版：普通人接触的Linux通常是“
@卡卡-罗特·2025-03-13 21:03

在 Ubuntu 下通过 Docker 部署 Caddy 服务器

本次实验使用的是三丰云的免费服务器，配置为1核CPU、1G内存和5M带宽。这样的配置在本次实验中相对合适，整体体验尚可。在Ub
reddingtons·2025-03-13 20:00

轻量级多模型部署实践：Ollama 与 vLLM 快速构建高效 AI 工作流20250306

轻量级多模型部署实践：Ollama与vLLM快速构建高效AI工作流本文将详细介绍如何在MacOS与Ubuntu环境下使用Ollama与vLLM进行轻量级多模型部署，包括模型并行推理、安全与性能优化的实践经验
Narutolxy·2025-03-13 20:55

大模型相关知识学习随记

2024/3/151，概念解释：通义千问，是阿里云推出的一个超大规模的语言模型，功能包括多轮对话、文案创作、逻辑推理、多模态理解、多语言支持。
m0_65156252·2025-03-13 18:16

【LLM大模型】大模型涌现能力及 Prompt Engineering提示词

作为概率模型，大语言模型甚至不知道数字代表的真实含义，模型只是在学习了无数的语料之后，发现了一些数学结论之间的潜在概率关系，才最终涌现出了数学运算或者复杂推理的能力。但是“涌现能力
Langchain·2025-03-13 18:15

seq2seq推理模块设计

/best.ckpt",weights_only=True,map_location="cpu"))classTranslator:def__init__(se
何仙鸟·2025-03-13 18:40

67-OpenCVSharp 创建实现Halcon的tile_images_offset算子（用于图像拼接，对每张图像设置偏移量）

为了优化运行时间和性能，我们可以从以下几个方面对代码进行改进：并行处理：利用多核CPU的能力，通过Parallel.For或其他并行技术加速图像复制操作。减少边界检查开销：在确
搬码驿站·2025-03-13 17:39

【八股学习】面试问到JMM如何优雅回答？

（线程本地内存和主内存类比CPU三级缓存和内存）4、JMM规定了Java源代码到CPU可执行指令转化要遵守的并发原则和规范（针对
illus10n_CHOU·2025-03-13 17:02

python,pycharm,pytorch，向量数据库，环境搭建记录

修改ubuntu上的pycharm镜像源，详细步骤-腾讯云开发者社区-腾讯云【超详细教程】2024最新Pytorch安装教程（同时讲解安装CPU和GPU版本）-CSDN博客https://zhuanlan.zhihu.com
dept123·2025-03-13 16:30

LLM Weekly（2025.03.03-03.09）

研究人员推出了QwQ-32B，这是一个拥有320亿参数的模型，它利用强化学习来提升推理能力。尽管参数较少，但通过整合类似智能体的推理和反馈机制，QwQ-32B的表现可与更大规模的模型相媲美。
UnknownBody·2025-03-13 16:29

支持 40+ 插件，Spring AI Alibaba 简化智能体私有数据集成

RAG通过结合检索技术和生成模型的强大能力，使智能体能够实时从外部数据源获取信息，并在生成过程中增强其知识深度和推理能力。通过这种方式，智能体不仅能依赖于模型的预
阿里云云原生·2025-03-13 16:29

SaaS+AI应用架构：业务场景、智能体、大模型、知识库、传统工具系统

本节将详细介绍其五个核心层次：业务场景层：发现和确定业务场景智能体层：构建可复用的智能应用大模型层：采用最合适的大模型，作为思考推理的核心知识库：管理企业的核心知识资产传统工具：传统的运营工具和业务系统业务场景层
公众号-AI架构师汤师爷·2025-03-13 16:26

使用 Websoft9 面板部署 LobeChat，打造个人 AI 大脑

•配置建议：◦测试用途：1核CPU/2GB内存/50GBSSD（最低配置，支持10人以内对话）。◦生产用途：2核CPU/4GB内存/100GBSSD（支持并发请求及插件运行）。
·2025-03-13 15:52

本地部署时，如何通过硬件加速（如 CUDA、TensorRT）提升 DeepSeek 的推理性能？不同显卡型号的兼容性如何测试？

本地部署DeepSeek模型的硬件加速优化与显卡兼容性测试指南一、硬件加速技术实现路径CUDA基础环境搭建版本匹配原则：根据显卡架构选择CUDA版本（如NVIDIARTX50系列需CUDA12+，V100需CUDA11.x），并通过nvcc--version验证安装。GPU加速验证：运行以下代码检查硬件加速状态：importtensorflowastfprint("可用GPU数量：",len(tf
百态老人·2025-03-13 14:43

java线程池最大线程数_Java项目中，线程池中线程数量太大会有什么影响？

1.线程栈是需要分配内存空间的，所以有数量上限2.cpu切换线程涉及到上下文恢复，这个是需要耗费时间的，如果线程非常多而且切换频繁(处理IO密集任务)，这个时间损耗是非常可观的。
徐佳昇·2025-03-13 14:12

【图像去噪】论文复现：TPAMI 2025！全面提升单图像去噪泛化性！像素级零样本去噪方法Pixel2Pixel的Pytorch源码复现，跑通源码，修改各种报错，框架详解，注释详细！

本文亮点：跑通Pixel2Pixel全部源码，包含数据集准备、制作像素库(PixelBank)、训练和推理等，
十小大·2025-03-13 14:11

Java线程池如何合理设置核心线程数

线程数的设置的最主要的目的是为了充分并合理地使用CPU和内存等资源，从而最大限度地提高程序的性能，先判断是CPU密集型任务还是IO密集型任务：CPU密集型任务和IO密集型任务：比如像加解密，压缩、计算等一系列需要大量耗费
寻烟的衣袖·2025-03-13 13:40

(4-8)基于DeepSeekMoE架构的DeepSeek-V3：测试模型

加载完成后，模型被设置为评估模式，并移动到GPU上以加速推理过程。在生成文本时，用户可以输入提示文本，模型会根据这些提示生成相应的文本输出。
码农三叔·2025-03-13 13:37

Unity3D 批处理与Draw Call减少（Batching & Reducing Draw Calls）

前言在Unity3D中，批处理（Batching）是优化渲染性能的核心手段，主要通过减少DrawCall数量来降低CPU与GPU之间的通信开销。
Thomas_YXQ·2025-03-13 13:37

人工智能 - TensorRT与DeepDP终极指南：释放GPU潜能的深度学习推理优化之道

TensorRTTensorRT（TensorRuntime）是英伟达（NVIDIA）推出的高性能深度学习推理（Inference）优化器和运行时库，专为在NVIDIAGPU上高效部署深度学习模型而设计
天机️灵韵·2025-03-13 13:36

Java线程池怎么调整线程大小最合适

案例1：CPU密集型任务（计算素数）案例2：IO密集型任务（模拟网络请求）怎么调整线程大小最合适？核心线程数、最大线程数是不是越大越好？
兮动人·2025-03-13 13:04

一个基于LSTM的字符级文本生成模型的训练+使用(pytorch)

一、代码实现1.配置文件config.pyimporttorch#设备配置DEVICE=torch.device('cuda'iftorch.cuda.is_available()else'cpu')#
一只小铁柱·2025-03-13 12:04

模型训练和推理

训练时需要梯度，推理时不需要怎么理解“梯度”？
一杯水果茶！·2025-03-13 12:02

【YOLOv11[基础]】目标检测OD | 导出ONNX模型 | ONN模型推理以及检测结果可视化 | python

本文将导出YOLO11.pt模型对应的ONNX模型，并且使用ONNX模型推理以及结果的可视化。话不多说，先看看效果图吧！！！目录一导出ONNX模型二推理及检测结果可视化1代码2效果图
Jackilina_Stone·2025-03-13 12:02

PyTorch安装与环境配置终极指南：从零搭建高效深度学习开发环境（一）

NVIDIA系列）与CUDA版本的匹配软件依赖链：Python版本→PyTorch版本→CUDA驱动→cuDNN加速库环境隔离需求：不同项目可能依赖冲突的库版本1.2硬件准备清单硬件类型最低要求推荐配置CPU4
WHCIS·2025-03-13 12:02

Python并发多进程编程

优点可以利用多核CPU的优势，并行执行任务，提高程序的运行效率。各个进程之间相互独立，一个进程的崩溃不会影响其他进程。缺点进程的创建和销毁开销较大。进程之间的通信和数据共享相对复杂。
ftpeak·2025-03-13 12:29

onnx处理和TensorRT量化推理相关代码工具

一.说明    在模型量化过程中，经常要使用一些工具对onnx或者量化后的模型（这里以TensorRT为例）进行推理，往往需要一些处理工具，比如：拆分或者合并onnx；修改onnx中的量算子QuantizeLinear
天亮换季·2025-03-13 12:26

图像识别技术与应用课后总结（18）

·YOLO-V3RetinaNet系列，YOLO-V3在不同变体（如YOLOV3-320、YOLOV3-416等）下，在推理时间和精度上有不同的表现，展示了其在速度和准确性上的平衡。
一元钱面包·2025-03-13 11:20

深度学习基础-onnxruntime推理模型

以下是一个完整的示例，展示如何加载ONNX模型、获取模型信息并运行推理：importonnxruntimeimportnumpyasnp#模型路径bev_head_onnx_path="path/to/
yuweififi·2025-03-13 11:49

进程管理：nice值

定义：nice值代表的是进程的谦让程度，数值越小，进程的谦让程度就越低，这样获得CPU时间的优先级越高（nice值不是绝对优先级，而是调度权重）范围：-20（最高优先级）——19（最低优先级）（普通进程默认的
千航@abc·2025-03-13 11:48

服务器搭建全流程

适合个人及中小型项目‌‌物理服务器‌：戴尔PowerEdge、惠普ProLiant等企业级设备，适合高并发或大存储需求‌‌个人电脑/NAS‌：通过内网穿透工具（如神卓互联）实现公网访问，适合测试或小型文件服务‌‌硬件配置建议‌‌CPU‌
yzx991013·2025-03-13 10:17

利用Qt + OpenGL 渲染 YUV数据，播放视频 mac版

最近利用Qt渲染YUV数据，折腾了很久，最开始使用FFmpeg将YUV数据转换成RGB数据后在用qt绘制，很快得到了成功，但是cpu占用率太大，最后放弃了。
jake2012·2025-03-13 09:07

k8s面经

容器的调度策略，比如标签选择、容忍度或者亲和度，导致没有合适的节点可供调度资源问题，比如宿主机的CPU内存磁盘不足，或者要挂载的卷或NFS异常，无法满足新申请的容器的需求镜像问题，镜像拉取失败，或者是镜像太大或者带宽不足
chaodaibing·2025-03-13 09:05

计算机体系概论2

CPU中存放指令地址的寄存器是程序计数器。5.ASCII码全称是美国国家标准信息交换码6.TW：等待
落——枫·2025-03-13 07:47

计算机组成与接口11

TI：段选择符中的D2位(TI)是描述符表选择字段，这个字段用来说明使用的是全局描述符表GDT，还是局部描述符表LDT3.Pentium微处理器执行完陷阱中断处理程序后，将执行断点处的程序4.8086CPU
落——枫·2025-03-13 07:47

计算机组成与接口14

辅助存储器包括软盘，硬盘，磁带，光盘，磁盘阵列等，外存要与CPU或者I/O设备进行数据传输，必须通过内存进行。而顺序存储器SAM属于计算机存储器。4.在页式虚拟存储系统中，虚地址分为两个字段：
落——枫·2025-03-13 07:47

JVM的垃圾回收器都有哪些？

适用场景：适用于客户端模式下的小型应用程序，因为它的实现简单，没有线程交互的开销，在单CPU环
yyueshen·2025-03-13 05:33

单片机入门必备常识

其内部集成了中央处理器（CPU）、随机存
二年级程序员·2025-03-13 02:11

书生大模型全链路开源体系，学习

浦语大模型全链路开源开放体系_哔哩哔哩_bilibili实战营地址书生·浦语(intern-ai.org.cn)https://internlm.intern-ai.org.cn/developers/activity领先的推理能力性能
小方abc·2025-03-13 01:37

《Operating System Concepts》阅读笔记：p228-p257

一、技术总结1.algorithmevaluation评估CPU调度算法需要考虑的因素有：CPUutilization,responsetime或者throughput。
codists·2025-03-13 01:34

CUDA12.1 cudnn9.0.1 python3.10.12配置TensorRT8.6.1，完成yolov12tensorRT推理完整过程

一、配置TensorRT8.6.11.下载TensorRT8.6.1包TensorRT完全依赖CUDA，因此下载其版本时一定要考虑CUDA的版本。具体应该下载哪一版本的TensorRT呢，这里我问的秘塔AI，你们也可以问问它。官网地址-tensorRT8.6.1安装包下载2.解压安装包这里要注意，如果你和我一样是给win下的但是要在Linux服务器上使用。千万不要在win的环境下进行安装包的解压操
李卓璐·2025-03-13 01:33
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他