cpu推理

自己动手写CPU - 6

自己动手写CPU_qq85058522的博客-CSDN博客CPU不加功能了，但汇编器可以有。下面写一个把汇编（助记符）翻译成机器码的小工具。Python熟些，就用它了。很简单，就是字符串替换。
qq85058522·2025-01-20 19:16

python多进程编程_深入理解python多进程编程

1、python多进程编程背景python中的多进程最大的好处就是充分利用多核cpu的资源，不像python中的多线程，受制于GIL的限制，从而只能进行cpu分配，在python的多进程中，适合于所有的场合
weixin_39620001·2025-01-20 19:45

【AI论文】迈向大型推理模型：大型语言模型增强推理综述

摘要：语言长久以来被视为人类推理不可或缺的工具。大型语言模型（LLM）的突破激发了利用这些模型解决复杂推理任务的浓厚研究兴趣。
东临碣石82·2025-01-20 19:09

DeepSeek新模型霸榜，代码能力与OpenAI o1相当且确认开源，网友：今年编程只剩Tab键

还未正式发布，已在代码基准测试LiveCodeBench霸榜前三，表现与OpenAIo1的中档推理设置相当。
·2025-01-20 18:32

AscendC从入门到精通系列（四）使用Pybind调用AscendC算子

1Pybind调用介绍通过PyTorch框架进行模型的训练、推理时，会调用很多算子进行计算，其中的调用方式与kernel编译流程有关。
·2025-01-20 17:21

ATB是什么？

1ATB介绍AscendTransformerBoost加速库（下文简称为ATB加速库）是一款高效、可靠的加速库，基于华为AscendAI处理器，专门为Transformer类模型的训练和推理而设计。
·2025-01-20 17:50

【TVM 教程】内联及数学函数

ApacheTVM是一个端到端的深度学习编译框架，适用于CPU、GPU和各种机器学习加速芯片。
·2025-01-20 17:47

mysql常用运维命令

如果大量状态是waitingforhandlercommit检查磁盘是否占满关注Time耗时列，是否有慢查询关注Command列，如果存在大量Sleep且对应Time列持续很长，说明存在大量空闲连接会占用cpu
handsomestWei·2025-01-20 15:35

Linux top命令cpu使用率计算底层原理

在Linux中，top命令通过读取内核提供的统计数据来计算CPU使用率。其底层原理可以概括为以下几步：1.读取/proc/stattop命令主要从/proc/stat文件中获取CPU的统计信息。
学会了没·2025-01-20 13:42

LLama3.2-Vision + Gradio + 流式输出

-11B/90B-Vision-Instruct模型下载环境代码效果LLama-3.2-11B/90B-Vision-Instruct使用Gradio+流式输出+LLama3.2-Vision构建模型推理
未来之星扣寄艾斯·2025-01-20 12:34

知识蒸馏和剪枝

知识蒸馏（KnowledgeDistillation）和模型剪枝（ModelPruning）是两种常用的模型压缩和加速技术，它们被广泛用于提高模型的推理效率，尤其是在边缘设备和资源受限的环境中。
我叫罗泽南·2025-01-20 12:02

使用Llama 3.2-Vision多模态LLM与您的图像聊天

这些模型结合了文本和视觉输入，展示了在图像理解和推理方面的出色能力。虽然这些模型以前只能通过API访问，但最近的开源选项现在允许本地执行，使其在生产环境中更具吸引力。
AI程序猿人·2025-01-20 12:01

2025 年热门AI 应用——AI 编程会如何发展？

快跟着小编一起看看吧~2024年可谓是AI应用大年，除了视频生成、AI推理等领域，代码领域的AI应用也是层出不穷。
算家云·2025-01-20 09:59

iOS 性能优化：实战案例分享

摘要：本文将深入探讨iOS性能优化的重要性，并通过一系列实际开发案例，展示如何解决常见的性能问题，包括内存管理、CPU性能、网络性能、UI性能和启动性能等方面的优化，帮助iOS开发者打造更流畅、高效的应用程序
忆江南的博客·2025-01-20 08:26

LoadRunner如何监控Linux系统资源

在监控Linux系统资源方面，LoadRunner通过集成监控代理（Agent）来收集并显示有关CPU、内存、磁盘等系统资源的详细信息。
·2025-01-20 08:49

linux中启动rpc.rstat监控

在Linux中启动rpc.rstatd监控服务的步骤详解rpc.rstatd服务是一个用于收集远程主机性能统计信息的服务，常见于UNIX类系统中，通常与rpcbind一起工作，提供系统的CPU、内存、磁盘等资源的实时监控数据
·2025-01-20 08:49

程序执行原理（科普）

程序执行原理（科普）目标计算机中的三大件程序执行的原理程序的作用01.计算机中的三大件计算机中包含有较多的硬件，但是一个程序要运行，有三个核心的硬件，分别是：CPU中央处理器，是一块超大规模的集成电路负责处理数据
weixin_30832983·2025-01-20 08:50

统信V20 1070e X86系统编译安装PostgreSQL-13.11版本以及主从构建

设备信息操作系统版本架构CPU内存备注统信UOSV201070eX864C8G此配置仅做编译安装验证，持续运行或数据量增长大请自行评估资源配置。
树下一少年·2025-01-20 06:03

Linux离线安装docker(arm64架构cpu)极速版

之前写过x86版本的快速docker安装部署，现在遇到arm64等架构cpu不适用，主要是因为安装包不通用，因此有这篇文章。
gallonyin·2025-01-20 04:48

实战千问2大模型第五天——VLLM 运行 Qwen2-VL-7B（多模态）

一、简介VLLM是一种高效的深度学习推理库，通过PagedAttention算法有效管理大语言模型的注意力内存，其特点包括24倍的吞吐提升和3.5倍的TGI性能，无需修改模型结构，专门设计用于加速大规模语言模型
学术菜鸟小晨·2025-01-20 02:50

K8S中Pod控制器之Horizontal Pod Autoscaler(HPA)控制器

HPA能够根据CPU使用率、内存使用量或其他选择的度量指标来自动扩展Pod的数量，以确保应用的性能。HPA可以获取每个Pod利用率，然后和HPA中定义的指标进行对比，同时计算出需要伸缩的具体值，最后
元气满满的热码式·2025-01-20 02:46

15.6K Stars Yazi-超快终端文件管理器（全平台）

完全异步支持：所有I/O操作都是异步的，CPU
·2025-01-19 23:06

深度学习模型推理速度/吞吐量计算(附代码）

参考博文：https://mp.weixin.qq.com/s?__biz=MzI4MDYzNzg4Mw==&mid=2247546551&idx=2&sn=f198b6365e11f0a18832ff1203302632&chksm=ebb70e63dcc0877569d1838b2391744be628bf6cbb6e203a49f855e0769ecbbbf5a9929fe2db&scene
Scabbards_·2025-01-19 23:52

Node与Java后台对比

优势：cpu利用率较高，因为cpu不用等待IO，而时一直在发起异步请求。不足：单个线程崩溃后，所以任务都无法进行，而多线程并发场景下，某个线程崩溃，不影
旭氏美术馆·2025-01-19 23:21

YOLOv10改进，YOLOv10检测头融合RepConv卷积，添加小目标检测层（四头检测）+CA注意机制，全网首发

摘要作者提出了一种简单而强大的卷积神经网络架构，其推理阶段采用与VGG类似的网络体结构，仅由一堆3x3卷积和ReLU组成，而训练阶段的模型具有多分支拓扑。
挂科边缘·2025-01-19 22:42

【虚拟化】系统虚拟化的主要功能和分类

本节主要介绍系统虚拟化的基本功能（包括CPU、内存和I/O虚拟化），并根据Hypervisor与物理资源和操作系统交互方式的不同，介绍了两种基本的虚拟化分类。
TrustZone_·2025-01-19 22:42

Matlab多核CPU并行和多线程

无论多个计算核是在多个CPU芯片上还是在单个CPU芯片上，我们称之为多核或多处理器系统。多进程进程就是正在进行的一个程序或者任务，而负责执行任务的是CPU，执行任务的地方是内存。程
m0_74823021·2025-01-19 22:39

YOLOv11改进，YOLOv11检测头融合RepConv卷积，并添加小目标检测层（四头检测），适合目标检测、分割等任务

摘要作者提出了一种简单而强大的卷积神经网络架构，其推理阶段采用与VGG类似的网络体结构，仅由一堆3x3卷积和ReLU组成，而训练阶段的模型具有多分支拓扑。
挂科边缘·2025-01-19 21:01

Linux下比ack更快的ag搜索命令详解

在典型使用中，ag比ack快5-10倍，使用Pthreads来利用多个CPU核心并行搜索文件。默认情况下，ag将忽略文件名匹配.gitignore、.hgi
·2025-01-19 19:27

文心一言vsGPT-4全面对比

文心一言还具备丰富的知识库和推理能力，能够回答各种问题，提供有用的信息和建议。
编程小郭·2025-01-19 18:45

Kimi终于开源了，联手清华开源大模型推理架构Mooncake

在人工智能迅速发展的时代，大型模型的智能化水平不断提升，但随之而来的推理系统效率挑战也越来越明显。如何应对高推理负载、降低推理成本、缩短响应时间，已成为业界共同面对的重要问题。
吴脑的键客·2025-01-19 18:11

基于深度学习的认知架构的AI

基于深度学习的认知架构的AI是一类模仿人类认知过程的人工智能系统，旨在模拟人类感知、学习、推理、决策等复杂的认知功能。认知架构的目的是创建一个能够理解和处理复杂环境、实现自我学习和适应的AI系统。
SEU-WYL·2025-01-19 17:06

广义加性模型的参数、半参数、非参数形式

简要介绍在统计学中，广义加性模型（GAM）是一种广义线性模型，其中线性响应变量线性地依赖于一些预测变量的未知光滑函数，并且人们对这些光滑函数的推理很感兴趣。
智识小站·2025-01-19 17:31

什么是AI显卡，英伟达与AMD显卡的全面对比

在人工智能领域，尤其是深度学习中，训练和推理任务需要处理大量的矩阵运算，这正是GPU擅长的领域。AI显卡通过高度并行的架构，可以显著提升训练速度和模型性能，同时降低功耗和延迟。
wit_@·2025-01-19 16:53

计算机技术：冯·诺伊曼架构

1.核心思想冯诺伊曼架构的核心思想是存储程序的概念，即将指令和数据存储在同一个内存中，由中央处理器（CPU）依次读取和执行。具体来说，它包含以下关键特性：存储单元使用一个统一的存储设备
InnoLink_1024·2025-01-19 16:51

JVM 监控与分析工具你用过哪些？介绍一下。思维导图 代码示例（java 架构）

功能：实时监控JVM的内存、CPU使用情况，查看线程状态，分析垃圾回收，生成和分析heapdump文件。使用
用心去追梦·2025-01-19 16:21

认知架构 cognitive architecture

认知架构应用的两个组件：（1）如何提供上下文给应用（2）应用如何推理不同级别的认知架构：（1）单个LLM、仅得到输出（2）一连串LLM、仅得到输出（3）LLM作为路由、选择要使用的操作（工具、检索器、提示
谁怕平生太急·2025-01-19 16:20

从零开始的 AI Infra 学习之路

从零开始的AIInfra学习之路文章目录从零开始的AIInfra学习之路一、概述二、AI算法应用2.1机器学习2.2深度学习2.3LLM三、AI开发体系3.1编程语言四、AI训练框架&推理引擎4.1PyTorch4.2llama.cpp4.3vLLM
SSS不知-道·2025-01-19 15:15

python 内存数据库 memlite_python绘图cpu/mem监控曲线

输入日志格式举例：[2012-09-2612:55:31]16070sosotest2008302m41m11mS00.10:00.93java428368501676HandleNum:28#-*-coding:cp936-*-importre,sys,osimporttimefrompylabimport*'''修改：2010.04.23增加开始运行时间信息修改参数，将进程号作为文件名一部分修
云智冷·2025-01-19 15:43

现代 CPU 技术发展 | 京东云技术团队

介绍这篇文章主要是介绍CPU技术的发展，包括最近几十年CPU性能提升和半导体工艺发展，当前技术发展方向。
·2025-01-19 15:40

国产化系统中遇到的视频花屏、卡顿以及延迟问题的记录与总结

目录1、国产化系统概述1.1、国产化操作系统与国产化CPU1.2、国产化服务器操作系统1.3、当前国产化系统的主流配置2、视频解码花屏与卡顿问题2.1、视频解码花屏2.2、视频解码卡顿2.3、关于I帧和
dvlinker·2025-01-19 14:06

开源 AI人脸替换工具离线版V7.0（最好的开源换脸ai，老电脑可运行）

（没有复杂的设置，安装简单，一键操作，适合老电脑）AI人脸替换工具离线版V7.0.zip下载地址夸克网盘分享使用教程夸克网盘分享要顺利使用这个工具，必须做好以下几点第一个这个工具只支持CPU+N卡。
struggle2025·2025-01-19 14:00

加速AI模型部署：深入探索Banana的无服务架构

在本文中，我们将探讨如何利用Banana提供的无服务GPU推理来部署AI模型，并结合LangChain实现高效的模型推理。主要内容1.Banana生态系统的优势Banana提供了一套完
afTFODguAKBF·2025-01-19 13:30

程序控制的角度

多道程序同时计算CPU速度与I/O速度不匹配的矛盾，非常突出只有让多道程序同时进入内存争抢CPU运行，才可以够使得CPU和外围设备充分并行，从而提高计算机系统的使用效率多道程序同时计算例多道程序同时计算例多道程序同时计算的宏观分析甲
钢铁男儿·2025-01-19 11:42

深度强化学习(DRL)原理与代码实战案例讲解

1.背景介绍1.1人工智能的演进：从符号主义到连接主义人工智能(AI)的发展经历了漫长的历程，从早期的符号主义到如今的连接主义，标志着人工智能从基于规则的推理演变到基于数据的学习。
AI大模型应用之禅·2025-01-19 09:27

底软驱动 | Linux虚拟内存管理，MMU机制，原来如此

PA如果处理器没有MMU，或者有MMU但没有启用，CPU执行单元发出的内存地址将直接传到芯片引脚上，被内存芯片（以下称为物理内存，以便与虚拟内存区分）接收，这称为PA（PhysicalAd
TrustZone_·2025-01-19 09:23

基于 Linux 的 Ngina-server 通信架构 C++ 实现

10.CPU占比过高如何分析？四、网络编程1.IO多路
Alkaid3529·2025-01-19 08:15

大模型训练显卡选择

大模型训练显卡对比大模型训练时A100是首选，A40用于推理，目前还推出了H100为下一代替换A100的产品。大模型的训练用4090可以吗？
kcarly·2025-01-19 07:39

【Redis】为什么Redis单线程还这么快？通过什么机制进行优化的？

文章目录纯内存操作高效的数据结构非阻塞I/O与多路复用技术（网络I/O优化）非CPU密集型任务单线程的优势单线程的劣势redis6.0引入多线程后台线程的优化总结更多相关内容可查看Redis的瓶颈在于内存和网络带宽纯内存操作
来一杯龙舌兰·2025-01-19 07:07

大规模可观测性揭秘：Netflix 如何通过标题玩转全球内容发布？

2可观测性的挑战作为工程师，我们习惯跟踪错误率、延迟和CPU利用率等系统指标，但对
·2025-01-19 06:33
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他