CPU推理

RK3588 Ubuntu系统编译

1、建议配置1.1硬件配置编译Ubuntu开发环境硬件配置建议：64位CPUUbuntu20.04系统16GB内存250GB空闲空间用来编译1.2软件配置sudoaptupdatesudoapt-getinstallgitsshmakegcclibssl-devliblz4

南风知奇意·2025-01-30 08:25

有道子曰推理模型“子曰-o1”发布即开源，14B小参数复现OpenAI o1强推理效果

根据我搜索到的资料，网易有道于2025年1月22日正式发布了国内首个输出分步式讲解的推理模型“子曰-o1”，并宣布其开源。

百态老人·2025-01-30 08:55

子曰-o1：网易有道开源国内首个分步式讲解推理模型，支持K12数学教学

微信公众号｜搜一搜：蚝油菜花快速阅读功能：子曰-o1是国内首个分步式讲解推理模型，支持K12数学教学。技术：采用14B轻量级架构，专为消费级显卡设计，能在低显存设备上稳定运行。

蚝油菜花·2025-01-30 08:52

网易有道开源 “子曰 - o1” 推理模型

网易有道开源的“子曰-o1”推理模型支持消费级显卡，主要通过以下技术实现：轻量级模型设计：“子曰-o1”采用14B参数规模，相比许多对硬件配置要求高的大型推理模型，选择了较小的参数规模，从基础上降低了对硬件的性能需求

timer_017·2025-01-30 07:19

Transformer架构的GPU并行和之前的NLP算法并行有什么不同？

与传统的中央处理单元（CPU）相比，GPU拥有更多的核心，能够同时处理数千个线程，这使得GPU在处理高度并行的任务时表现出色。在深度学习中，GPU并行计算被广泛应用于训练神经网络，加速模型训练过程。

AI大模型学习不迷路·2025-01-30 07:49

Hugging Face挑战DeepSeek，AI开源竞赛升级！

订阅：https://rengongzhineng.io/DeepSeek的R1推理模型刚刚引发全球轰动，开源AI界的“顶流”HuggingFac

新加坡内哥谈技术·2025-01-30 05:03

Torchserve服务开发

Torchserve介绍0.1.背景0.2.API类型1.开发使用1.0.环境部署1.1.handler开发1.1.1.context参数1.1.2.data参数1.2.handler调试2.配置文件3.batch推理

qq_27844739·2025-01-30 04:26

TorchServe环境构建+模型更新+新模型注册

2.1jdk环境搭建2.2python环境搭建2.3启动服务2.3.1注册模型2.3.2模型查看2.3.3接口调用3进阶功能3.1模型多版本管理3.2新模型注册1.背景由于技术路线调整，需求调整原本的模型推理服务

有来有去9527·2025-01-30 04:53

为什么说软件架构师应该关心性能优化？

作者：禅与计算机程序设计艺术文章目录1.简介2.基本概念术语说明2.1服务器架构2.2云计算3.核心算法原理和具体操作步骤以及数学公式讲解3.1概述3.2CPU3.2.1CPU缓存和页面置换算法3.2.2NUMA

AI天才研究院·2025-01-30 02:13

Android如何让应用在待机休眠的维持心跳运行

Android如何让应用在待机休眠的情况下维持心跳连接Android省电机制1.如何让CPU不休眠通过WakeLock唤醒锁通过AlarmManager进行定时唤醒并解锁屏幕AlarmManager的使用

启航风起时·2025-01-29 23:20

深入探讨Windows 11专业版与Windows 11专业工作站版的差异

硬件支持与扩展能力Windows11专业版：针对一般专业用户和小型团队设计，支持最多2个物理CPU和最高2TB的系统内存。这意味着它适用于大多数商业环境和日常高性能计算任务。Windows11

DY009J·2025-01-29 22:45

Mooncake：面向大语言模型服务的以 KVCache 为中心的架构

它还利用GPU集群未充分利用的CPU、DRAM和SSD资源来实现KVCache的分解缓存。

步子哥·2025-01-29 22:42

cgroup 简介

cgroup的功能在于将一台计算机上的资源（CPU，memory，network）进行分片，来防止进程间不利的资源抢占。术语cgroup：关联一组task和一组subsystem的配置参数。

小黑屋关门了·2025-01-29 22:11

电脑笔记本如何去选

电脑笔记本选配笔记产品的品牌和型号以及系列电脑的证件照电脑的简要配置一丶CPUi是酷睿英特尔R是锐龙CPU后缀英特尔的后缀锐龙的后缀核心线程数二丶显卡独立显卡显存四丶屏幕色域RGB红绿蓝尺寸屏幕对角线的长度分辨率刷新率屏幕的亮度色准产品的品牌和型号以及系列如联想小新

简知圈·2025-01-29 20:55

DeepSeek简介

作为国内首个全面对标GPT-4技术架构的AI大模型，DeepSeek系列涵盖从7B到超千亿参数的完整模型矩阵，在数学推理、代码生成、多轮对话等核心能力上达到国际领先水平。

RobinDevNotes·2025-01-29 20:52

逆向工程入门 (二)：获取评论/点赞微博的 API

根据我在其中详述的过滤POST方法来抓包互动请求的API接口，可以较容易地推理出评论/点赞微博的API接口。

dreadp·2025-01-29 18:05

大模型部署工具 llama.cpp 介绍与安装使用

1.大模型部署工具llama.cpp大模型的研究分为训练和推理两个部分。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。

大模型柳儿·2025-01-29 18:03

自建stgcn数据集并训练

1.安装st-gcn复现STGCNCPU版（ubuntu16.04+pytorch0.4.0+openpose+caffe）_Significance的博客-CSDN博客复现旧版STGCNGPU版（win10

青年夏日科技工作者·2025-01-29 18:31

探秘 Linux 内核：精准识别 ARM、MIPS 和 x86_64 架构的全攻略

一、什么是CPU架构？CPU架构是指计算机中央处理器的设计蓝图，它决定了指令集、寄存器布局等关键特性。对于Lin

曦紫沐·2025-01-29 17:59

Llama.cpp与Python的完美结合：快速入门指南

本文将介绍如何在Python中使用llama-cpp-python，并结合LangChain框架进行推理操作。通过本指南，您将逐步掌握如何安装、配置和使用Llama模型。

nseejrukjhad·2025-01-29 17:29

火出圈的DeepSeeK R1详解

模型特性DeepSeek-R1是一款创新的AI推理模型，具有多项独特特性：高性能推理能力：在数学、代码和自然语言推理等任务上表现出色，性能对标OpenAIo1正式版。

清风AI·2025-01-29 17:58

docker desktop使用ollama在GPU上运行deepseek r1大模型

哔哩哔哩_bilibili二、拉取ollama镜像在powershell中运行如下命令，即可拉取最新版本的ollama镜像：dockerpullollama/ollama如果需要指定版本，可以用如下命令：#CPU

yimenren·2025-01-29 17:20

cpu和gpu的区别

cpu和gpu的区别是cpu是电脑的中央处理器，在电脑中起着控制计算机运行的作用；gpu是一个附属型的处理器，主要处理计算机中与图形计算有关的工作，并将数据更好地呈现在显示器中。

sdsadwe·2025-01-29 14:03

CPU与GPU的区别

1.什么是CPU？CPU:中央处理器（英文CentralProcessingUnit）是一台计算机的运算核心和控制核心。CPU、内部存储器和输入/输出设备是电子计算机三大核心部件。

dingkm666·2025-01-29 14:31

cpu和gpu的区别，以及cpu和gpu中核的概念以及四种架构

1.什么是cpu个人理解cpu就是一个公司里面的技术骨干，但是不参与管理工作的人员，在计算机中cpu主要是用来处理一条条机器指令的，并且cpu的运算速度特别快，所以说周围还有几个秘书，就是给他提供资料或者存储资料的

zhoudeng666·2025-01-29 13:28

Miniforge详细安装教程（macOs和Windows）

它主要用于安装基于conda的Python环境，专注于兼容ARM架构的设备（如AppleM1/M2/M3芯片）和其它CPU架构。Miniforge使用conda-forge作为默认的包管理渠道

一直在学习的小白~·2025-01-29 13:23

2020 更新 - 腾讯 Android 面试 (已拿到月薪22K offer)

举个简单例子——UI优化，可以从UI出现什么问题(卡顿不流畅)，怎么查找问题(手机开发者权限>GPU过度绘制发现层级问题，TraceViewCPU使用情况分析)，怎么解决问题(降低层级、自定义View绘图出现问题等

2401_86372526·2025-01-29 12:07

python | cudf，一个超实用的 Python 库！

Github地址：https://github.com/rapidsai/cudf在数据分析和科学计算领域，Pandas是最常用的Python工具之一，然而随着数据规模的增长，其单线程CPU的处理性能往往成为瓶颈

双木的木·2025-01-29 11:27

实时数据处理与模型推理：利用 Spring AI 实现对数据的推理与分析

通过集成SpringAI，我们不仅可以高效地获取实时数据，还可以将这些数据输入到AI模型中进行推理与分析，以便生成实时的业务洞察。

drebander·2025-01-29 11:54

为大模型提供webui界面的利器：Open WebUI 完全本地离线部署deepseek r1

它支持各种LLM运行程序，如Ollama和OpenAI兼容的API，内置RAG推理引擎，使其成为一个强大的AI部署解决方案。安装使用pip进行安装：pipinstallopen-w

skywalk8163·2025-01-29 11:53

Depth Anything V2：单目深度估计的更强基线

这个框架显著提升了细节处理能力和鲁棒性，相比于基于深度学习的方法，它提供了更快的推理速度、更少的参数量以及更高的深度预测精度。本项

武朵欢Nerissa·2025-01-29 08:57

数据挖掘的常用算法

通过对大数据高度自动化地分析,做出归纳性的推理,从中挖掘出潜在的模式,可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场,并做出正确的决策。目前,在很多领域尤其

北柠陌寒0207·2025-01-29 07:48

Go-并行编程新手指南

Go并行编程新手指南在Go语言中，并行编程是充分利用多核CPU资源、提升程序性能的重要手段。它的核心概念包括goroutine和channel，这些特性使得Go在处理并发任务时表现出色。

jimiStephen·2025-01-29 05:32

i9 9880h参数配置

英特尔似乎为i9-9880H使用了“两杯咖啡”，因为该CoffeeLakeCPU具有16MB的超大缓存大小，是AMD的两倍。

m0_51380603·2025-01-29 04:50

i7 12800hx和i9 11980hk差距

笔记本cpu选i911980hk还是i712800hx这些点很重要http://www.

m0_52331396·2025-01-29 04:50

数学与机器学习：共舞于智能时代的双璧

数学，作为自然科学的皇后，以其严谨的逻辑和精确的推理，为机器学习提供了坚实的理论基础。机器学习算法的设计、优化和应用，都离不开数学的支持。无论是线性代数、概率统计，还是微积分、最优

每天五分钟玩转人工智能·2025-01-29 03:18

深入解析ncnn::Net类——高效部署神经网络的核心组件

最近在学习ncnn推理框架，下面整理了ncnn::Net的使用方法。在移动端和嵌入式设备上进行高效的神经网络推理，要求框架具备轻量化、高性能以及灵活的扩展能力。

又吹风_Bassy·2025-01-29 03:13

[VC] 检测AVX系列指令集的支持级别（AVX、AVX2、F16C、FMA、FMA4、XOP）

本文探讨如何用VC编写检测AVX系列指令集的程序，并利用了先前的CPUIDFIELD方案。

zyl910·2025-01-29 02:04

链表和数组数据结构对比

随着计算机硬件和技术的进步，60年代时在计算领域发明的链表的某些优点已经大大减少，尤其是在现代硬件、CPU缓存和指针追踪技术的影响下，链表在插入和删除操作中的性能优势已经不再明显。

怪咖学生·2025-01-28 23:39

AI会不会是一个大泡沫

1月20日，深度求索正式发布推理大模型DeepSeek-R1。推出后不久，R1就凭借其开源的性质、大幅下降的售价和训练成本获得了

人机与认知实验室·2025-01-28 23:38

【TC3xx芯片】AUTOSAR架构下内部看门狗复位检测

问题3：CPU如果管理所有的CSA内容？问题4：CSA中的什么信息和看门狗复位最为相关？问题5：看门狗

汽车电子嵌入式·2025-01-28 22:02

英飞凌—TC397芯片详解（2）

(*^▽^*)2.特性以下是TC397的特性：FeatureTC39xCPUsTypeTC1.6.2Cores/CheckerCores6/4Max.Freq.300MHzCacheperCPUProgram32KBData16KBSRAMperCPU

零零刷·2025-01-28 21:28

LNMP 和 LAMP 对比（仅供参考）

但Apache的缺点是有些臃肿，内存和CPU开销大，性能上有损耗，不如一些轻量级的Web服务器至于安装哪个好呢？

小小先生好无情·2025-01-28 18:58

ubuntu下复制大文件

ubuntu下复制大文件1.在服务器上的文件复制：cp源文件目的文件cp源文件目的文件夹2.从一台服务器上拷贝到另一台服务器scpusername@ip:directory本台服务器的路径3.从硬盘拷贝文件到服务器这里复制的方法很多

Joyner2018·2025-01-28 17:21

DeepSeek R1：中国AI黑马的崛起与挑战

文章目录技术突破：从零开始的推理能力进化DeepSeekR1-Zero：纯RL训练的“自我觉醒”DeepSeekR1：冷启动与多阶段训练的平衡之道实验验证：推理能力的全方位跃升基准测试：超越顶尖闭源模型蒸馏技术

码事漫谈·2025-01-28 16:13

C++ 与机器学习：构建高效推理引擎的秘诀

随着深度学习模型逐渐从研究走向生产环境，推理能力成为部署中的关键环节。模型的推理引擎需要以极低的延迟快速处理输入数据，同时最大化地利用硬件资源。

salsm·2025-01-28 15:07

从简单到深刻的认知发展

认知发展，人工智能，深度学习，神经网络，机器学习，自然语言处理，计算机视觉1.背景介绍认知发展是人类从简单到复杂的思维方式演进的过程，它涉及感知、记忆、语言、推理和决策等多个方面。

AI架构设计之禅·2025-01-28 15:04

2025年1月27日人工智能与科技新闻：DeepSeek震撼全球科技市场

技术创新与突破全新语言处理架构：提升AI理解和生成能力超越传统模型的认知能力：实现更精准的自然语言推理多模态交互：支持文本、图像、语音等多维

海棠AI实验室·2025-01-28 15:03

使用onnxruntime-web 运行yolov8-nano推理

ONNX（OpenNeuralNetworkExchange）模型具有以下两个特点促成了我们可以使用onnxruntime-web直接在web端上运行推理模型，为了让这个推理更直观，我选择了试验下yolov8

CHEN_RUI_2200·2025-01-28 14:27

手撕Diffusion系列 - 第八期(end) - Diffusion推理

手撕Diffusion系列-第八期(end)-Diffusion推理目录手撕Diffusion系列-第八期(end)-Diffusion推理DDPM原理图DDPM反向去噪DIffusion推理代码Part1

小菜鸟博士·2025-01-28 13:52

推荐频道