onnx推理第9页

白话DeepSeek-R1论文（三）| DeepSeek-R1蒸馏技术：让小模型“继承”大模型的推理超能力

DeepSeek-R1蒸馏技术：让小模型“继承”大模型的推理超能力当大模型成为“老师”，小模型也能变“学霸”想象一下，一位经验丰富的数学老师（大模型）将自己解题的思维过程一步步拆解，手把手教给学生（小模型

明哲AI·2025-02-02 11:58

开源LLMs导览：工作原理、顶级LLM列表对比

2.1预训练2.2代币化2.3开源LLM的微调2.4输入编码2.5训练与优化2.6推理三、开源LLM对组织的好处3.1增强的数据安全和隐私3.2节约成本3.3减少供应商依赖性3.4代码透明度四、哪种LLM

万俟淋曦·2025-02-01 23:11

看深度求索如何思索自己的未来

其公布的训练效率提升数据（30%时间缩短、50%推理加速）若经第三方验证，可能重构行业技术标准。对比谷歌TPU+JAX框架实现的20%效率提升，深度求索的技

tuan_zhang·2025-02-01 19:11

本地部署 DeepSeek 模型并使用 WebUI 调用

环境准备在开始之前，请确保你的系统满足以下要求：Python3.11或更高版本pip包管理工具DeepSeek模型的本地部署文件GPU支持（可选，用于加速模型推理）步骤1：本地部署Deep

我喜欢就喜欢·2025-02-01 17:22

DeepSeek R1 简易指南：架构、培训、本地部署和硬件要求

CSS技巧与案例详解vue2与vue3技巧合集VueUse源码解读DeepSeek团队近期发布的DeepSeek-R1技术论文展示了其在增强大语言模型推理能力方面的创新实践。

·2025-02-01 16:49

如何在本地电脑上安装和使用 DeepSeek R-1

一些用户声称，其推理能力与OpenAI的o1相当，甚至更好。目前，DeepSeek是免费使用的，这对用户来说是个好消息，但也带来了一些疑问。随着用户量的激增，他们如何管理服务器成本？

知识大胖·2025-02-01 15:33

AI 计算的未来：去中心化浪潮与全球竞争格局重塑

引言人工智能（AI）正以前所未有的速度发展，尤其是大模型训练和推理效率的提升，使得AI计算成本迅速下降，呈现出向去中心化演进的趋势。

智识微光Intelligence·2025-02-01 09:16

什么是知识蒸馏技术？

知识蒸馏（KnowledgeDistillation）是一种模型压缩和加速技术，旨在将大型模型（通常称为教师模型）所学到的知识迁移到小型模型（通常称为学生模型）中，从而让小型模型在减少计算资源消耗和推理时间的同时

deepdata_cn·2025-02-01 09:41

从 0 到 1，DEEPseek 大模型瞬间 “霸榜” AI 赛道的秘密

deepseek官网传送门：DeepSeek下面就对本文标题来剖析一下：目录一·本篇背景：二.技术实力：突破创新的基石:2.1强大的模型能力:2.1.1高效的训练方法:2.2.2优化的推理速度:三·市场策略

羑悻的小杀马特.·2025-02-01 08:36

「DeepSeek接班OpenAI」，最新开源的R1推理模型，让AI圈爆了

来源：前沿科技分享圈近日，AI领域迎来了一次重大突破，DeepSeek正式推出了其最新研发的开源推理模型——DeepSeek-R1。

人工智能学家·2025-02-01 06:23

DeepSeek R1：AI领域的新标杆

此外，R1-Zero模型通过强化学习和测试时计算实现了强大的推理能力，无需监督微调数据，标志着中国在AI领域的快速崛起，挑战美国的主导地位。AI模型在推理能

XianxinMao·2025-02-01 06:23

模型高效推理--剪枝基础

文章目录一、剪枝基础1.剪枝定义2.剪枝时机二、剪枝的分类1.按照剪枝粒度分类(粗➡️细)A.结构化剪枝a.隐藏层剪枝（LayerPruning）b.通道剪枝（ChannelPruning）c.卷积核剪枝（KernelPruning）B.非结构化剪枝a.核内权重剪枝（IntraKernelWeightPruning）b.单个权重剪枝（WeightPruning）C.特殊情况a.Token剪枝（To

绒绒毛毛雨·2025-02-01 05:16

用engine引擎文件在Jetson上面进行推理（YOLOv8）

1.pt文件，推理在Jetson上可以通过predict.py脚本用.pt权重文件进行推理脚本如下：importwarningswarnings.filterwarnings('ignore')fromultralyticsimportYOLOif

薇憨·2025-02-01 03:29

AI Agent 指南：架构、构建与部署

它犹如一位智能助手，凭借独立推理、规划及自主行动能力，在无需用户持续干预的情况下，精准达成既定目标。

大模型之路·2025-02-01 01:06

AI计算的未来：中心化与去中心化的博弈

智识微光Intelligence·2025-01-31 23:51

DeepSeek 推出全新推理模型 R1-Lite 预览版

DeepSeek全新研发的推理模型预览版DeepSeek-R1-Lite现已正式上线网页版。R1系列模型采用强化学习训练，推理过程中包含大量反思和验证，思维链长度可达数万字。

三花AI·2025-01-31 22:47

DeepSeek-V3 技术报告

为了实现高效的推理和经济高效的训练，DeepSeek-V3采用了多头潜在注意力（MLA）和DeepSeekMoE架构，这些架构在DeepSeek-V2中得到了充分验证。

mingo_敏·2025-01-31 20:01

DeepSeek-R1：多模态AGI的实践突破与场景革命

一、DeepSeek-R1的核心定位DeepSeek-R1是深度求索（DeepSeek）研发的多模态通用人工智能模型，旨在突破单一模态的局限性，实现文本、图像、语音、视频等跨模态信息的深度理解、推理与生成

热爱分享的博士僧·2025-01-31 14:09

DeepSeek R1与OpenAI o1深度对比

文章目录引言技术原理DeepSeekR1OpenAIo1性能表现官方数据推理任务知识密集型任务通用能力价格对比应用场景科研与技术开发自然语言处理（NLP）企业智能化升级教育与培训数据分析与智能决策部署与集成

码事漫谈·2025-01-31 13:01

本地部署 DeepSeek-R1 大模型

它是一款专注于数学、代码和自然语言推理任务的高性能AI推理模型。许多用户希望能在本地环境中自由操作这些强大的模型，因为这不仅关乎数据隐私，还能满足定制化部署的需求。这

网络安全我来了·2025-01-31 13:57

简述Caffe、TensorFlow、TensorFlow Lite、ONNX、DarkNet、PyTorch 等模型

以下是对Caffe、TensorFlow、TensorFlowLite、ONNX、DarkNet和PyTorch等模型的简述：Caffe：Caffe（ConvolutionArchitectureForFeatureExtraction

科学的发展-只不过是读大自然写的代码·2025-01-31 12:21

A Survey on Large Language Model Acceleration based on KV Cache Management

基于KV缓存管理的大型语言模型加速研究综述摘要1引言2前言3分类4token级优化5模型级优化6系统级优化7文本和多模态数据集8结论摘要大型语言模型（LLM）因其理解上下文和执行逻辑推理的能力，彻底改变了自然语言处理

UnknownBody·2025-01-31 12:47

MindIE Service整体介绍&快速上手

整体介绍是什么架构介绍MindIEService的安装部署安装部署MindIEService快速上手接口调用精度测试性能测试服务停止MindIEService整体介绍是什么MindIEService是面向通用模型场景的推理服务化框架

cc_beolus·2025-01-31 11:41

五类推理（逻辑推理、概率推理、图推理、基于深度学习的推理）的开源库（一）

在开发中，有一些开源库可以实现不同类型的推理，包括逻辑推理、概率推理、图推理、基于深度学习的推理等。

由数入道·2025-01-31 09:23

Deepseek两项关键发现：无需人类专家介入SFT、有自己

ARCPrize基金会对DeepSeek发布的R1-Zero和R1“推理”系统的分析。ARCPrize基金是谁？ARCPrize基金会旨在定义、衡量并激励新的AGI（通用人工智能）想法。

极道Jdon·2025-01-31 08:13

论文笔记（七十）DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning（二）

IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning（二）文章概括摘要：2.方法2.3.DeepSeek-R1：冷启动强化学习2.3.1.冷启动2.3.2.面向推理的强化学习

墨绿色的摆渡人·2025-01-31 07:01

DeepSeek-V3模型：软件测试智能化的新篇章与挑战

最近，DeepSeekAI公司推出的DeepSeek-V3模型，凭借其卓越的文本处理能力、高效的推理速度以及多任务处理能力，为软件测试行业带来了一场前所未有的智能化变革。

霍格沃兹测试开发学社测试人社区·2025-01-31 05:18

使用Ollama和Open WebUI快速玩转大模型：简单快捷的尝试各种llm大模型，比如DeepSeek r1

Ollama本身就是非常优秀的大模型管理和推理组件，再使用OpenWebUI更加如虎添翼！

skywalk8163·2025-01-31 04:38

我把DeepSeek-R1推理能力知识蒸馏到Qwen2，效果真的炸裂！！！

AI生成曾小健·2025-01-31 03:00

Lite.Ai.ToolKit - 一个轻量级的 C++ 工具包

请参阅ModelZoo和ONNXHub、MNNHub、TNNHub、NCNNHub。

小众AI·2025-01-31 00:06

Ubuntu交叉编译 arm板子上的TVM

python安装测试是否安装成功可以在安装一些库，用于RPCTracker和auto-tuning交叉编译801arm的TVM交叉编译链下载配置config.cmake编译源码编译的时候可能会遇到错误ONNX

陈有爱·2025-01-30 19:54

Spring AI 在微服务中的应用：支持分布式 AI 推理

1.引言在现代企业中，微服务架构已成为开发复杂系统的主流方式，而AI模型推理也越来越多地被集成到业务流程中。

drebander·2025-01-30 18:16

LoongServe论文解读：prefill/decode分离、弹性并行、零KV Cache迁移

LoongServe:EfficientlyServingLong-contextLargeLanguageModelswithElasticSequenceParallelism论文提出了一种支持弹性分配的推理框架

04290629·2025-01-30 18:13

vLLM源码之分离式架构

一、vLLM分离式架构概述1.基本概念vLLM是一个用于高效地服务大语言模型（LLM）推理的库。其分离式架构是一种创新的设计理念，旨在优化LLM的运行效率。

Bj陈默·2025-01-30 17:38

使用Python实现文本自动摘要

其中抽取式摘要是从原文中选择一定比例的句子拼凑成一个摘要，而生成式摘要是通过对原文进行解析、理解、推理等方式生成摘要。下面我们将介绍如何使用Pyth

UIEdit·2025-01-30 17:08

【llm对话系统】大模型 RAG 之回答生成：融合检索信息，生成精准答案

这个过程不仅仅是简单的文本拼接，更需要LLM对检索结果进行理解、推理和整合，才能输出准确、流畅且符合用户需求的答案。

kakaZhui·2025-01-30 10:09

大模型问答机器人的智能化程度

大模型、问答机器人、智能化程度、自然语言处理、深度学习、Transformer模型、知识图谱、推理能力、对话系统1.背景介绍近年来，人工智能技术取得了飞速发展，特别是深度学习的兴起，为自然语言处理（NLP

AI大模型应用之禅·2025-01-30 09:35

有道子曰推理模型“子曰-o1”发布即开源，14B小参数复现OpenAI o1强推理效果

根据我搜索到的资料，网易有道于2025年1月22日正式发布了国内首个输出分步式讲解的推理模型“子曰-o1”，并宣布其开源。

百态老人·2025-01-30 08:55

子曰-o1：网易有道开源国内首个分步式讲解推理模型，支持K12数学教学

微信公众号｜搜一搜：蚝油菜花快速阅读功能：子曰-o1是国内首个分步式讲解推理模型，支持K12数学教学。技术：采用14B轻量级架构，专为消费级显卡设计，能在低显存设备上稳定运行。

蚝油菜花·2025-01-30 08:52

网易有道开源 “子曰 - o1” 推理模型

网易有道开源的“子曰-o1”推理模型支持消费级显卡，主要通过以下技术实现：轻量级模型设计：“子曰-o1”采用14B参数规模，相比许多对硬件配置要求高的大型推理模型，选择了较小的参数规模，从基础上降低了对硬件的性能需求

timer_017·2025-01-30 07:19

Hugging Face挑战DeepSeek，AI开源竞赛升级！

订阅：https://rengongzhineng.io/DeepSeek的R1推理模型刚刚引发全球轰动，开源AI界的“顶流”HuggingFac

新加坡内哥谈技术·2025-01-30 05:03

Torchserve服务开发

Torchserve介绍0.1.背景0.2.API类型1.开发使用1.0.环境部署1.1.handler开发1.1.1.context参数1.1.2.data参数1.2.handler调试2.配置文件3.batch推理

qq_27844739·2025-01-30 04:26

TorchServe环境构建+模型更新+新模型注册

2.1jdk环境搭建2.2python环境搭建2.3启动服务2.3.1注册模型2.3.2模型查看2.3.3接口调用3进阶功能3.1模型多版本管理3.2新模型注册1.背景由于技术路线调整，需求调整原本的模型推理服务

有来有去9527·2025-01-30 04:53

DeepSeek简介

作为国内首个全面对标GPT-4技术架构的AI大模型，DeepSeek系列涵盖从7B到超千亿参数的完整模型矩阵，在数学推理、代码生成、多轮对话等核心能力上达到国际领先水平。

RobinDevNotes·2025-01-29 20:52

逆向工程入门 (二)：获取评论/点赞微博的 API

根据我在其中详述的过滤POST方法来抓包互动请求的API接口，可以较容易地推理出评论/点赞微博的API接口。

dreadp·2025-01-29 18:05

大模型部署工具 llama.cpp 介绍与安装使用

1.大模型部署工具llama.cpp大模型的研究分为训练和推理两个部分。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。

大模型柳儿·2025-01-29 18:03

Llama.cpp与Python的完美结合：快速入门指南

本文将介绍如何在Python中使用llama-cpp-python，并结合LangChain框架进行推理操作。通过本指南，您将逐步掌握如何安装、配置和使用Llama模型。

nseejrukjhad·2025-01-29 17:29

火出圈的DeepSeeK R1详解

模型特性DeepSeek-R1是一款创新的AI推理模型，具有多项独特特性：高性能推理能力：在数学、代码和自然语言推理等任务上表现出色，性能对标OpenAIo1正式版。

清风AI·2025-01-29 17:58

实时数据处理与模型推理：利用 Spring AI 实现对数据的推理与分析

通过集成SpringAI，我们不仅可以高效地获取实时数据，还可以将这些数据输入到AI模型中进行推理与分析，以便生成实时的业务洞察。

drebander·2025-01-29 11:54

为大模型提供webui界面的利器：Open WebUI 完全本地离线部署deepseek r1

它支持各种LLM运行程序，如Ollama和OpenAI兼容的API，内置RAG推理引擎，使其成为一个强大的AI部署解决方案。安装使用pip进行安装：pipinstallopen-w

skywalk8163·2025-01-29 11:53

推荐频道

onnx推理