归结演绎推理第6页

A Survey on Large Language Model Acceleration based on KV Cache Management

基于KV缓存管理的大型语言模型加速研究综述摘要1引言2前言3分类4token级优化5模型级优化6系统级优化7文本和多模态数据集8结论摘要大型语言模型（LLM）因其理解上下文和执行逻辑推理的能力，彻底改变了自然语言处理

UnknownBody·2025-01-31 12:47

MindIE Service整体介绍&快速上手

整体介绍是什么架构介绍MindIEService的安装部署安装部署MindIEService快速上手接口调用精度测试性能测试服务停止MindIEService整体介绍是什么MindIEService是面向通用模型场景的推理服务化框架

cc_beolus·2025-01-31 11:41

五类推理（逻辑推理、概率推理、图推理、基于深度学习的推理）的开源库（一）

在开发中，有一些开源库可以实现不同类型的推理，包括逻辑推理、概率推理、图推理、基于深度学习的推理等。

由数入道·2025-01-31 09:23

Deepseek两项关键发现：无需人类专家介入SFT、有自己

ARCPrize基金会对DeepSeek发布的R1-Zero和R1“推理”系统的分析。ARCPrize基金是谁？ARCPrize基金会旨在定义、衡量并激励新的AGI（通用人工智能）想法。

极道Jdon·2025-01-31 08:13

论文笔记（七十）DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning（二）

IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning（二）文章概括摘要：2.方法2.3.DeepSeek-R1：冷启动强化学习2.3.1.冷启动2.3.2.面向推理的强化学习

墨绿色的摆渡人·2025-01-31 07:01

探索阿里云百炼 —— 演绎语音新未来

探索阿里云百炼——演绎语音新未来alibabacloud-bailian-speech-demoSampleRepositoryfortheAlibabaCloudBailianSpeechSDK项目地址

霍日江Eagle-Eyed·2025-01-31 06:56

DeepSeek-V3模型：软件测试智能化的新篇章与挑战

最近，DeepSeekAI公司推出的DeepSeek-V3模型，凭借其卓越的文本处理能力、高效的推理速度以及多任务处理能力，为软件测试行业带来了一场前所未有的智能化变革。

霍格沃兹测试开发学社测试人社区·2025-01-31 05:18

使用Ollama和Open WebUI快速玩转大模型：简单快捷的尝试各种llm大模型，比如DeepSeek r1

Ollama本身就是非常优秀的大模型管理和推理组件，再使用OpenWebUI更加如虎添翼！

skywalk8163·2025-01-31 04:38

我把DeepSeek-R1推理能力知识蒸馏到Qwen2，效果真的炸裂！！！

AI生成曾小健·2025-01-31 03:00

Spring AI 在微服务中的应用：支持分布式 AI 推理

1.引言在现代企业中，微服务架构已成为开发复杂系统的主流方式，而AI模型推理也越来越多地被集成到业务流程中。

drebander·2025-01-30 18:16

LoongServe论文解读：prefill/decode分离、弹性并行、零KV Cache迁移

LoongServe:EfficientlyServingLong-contextLargeLanguageModelswithElasticSequenceParallelism论文提出了一种支持弹性分配的推理框架

04290629·2025-01-30 18:13

vLLM源码之分离式架构

一、vLLM分离式架构概述1.基本概念vLLM是一个用于高效地服务大语言模型（LLM）推理的库。其分离式架构是一种创新的设计理念，旨在优化LLM的运行效率。

Bj陈默·2025-01-30 17:38

使用Python实现文本自动摘要

其中抽取式摘要是从原文中选择一定比例的句子拼凑成一个摘要，而生成式摘要是通过对原文进行解析、理解、推理等方式生成摘要。下面我们将介绍如何使用Pyth

UIEdit·2025-01-30 17:08

【llm对话系统】大模型 RAG 之回答生成：融合检索信息，生成精准答案

这个过程不仅仅是简单的文本拼接，更需要LLM对检索结果进行理解、推理和整合，才能输出准确、流畅且符合用户需求的答案。

kakaZhui·2025-01-30 10:09

大模型问答机器人的智能化程度

大模型、问答机器人、智能化程度、自然语言处理、深度学习、Transformer模型、知识图谱、推理能力、对话系统1.背景介绍近年来，人工智能技术取得了飞速发展，特别是深度学习的兴起，为自然语言处理（NLP

AI大模型应用之禅·2025-01-30 09:35

有道子曰推理模型“子曰-o1”发布即开源，14B小参数复现OpenAI o1强推理效果

根据我搜索到的资料，网易有道于2025年1月22日正式发布了国内首个输出分步式讲解的推理模型“子曰-o1”，并宣布其开源。

百态老人·2025-01-30 08:55

子曰-o1：网易有道开源国内首个分步式讲解推理模型，支持K12数学教学

微信公众号｜搜一搜：蚝油菜花快速阅读功能：子曰-o1是国内首个分步式讲解推理模型，支持K12数学教学。技术：采用14B轻量级架构，专为消费级显卡设计，能在低显存设备上稳定运行。

蚝油菜花·2025-01-30 08:52

网易有道开源 “子曰 - o1” 推理模型

网易有道开源的“子曰-o1”推理模型支持消费级显卡，主要通过以下技术实现：轻量级模型设计：“子曰-o1”采用14B参数规模，相比许多对硬件配置要求高的大型推理模型，选择了较小的参数规模，从基础上降低了对硬件的性能需求

timer_017·2025-01-30 07:19

Hugging Face挑战DeepSeek，AI开源竞赛升级！

订阅：https://rengongzhineng.io/DeepSeek的R1推理模型刚刚引发全球轰动，开源AI界的“顶流”HuggingFac

新加坡内哥谈技术·2025-01-30 05:03

Torchserve服务开发

Torchserve介绍0.1.背景0.2.API类型1.开发使用1.0.环境部署1.1.handler开发1.1.1.context参数1.1.2.data参数1.2.handler调试2.配置文件3.batch推理

qq_27844739·2025-01-30 04:26

TorchServe环境构建+模型更新+新模型注册

2.1jdk环境搭建2.2python环境搭建2.3启动服务2.3.1注册模型2.3.2模型查看2.3.3接口调用3进阶功能3.1模型多版本管理3.2新模型注册1.背景由于技术路线调整，需求调整原本的模型推理服务

有来有去9527·2025-01-30 04:53

DeepSeek简介

作为国内首个全面对标GPT-4技术架构的AI大模型，DeepSeek系列涵盖从7B到超千亿参数的完整模型矩阵，在数学推理、代码生成、多轮对话等核心能力上达到国际领先水平。

RobinDevNotes·2025-01-29 20:52

逆向工程入门 (二)：获取评论/点赞微博的 API

根据我在其中详述的过滤POST方法来抓包互动请求的API接口，可以较容易地推理出评论/点赞微博的API接口。

dreadp·2025-01-29 18:05

大模型部署工具 llama.cpp 介绍与安装使用

1.大模型部署工具llama.cpp大模型的研究分为训练和推理两个部分。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。

大模型柳儿·2025-01-29 18:03

Llama.cpp与Python的完美结合：快速入门指南

本文将介绍如何在Python中使用llama-cpp-python，并结合LangChain框架进行推理操作。通过本指南，您将逐步掌握如何安装、配置和使用Llama模型。

nseejrukjhad·2025-01-29 17:29

火出圈的DeepSeeK R1详解

模型特性DeepSeek-R1是一款创新的AI推理模型，具有多项独特特性：高性能推理能力：在数学、代码和自然语言推理等任务上表现出色，性能对标OpenAIo1正式版。

清风AI·2025-01-29 17:58

python3调用arcpy地理加权回归_分析地理加权回归分析结果的操作方法

有关详细信息，请参阅回归分析基础知识和解释OLS回归结果。回归分析的一种常用方法是在移动到GWR之前识别可能的最佳OLS模型。此

weixin_39545269·2025-01-29 11:25

实时数据处理与模型推理：利用 Spring AI 实现对数据的推理与分析

通过集成SpringAI，我们不仅可以高效地获取实时数据，还可以将这些数据输入到AI模型中进行推理与分析，以便生成实时的业务洞察。

drebander·2025-01-29 11:54

为大模型提供webui界面的利器：Open WebUI 完全本地离线部署deepseek r1

它支持各种LLM运行程序，如Ollama和OpenAI兼容的API，内置RAG推理引擎，使其成为一个强大的AI部署解决方案。安装使用pip进行安装：pipinstallopen-w

skywalk8163·2025-01-29 11:53

Depth Anything V2：单目深度估计的更强基线

这个框架显著提升了细节处理能力和鲁棒性，相比于基于深度学习的方法，它提供了更快的推理速度、更少的参数量以及更高的深度预测精度。本项

武朵欢Nerissa·2025-01-29 08:57

数据挖掘的常用算法

通过对大数据高度自动化地分析,做出归纳性的推理,从中挖掘出潜在的模式,可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场,并做出正确的决策。目前,在很多领域尤其

北柠陌寒0207·2025-01-29 07:48

数学与机器学习：共舞于智能时代的双璧

数学，作为自然科学的皇后，以其严谨的逻辑和精确的推理，为机器学习提供了坚实的理论基础。机器学习算法的设计、优化和应用，都离不开数学的支持。无论是线性代数、概率统计，还是微积分、最优

每天五分钟玩转人工智能·2025-01-29 03:18

深入解析ncnn::Net类——高效部署神经网络的核心组件

最近在学习ncnn推理框架，下面整理了ncnn::Net的使用方法。在移动端和嵌入式设备上进行高效的神经网络推理，要求框架具备轻量化、高性能以及灵活的扩展能力。

又吹风_Bassy·2025-01-29 03:13

AI会不会是一个大泡沫

1月20日，深度求索正式发布推理大模型DeepSeek-R1。推出后不久，R1就凭借其开源的性质、大幅下降的售价和训练成本获得了

人机与认知实验室·2025-01-28 23:38

DeepSeek R1：中国AI黑马的崛起与挑战

文章目录技术突破：从零开始的推理能力进化DeepSeekR1-Zero：纯RL训练的“自我觉醒”DeepSeekR1：冷启动与多阶段训练的平衡之道实验验证：推理能力的全方位跃升基准测试：超越顶尖闭源模型蒸馏技术

码事漫谈·2025-01-28 16:13

C++ 与机器学习：构建高效推理引擎的秘诀

随着深度学习模型逐渐从研究走向生产环境，推理能力成为部署中的关键环节。模型的推理引擎需要以极低的延迟快速处理输入数据，同时最大化地利用硬件资源。

salsm·2025-01-28 15:07

从简单到深刻的认知发展

认知发展，人工智能，深度学习，神经网络，机器学习，自然语言处理，计算机视觉1.背景介绍认知发展是人类从简单到复杂的思维方式演进的过程，它涉及感知、记忆、语言、推理和决策等多个方面。

AI架构设计之禅·2025-01-28 15:04

2025年1月27日人工智能与科技新闻：DeepSeek震撼全球科技市场

技术创新与突破全新语言处理架构：提升AI理解和生成能力超越传统模型的认知能力：实现更精准的自然语言推理多模态交互：支持文本、图像、语音等多维

海棠AI实验室·2025-01-28 15:03

使用onnxruntime-web 运行yolov8-nano推理

ONNX（OpenNeuralNetworkExchange）模型具有以下两个特点促成了我们可以使用onnxruntime-web直接在web端上运行推理模型，为了让这个推理更直观，我选择了试验下yolov8

CHEN_RUI_2200·2025-01-28 14:27

手撕Diffusion系列 - 第八期(end) - Diffusion推理

手撕Diffusion系列-第八期(end)-Diffusion推理目录手撕Diffusion系列-第八期(end)-Diffusion推理DDPM原理图DDPM反向去噪DIffusion推理代码Part1

小菜鸟博士·2025-01-28 13:52

机器学习入门——机器学习基本概念

它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎简单来说机器学习就是机

四月是你的·2025-01-28 06:33

YOLOv9改进，YOLOv9检测头融合ASFF（自适应空间特征融合），全网首发

它学习了在空间上过滤冲突信息以抑制不一致的方法，从而提高了特征的尺度不变性，并引入了几乎免费的推理开销。#理论介绍目标检测在处理不同尺度的目标时，常采用特征金字塔结构。

挂科边缘·2025-01-28 02:32

RTX 4090D和A10和T4显卡差别、价格对比

NVIDIAA10:专为数据中心和企业应用设计，优化了AI推理、深度学习、虚拟桌面基础设施(VDI)以及多实例GPU（多用户共享显卡

张3蜂·2025-01-27 22:05

知识图谱自动构建:从海量非结构化数据中提取知识

1.背景介绍1.1知识工程的演进长期以来，知识工程领域一直致力于将人类知识以结构化的方式进行表达和存储，以便于计算机系统进行理解和推理。早期的知识库系统依赖于专家手工构建，费时费力且难以扩展。

AI天才研究院·2025-01-27 21:32

【有啥问啥】大模型赋能智能座舱：重塑未来出行体验

这些变化不仅赋予了智能座舱更强的学习与推理能力，还为用户带来了前所未有的个性化服务体验。让我们一起走进几位普通车主的故事，看看他们的生活因智能座舱而发生了怎样的改变。

有啥问啥·2025-01-27 19:13

拨开迷雾：人工智能核心领域与大模型的演进逻辑！新手放心进，保证通俗易懂！！

传统人工智能注重规则设计和逻辑推理，而现代人工智能通过机器学习

小南AI学院·2025-01-27 18:37

【vLLM 学习】使用 OpenVINO 安装

vLLM是一款专为大语言模型推理加速而设计的框架，实现了KV缓存内存几乎零浪费，解决了内存管理瓶颈问题。

HyperAI超神经·2025-01-27 11:21

《DeepSeek R1：开源大模型的破局者》

2025年1月20日晚，一家来自中国的人工智能初创公司——DeepSeek（深度求索），如同一颗耀眼的新星，划破了AI世界的夜空，发布了其最新推理模型DeepSeek-R1正式版。

空云风语·2025-01-27 08:59

对话小羊驼vicuna

预训练模型下载5.llama、alpaca、vicuna的前世今生6.对话Vicuna（1）llama-2-7b-hf（2）vicuna-7b-delta-v0（3）vicuna-7b-v0（4）执行推理

Always_Shine·2025-01-27 01:44

AGI与量子引力的研究前景

答案：人工通用智能（AGI）是指具有与人类智能相似的能力的人工智能系统，能够理解、学习、推理、感知和应对各种复杂环境。

AI天才研究院·2025-01-27 01:10

推荐频道

归结演绎推理