推理第5页

支持 40+ 插件，Spring AI Alibaba 简化智能体私有数据集成

RAG通过结合检索技术和生成模型的强大能力，使智能体能够实时从外部数据源获取信息，并在生成过程中增强其知识深度和推理能力。通过这种方式，智能体不仅能依赖于模型的预

·2025-02-26 19:58

云原生周刊：云原生和 AI

FlashMLA是专为NVIDIAHopper架构GPU（如H100、H800）优化的高效多头潜在注意力（MLA）解码内核，旨在提升大模型推理性能，特别是针对可变长度序列进行了优化。

·2025-02-26 19:58

DeepSeep开源周，第三天：DeepGEMM是啥？

矩阵乘法（GEMM）是深度学习模型的核心运算（如全连接层、卷积层等），其性能直接影响训练和推理效率。

程序员差不多先生·2025-02-26 19:33

推荐：LangChain — 构建情境感知推理应用的利器

成婕秀Timothy·2025-02-26 19:33

DeepSeek 开源周：DeepEP 项目详解，GPU 压榨计划启动！

本文将详细介绍DeepEP的功能、应用场景以及如何使用它来提升AI训练和推理的效率。DeepEP概述功能与作用DeepEP是一个专门针对Mixture-of-Experts(

东方佑·2025-02-26 18:29

serverless framework 模块化部署

serverless/components源码食用本文使用的示例代码Forkedfromsecond-state/tencent-tensorflow-scf这个仓库可以直接部署成一个Serverless的AI推理函数

ice breaker·2025-02-26 17:27

ChatGPT版本差异分析大全

o1系列（o1-preview/o1-mini）仅支持纯文本处理，但专注于深度推理和分析。GPT-3.5是早期版本，仅支持文本，且性能和上下文理解能力较弱。

爱吃青菜的大力水手·2025-02-26 17:26

DeepSeek各模型现有版本对比分析

文章目录一、基础模型系列：V1到V3的演进二、专用模型系列：推理与多模态三、版本选型与商业化趋势DeepSeek作为最近特别火爆的模型，本文将对DeepSeek现有的主要版本进行对比分析,涵盖参数规模、

墨染夜雨笺·2025-02-26 17:22

DeepSeek 智慧城市应用：交通流量预测（918）

**摘要：**本文探讨了利用DeepSeek技术框架解决城市交通流量预测问题的方法，主要内容包括基于时空图卷积网络（ST-GCN）的预测模型、多传感器数据融合策略以及实时推理API服务的搭建，旨在为智慧城市的交通管理提供高效

web13508588635·2025-02-26 16:18

使用 LangChain 与 Solar LLM 的快速集成示例

一、技术背景介绍LangChain是一个强大的框架，它可以帮助开发者轻松集成不同的自然语言处理(NLP)模型，并构建复杂的链式推理任务。SolarLL

qahaj·2025-02-26 16:15

使用 Apache Jena 构建 RDF 数据处理与查询服务

本文将通过一个示例项目，展示如何使用ApacheJena实现RDF数据的加载、查询、推理、插入和更新操作。二、项目概述本项目的目标是使用Apa

梦落青云·2025-02-26 13:23

深度求索DeepSeek：AI大模型的全域应用与技术突破

其基于DeepSeek-R1系列大模型的创新架构，以600万美元的超低训练成本（仅为OpenAI同类模型的1/30）3，在自然语言处理、逻辑推理、多模

量子纠缠BUG·2025-02-26 11:11

解读 DeepSeek 关键 RL 算法 GRPO

大家不难发现，无论是复杂的自然语言处理任务，还是充满挑战的智能推理难题，DeepSeek都能展现出卓越的性能。而这斐然成绩的背后

进一步有进一步的欢喜·2025-02-26 08:16

【形式化】Coq 中的函数式编程基础（长文）

程序与简单数学对象之间的直接联系，既支持形式化的正确性证明，也有助于对程序行为进行合理的非正式推理。函数式编程“函数式”的另一层含义是，它强调将函数作为一等

老猿讲编程·2025-02-26 08:45

Qwen2.5 技术报告

在预训练方面，将高质量的预训练数据集从之前的7万亿个token扩展到18万亿个token，为常识、专家知识和推理能力提供坚实的基础。在后训练方面，用超过100万个样本

三谷秋水·2025-02-26 07:11

爆发的AI智能体（4）：智能体构建与开发

智能体可以被看作是一个系统，它能够感知环境，拥有一定的推理能力，并能根据这些信息做出决策和行动。智能体的基本架构通常包括感知模块、推理模块和行动模块。

caridle·2025-02-26 06:36

DeepSeek的开源之路:一文读懂从V1-R1的技术发展,见证从开源新秀到推理革命的领跑者

作者：京东科技蔡欣彤一、引言：AI时代的挑战与DeepSeek的崛起在大模型时代，AI技术的飞速发展带来了前所未有的机遇，但也伴随着巨大的挑战。随着模型规模的不断扩大，算力需求呈指数级增长，训练成本飙升，而性能提升的边际收益却逐渐递减，形成了所谓的“ScalingLaw”瓶颈。与此同时，OpenAI、谷歌等巨头通过闭源策略垄断技术，限制了中小企业和研究机构的参与空间。在这样的背景下，DeepSee

·2025-02-26 05:05

【RAG系列】文字的数字化分身 - 向量嵌入的魔法世界

文字的数字化分身-向量嵌入的魔法世界文字向量编码器数字分身语义空间相似度计算代数运算关系推理一、认知革命：文字的数字基因工程1.1文字GPS坐标系想象每个词语都是银河系中的星球，向量坐标就是它们的星际坐标

什么都想学的阿超·2025-02-26 04:52

DeepSeek技术系列之解析DeepSeek蒸馏技术

大模型落地之痛当前千亿级大模型面临严峻的部署困境：GPT-4级模型的单次推理成本高达0.01美元，而工业场景往往要求响应速度<200ms。

小叔技研社·2025-02-26 02:37

深入探索 llama-cpp-python：在 LangChain 中启用本地 LLM 推理

Llama.cpp是一个用于推理许多LLM模型的开源库，它的Python绑定——llama-cpp-python提供了在Python中更加便捷的接口。

aehrutktrjk·2025-02-26 02:06

GLake：优化GPU内存管理与IO传输的开源项目

GLake：突破GPU内存和IO瓶颈的利器在人工智能快速发展的今天，大模型训练和推理正面临着严峻的挑战。

2401_87458718·2025-02-26 02:35

DeepSeek技术解析：降本增效的“双刃剑”如何重塑AI产业？

正面影响分析算力需求与成本大幅降低DeepSeek通过算法优化（如稀疏计算、知识蒸馏）和模型压缩技术，将云端训练算力需求降至传统大模型的35%，车端推理芯片需求减少至65%。

爱吃青菜的大力水手·2025-02-26 01:29

突破性能极限：DeepSeek开源FlashMLA解码内核技术解析

引言：大模型时代的推理加速革命在生成式AI大行其道的今天，如何提升大语言模型的推理效率已成为行业焦点。

Shockang·2025-02-25 22:09

Python与DeepSeek的深度互联：从开发加速到全栈赋能的实战指南

在AI重构编程范式的2025年，DeepSeek凭借其轻量化、高效推理与垂直领域优化，成为开发者提升生产力的利器。

夏末之花·2025-02-25 18:07

MoBA：LLM长文本救星！月之暗面开源新一代注意力机制：处理1000万token能快16倍，已在Kimi上进行验证

Moonshot突破性方案：千万token推理速度提升16倍！」大家好，我是蚝油菜花。当同行还在为以下问题头疼时——32k上下文跑批处

蚝油菜花·2025-02-25 15:53

【多语言生态篇三】【DeepSeek×Go：高并发推理服务设计】

第一章：项目背景与选型考量1.1DeepSeek推理服务的业务挑战日均请求量突破1.2亿次（峰值QPS达38万）典型请求特征：50ms超时限制|10KB输入+2KB响应流量特征：工作日周期性波动（早10

再见孙悟空_·2025-02-25 14:11

Deepseek 手搓资源全集

DeepSeek基本信息2025年1月20日，杭州深度求索人工智能基础技术研究有限公司发布高性能AI推理模型DeepSeek-R1，对标OpenAI的o1正式版。

赤胜骄阳·2025-02-25 14:09

DeepSeek预测2030年：全球 50% 的白领工作将由 AI Agent 辅助完成，金融、医疗等专业渗透率超 70%

：一、人工智能技术的革命性突破低成本高性能模型的普及DeepSeek-R1等国产大模型通过混合专家架构（MoE）和算法优化，以OpenAI1/70的训练成本实现同等性能，推动AI开发从“重训练”向“重推理

未来AI编程·2025-02-25 13:03

使用 DistilBERT 进行资源高效的自然语言处理

DistilBERT通过缩小模型规模并加快推理速度来解决这

真智AI·2025-02-25 06:43

联邦学习与边缘模型优化赋能医疗诊断新路径

与此同时，边缘计算节点部署将模型推理能力延伸至诊疗终端，CT影像实时分析响应时间缩短62%，显著提升急诊场景下的决策效率。建议医疗机构在部署联邦学习系统时，优先采用差分隐私与同态

智能计算研究中心·2025-02-25 03:26

DeepSeek高能AI：低成本高效应用突破

该系统整合自然语言处理与视觉语言理解的双通道架构，使文本生成、图像解析和跨模态推理形成协同效应。

智能计算研究中心·2025-02-25 03:25

Ollama Open WebUI

OpenWebUI支持多种语言模型运行器（如Ollama和OpenAI兼容API），并内置了用于检索增强生成（RAG）的推理引擎，使其成为强大的AI部署解决方案。

alden_ygq·2025-02-25 03:51

还不会用DeepSeek？看这篇就懂啦

它开源的推理模型DeepSeek-R1非常厉害，性能和OpenAI-o1正式版相当，而且可以免费商用

t0_54coder·2025-02-25 02:17

部署 Llama 3.1 405B：分步指南,深入研究 Llama 最新模型 Llama 3.1 4050 亿参数模型的部署。这个强大的模型需要大量的 VRAM，特别是 4 位量化版本需要 231 G

知识大胖·2025-02-25 02:47

轻量级网络设计原理与代码实战案例讲解

然而，大规模模型在计算资源、存储空间以及推理速度方面提出了更高的要求，这在移动设备、嵌入式系统等资源受限的环境中尤为明显。为了解决这一问题，轻量级网络设计应运而生。1.2研

AI天才研究院·2025-02-25 00:00

SpringBoot 接入豆包火山方舟大模型

火山方舟控制台开通模型推理、知识库应用入口；文档中心各类接口说明及SDK获取；向量数据库VikingDB文档下翻找到有java操作案例；实现目标功能效果：通过SDK调用豆包大模型，在代码内实现问答的效果

java15655057970·2025-02-24 20:36

Meta官宣Llama3：迄今为止最强大的开源大模型

Llama3在各种行业基准上展示了最先进的性能，并提供了新功能，包括改进的推理能力。

·2025-02-24 19:09

DeepSeek 和 Qwen 模型快速部署指南

亿参数总参数量与V3相当,基于DeepSeek-V3-Base,采用类似的MoE架构训练方法包含预训练、监督微调(SFT)和强化学习(RL),使用14.8兆高品质文本进行预训练引入多阶段训练流程,冷启动微调后进行推理

moton2017·2025-02-24 18:47

Qwen2.5-Coder Technical Report

3.1.1数据组成3.1.2数据混合3.2训练策略3.2.1文件级预训练3.2.2仓库级预训练4后训练4.1指令数据的配方4.2训练策略5去污6在基础模型上的评估6.1代码生成6.2代码补全6.3代码推理

UnknownBody·2025-02-24 13:16

Transformer模型量化Quantization 笔记

逐步推理计算过程：1.估计参数总量：OPT-6.7B模型指一个含有大约6.7Billion（67亿）个参数的模型。

Foolbird123·2025-02-24 13:14

举世无双语音合成系统 VITS 发展历程（2024.3 PAVITS）

语言，mms-meta/MMSwenet社区，onnx和android，wenet-e2e/wetts手写模型，huakunyang/SummerTTS30+语言，rhasspy/piperVITS流式推理

u013250861·2025-02-24 13:10

医疗信息分析与知识图谱系统设计方案

0.2核心需求数据集成与分析：对接现有医疗信息系统(HIS/LIS/PACS/EMR)医疗数据标准化处理多维度统计分析趋势预测分析知识图谱构建：医疗知识抽取实体关系构建知识推理

翱翔-蓝天·2025-02-24 13:10

模型算力需求估算

计算模型的算力需求，通常基于模型的参数量（BillionParameters，简称B）和训练/推理的计算任务复杂度，结合硬件计算能力（例如每秒浮点运算次数，FLOPS）来估算。

由数入道·2025-02-24 12:06

SelfConsistency CoT：提高AI推理能力

Self-ConsistencyCoT：提高AI推理能力关键词：Self-ConsistencyCoT,AI推理能力,概念图,算法原理,数学模型,系统设计,项目实战摘要：本文深入探讨了如何通过Self-ConsistencyCoT

SuperAGI2025·2025-02-24 12:34

funasr 麦克风实时流语音识别；模拟vad检测单独输出完整每句话

每个推理输入为600毫秒（采样点为16000*0.6=960），输出为相应的文本。对于最后一个语音片段的输入，需要将is_final=True设置为强制输出最

loong_XL·2025-02-24 08:06

垂类大模型微调（二）：使用LLaMA-Factory

上一篇博文和大家一起安装了LLaMA-Factory工具，并下载了大模型在上面进行了简单的加载和推理，今天尝试通过LoRa技术对大模型进行微调；一、训练集准备1.1介绍训练集结构这里演示对Qwen2.5

CITY_OF_MO_GY·2025-02-24 07:00

Yolov8-pose：从零开始训练Yolov8关键点检测模型

一、关键点检测模型推理1.拉取yolov8源码#克隆官方源代码gitclonehttps://gitee.com/monkeycc/ultralytics.gitcd.