推理第8页

Qwen2.5 技术报告

在预训练方面，将高质量的预训练数据集从之前的7万亿个token扩展到18万亿个token，为常识、专家知识和推理能力提供坚实的基础。在后训练方面，用超过100万个样本

三谷秋水·2025-02-26 07:11

爆发的AI智能体（4）：智能体构建与开发

智能体可以被看作是一个系统，它能够感知环境，拥有一定的推理能力，并能根据这些信息做出决策和行动。智能体的基本架构通常包括感知模块、推理模块和行动模块。

caridle·2025-02-26 06:36

DeepSeek的开源之路:一文读懂从V1-R1的技术发展,见证从开源新秀到推理革命的领跑者

作者：京东科技蔡欣彤一、引言：AI时代的挑战与DeepSeek的崛起在大模型时代，AI技术的飞速发展带来了前所未有的机遇，但也伴随着巨大的挑战。随着模型规模的不断扩大，算力需求呈指数级增长，训练成本飙升，而性能提升的边际收益却逐渐递减，形成了所谓的“ScalingLaw”瓶颈。与此同时，OpenAI、谷歌等巨头通过闭源策略垄断技术，限制了中小企业和研究机构的参与空间。在这样的背景下，DeepSee

·2025-02-26 05:05

【RAG系列】文字的数字化分身 - 向量嵌入的魔法世界

文字的数字化分身-向量嵌入的魔法世界文字向量编码器数字分身语义空间相似度计算代数运算关系推理一、认知革命：文字的数字基因工程1.1文字GPS坐标系想象每个词语都是银河系中的星球，向量坐标就是它们的星际坐标

什么都想学的阿超·2025-02-26 04:52

DeepSeek技术系列之解析DeepSeek蒸馏技术

大模型落地之痛当前千亿级大模型面临严峻的部署困境：GPT-4级模型的单次推理成本高达0.01美元，而工业场景往往要求响应速度<200ms。

小叔技研社·2025-02-26 02:37

深入探索 llama-cpp-python：在 LangChain 中启用本地 LLM 推理

Llama.cpp是一个用于推理许多LLM模型的开源库，它的Python绑定——llama-cpp-python提供了在Python中更加便捷的接口。

aehrutktrjk·2025-02-26 02:06

GLake：优化GPU内存管理与IO传输的开源项目

GLake：突破GPU内存和IO瓶颈的利器在人工智能快速发展的今天，大模型训练和推理正面临着严峻的挑战。

2401_87458718·2025-02-26 02:35

DeepSeek技术解析：降本增效的“双刃剑”如何重塑AI产业？

正面影响分析算力需求与成本大幅降低DeepSeek通过算法优化（如稀疏计算、知识蒸馏）和模型压缩技术，将云端训练算力需求降至传统大模型的35%，车端推理芯片需求减少至65%。

爱吃青菜的大力水手·2025-02-26 01:29

突破性能极限：DeepSeek开源FlashMLA解码内核技术解析

引言：大模型时代的推理加速革命在生成式AI大行其道的今天，如何提升大语言模型的推理效率已成为行业焦点。

Shockang·2025-02-25 22:09

Python与DeepSeek的深度互联：从开发加速到全栈赋能的实战指南

在AI重构编程范式的2025年，DeepSeek凭借其轻量化、高效推理与垂直领域优化，成为开发者提升生产力的利器。

夏末之花·2025-02-25 18:07

MoBA：LLM长文本救星！月之暗面开源新一代注意力机制：处理1000万token能快16倍，已在Kimi上进行验证

Moonshot突破性方案：千万token推理速度提升16倍！」大家好，我是蚝油菜花。当同行还在为以下问题头疼时——32k上下文跑批处

蚝油菜花·2025-02-25 15:53

【多语言生态篇三】【DeepSeek×Go：高并发推理服务设计】

第一章：项目背景与选型考量1.1DeepSeek推理服务的业务挑战日均请求量突破1.2亿次（峰值QPS达38万）典型请求特征：50ms超时限制|10KB输入+2KB响应流量特征：工作日周期性波动（早10

再见孙悟空_·2025-02-25 14:11

Deepseek 手搓资源全集

DeepSeek基本信息2025年1月20日，杭州深度求索人工智能基础技术研究有限公司发布高性能AI推理模型DeepSeek-R1，对标OpenAI的o1正式版。

赤胜骄阳·2025-02-25 14:09

DeepSeek预测2030年：全球 50% 的白领工作将由 AI Agent 辅助完成，金融、医疗等专业渗透率超 70%

：一、人工智能技术的革命性突破低成本高性能模型的普及DeepSeek-R1等国产大模型通过混合专家架构（MoE）和算法优化，以OpenAI1/70的训练成本实现同等性能，推动AI开发从“重训练”向“重推理

未来AI编程·2025-02-25 13:03

使用 DistilBERT 进行资源高效的自然语言处理

DistilBERT通过缩小模型规模并加快推理速度来解决这

真智AI·2025-02-25 06:43

联邦学习与边缘模型优化赋能医疗诊断新路径

与此同时，边缘计算节点部署将模型推理能力延伸至诊疗终端，CT影像实时分析响应时间缩短62%，显著提升急诊场景下的决策效率。建议医疗机构在部署联邦学习系统时，优先采用差分隐私与同态

智能计算研究中心·2025-02-25 03:26

DeepSeek高能AI：低成本高效应用突破

该系统整合自然语言处理与视觉语言理解的双通道架构，使文本生成、图像解析和跨模态推理形成协同效应。

智能计算研究中心·2025-02-25 03:25

Ollama Open WebUI

OpenWebUI支持多种语言模型运行器（如Ollama和OpenAI兼容API），并内置了用于检索增强生成（RAG）的推理引擎，使其成为强大的AI部署解决方案。

alden_ygq·2025-02-25 03:51

还不会用DeepSeek？看这篇就懂啦

它开源的推理模型DeepSeek-R1非常厉害，性能和OpenAI-o1正式版相当，而且可以免费商用

t0_54coder·2025-02-25 02:17

部署 Llama 3.1 405B：分步指南,深入研究 Llama 最新模型 Llama 3.1 4050 亿参数模型的部署。这个强大的模型需要大量的 VRAM，特别是 4 位量化版本需要 231 G

知识大胖·2025-02-25 02:47

轻量级网络设计原理与代码实战案例讲解

然而，大规模模型在计算资源、存储空间以及推理速度方面提出了更高的要求，这在移动设备、嵌入式系统等资源受限的环境中尤为明显。为了解决这一问题，轻量级网络设计应运而生。1.2研

AI天才研究院·2025-02-25 00:00

SpringBoot 接入豆包火山方舟大模型

火山方舟控制台开通模型推理、知识库应用入口；文档中心各类接口说明及SDK获取；向量数据库VikingDB文档下翻找到有java操作案例；实现目标功能效果：通过SDK调用豆包大模型，在代码内实现问答的效果

java15655057970·2025-02-24 20:36

Meta官宣Llama3：迄今为止最强大的开源大模型

Llama3在各种行业基准上展示了最先进的性能，并提供了新功能，包括改进的推理能力。

·2025-02-24 19:09

DeepSeek 和 Qwen 模型快速部署指南

亿参数总参数量与V3相当,基于DeepSeek-V3-Base,采用类似的MoE架构训练方法包含预训练、监督微调(SFT)和强化学习(RL),使用14.8兆高品质文本进行预训练引入多阶段训练流程,冷启动微调后进行推理

moton2017·2025-02-24 18:47

Qwen2.5-Coder Technical Report

3.1.1数据组成3.1.2数据混合3.2训练策略3.2.1文件级预训练3.2.2仓库级预训练4后训练4.1指令数据的配方4.2训练策略5去污6在基础模型上的评估6.1代码生成6.2代码补全6.3代码推理

UnknownBody·2025-02-24 13:16

Transformer模型量化Quantization 笔记

逐步推理计算过程：1.估计参数总量：OPT-6.7B模型指一个含有大约6.7Billion（67亿）个参数的模型。

Foolbird123·2025-02-24 13:14

举世无双语音合成系统 VITS 发展历程（2024.3 PAVITS）

语言，mms-meta/MMSwenet社区，onnx和android，wenet-e2e/wetts手写模型，huakunyang/SummerTTS30+语言，rhasspy/piperVITS流式推理

u013250861·2025-02-24 13:10

医疗信息分析与知识图谱系统设计方案

0.2核心需求数据集成与分析：对接现有医疗信息系统(HIS/LIS/PACS/EMR)医疗数据标准化处理多维度统计分析趋势预测分析知识图谱构建：医疗知识抽取实体关系构建知识推理

翱翔-蓝天·2025-02-24 13:10

模型算力需求估算

计算模型的算力需求，通常基于模型的参数量（BillionParameters，简称B）和训练/推理的计算任务复杂度，结合硬件计算能力（例如每秒浮点运算次数，FLOPS）来估算。

由数入道·2025-02-24 12:06

SelfConsistency CoT：提高AI推理能力

Self-ConsistencyCoT：提高AI推理能力关键词：Self-ConsistencyCoT,AI推理能力,概念图,算法原理,数学模型,系统设计,项目实战摘要：本文深入探讨了如何通过Self-ConsistencyCoT

SuperAGI2025·2025-02-24 12:34

funasr 麦克风实时流语音识别；模拟vad检测单独输出完整每句话

每个推理输入为600毫秒（采样点为16000*0.6=960），输出为相应的文本。对于最后一个语音片段的输入，需要将is_final=True设置为强制输出最

loong_XL·2025-02-24 08:06

垂类大模型微调（二）：使用LLaMA-Factory

上一篇博文和大家一起安装了LLaMA-Factory工具，并下载了大模型在上面进行了简单的加载和推理，今天尝试通过LoRa技术对大模型进行微调；一、训练集准备1.1介绍训练集结构这里演示对Qwen2.5

CITY_OF_MO_GY·2025-02-24 07:00

Yolov8-pose：从零开始训练Yolov8关键点检测模型

一、关键点检测模型推理1.拉取yolov8源码#克隆官方源代码gitclonehttps://gitee.com/monkeycc/ultralytics.gitcd.

CITY_OF_MO_GY·2025-02-24 07:00

什么是AGI

与当前主流的**狭义人工智能（NarrowAI）**不同，AGI能够像人类一样灵活地处理各种任务，具备学习、推理、规划、创造和解决复杂问题的能力。

hunter206206·2025-02-24 06:23

覆盖从供应、生产、销售到运营的全过程，引领行业数智化转型新方向的智慧快消开源了

基于多年的深度学习技术研究和业务应用为基础，集深度学习核心训练和推理框架、基础模型库、端到端开发套件、丰富的工具组件于一体，是中国首个自主研发、功能完备、开源开放的产业级深度学习平台。基

AI服务老曹·2025-02-24 04:39

DeepSeek学习教程从入门到精通pdf下载：快速上手 DeepSeek

https://pan.baidu.com/s/1Ym0-_x9CrFHFld9UiOdA5A提取码:2ebc一、DeepSeek简介DeepSeek是一款由中国团队开发的高性能大语言模型，具备强大的推理能力和对中文的深刻理解

不会编程的程序猿ᅟ·2025-02-24 01:19

DeepSeek模型量化

技术背景大语言模型（LargeLanguageModel，LLM），可以通过量化（Quantization）操作来节约内存/显存的使用，并且降低了通讯开销，进而达到加速模型推理的效果。

快乐非自愿·2025-02-23 22:29

YOLOv8与DAttention机制的融合：复杂场景下目标检测性能的增强

注意力机制概述2.1DAttention机制的工作原理3.YOLOv8与DAttention(DAT)的结合3.1引入DAT的动机3.2集成方法3.3代码实现4.实验与结果分析4.1实验设置4.2结果分析推理速度性能对比

向哆哆·2025-02-23 21:22

DeepSeek：中国深度推理大模型的“全民化”浪潮——从互联网巨头到民生政务，一场AI生态的深度革命

2025年，中国人工智能领域迎来了一场由国产大模型DeepSeek引领的深度推理革命。

涛涛讲AI·2025-02-23 19:39

达坦科技率先落地基于海光的DeepSeek一体机

达坦科技通过软硬件深度融合的方式，提供AI推理引擎和高性能网络，为AI应用提供弹性、便利、经济的基础设施服务，以此满足不同行业客户对AI+Cloud的需求。

·2025-02-23 16:33

RK3588 Linux板端推理时报错Segmentation fault解决办法

目录问题解决生成core文件修改core文件存储路径Ubuntu20.04下的异常状况利用core文件进行调试问题最近在使用rk3588跑官方提供的yolov5模型demo，能够完成单张图片的目标检测，但是在运行视频流demo时，系统报错：segmentationfault(coredumped)此时没有再给出更多的报错信息，不太好debug，在网上阅读了一些博客现在整理一下。解决在Linux下遇

kennyooooo·2025-02-23 12:48

DeepSeek引爆递归开发大爆炸！

DeepSeekR1的发布意味着AI的普及是必然的，因为它让人们能轻松创建新的推理数据集，并用这些数据训练强大的AI模型。

极道Jdon·2025-02-23 12:47

动态记忆网络 DeepMind的MEMO架构允许在推理时动态读写记忆矩阵，记忆容量提升40倍

传统的记忆网络通常只有一个外部记忆模块，而MEMO架构则引入了多层记忆模块，每一层记忆模块都以前一层记忆模块的输出作为输入，从而实现更复杂的记忆和推理。

玩人工智能的辣条哥·2025-02-23 09:24

【大模型】DeepSeek 高级提示词技巧使用详解

**明确目标**-**避免模糊性**：直接说明任务类型（如生成、分析、推理、创作）和期望的输出格式（如代码、列表、JSON、自然语言）。-**示例**：❌模糊提示：“帮我处理数据。”

大富大贵7·2025-02-23 06:01

deepseek-r1系列模型私有化部署分别需要的最低硬件配置

系列模型部署所需的最低硬件配置如下‌：‌DeepSeek-R1-1.5B‌‌CPU‌：最低4核（推荐多核处理器）‌内存‌：8GB+‌硬盘‌：3GB+存储空间（模型文件约1.5-2GB）‌显卡‌：非必需（纯CPU推理

Sophie'sCookingLab·2025-02-23 05:21

DeepSeek爆火全网！清华团队104页教程+1000个神级提示词，手把手教你玩转AI神器

·2025-02-23 04:53

深度测评！国内四大云厂商 Deepseek API 谁最强？答案出人意料！

1.背景2025年1月20日左右，Deepseek推出了性能比肩OpenAIO1的DeepseekR1推理大模型，成功在国际市场出圈，实现“出口转内销”。

surfirst·2025-02-23 01:57

DeepSeek核心技术 MoE（混合专家模型）

在DeepSeek-V2的基础上，采用MLA（多头潜在注意力）和DeepSeekMoE进行高效的推理和经济的训练。

baiyi666_888·2025-02-23 01:22

QT开发技术 [opencv加载onnx模型，dnn推理]

一、导出onnx模型yoloexportmodel=xx\xx\best.ptformat=onnx二、qt加载onnx模型，推理显示std::stringfileName=QCoreApplication

增援未来章北海·2025-02-22 23:09

DeepSeek新作-Native Sparse Attention

这意味着模型需要能够处理和理解长篇幅的文本内容，例如长篇文章、书籍、复杂的对话等，这对于语言模型的推理、生成和理解能力提出了更高的要求。

数据分析能量站·2025-02-22 21:21

推荐频道

推理