确定性推理

vLLM显存优化

在使用vLLM框架进行大模型推理时，为了最大程度地减少GPU显存的占用，可以从以下几个方面调整参数和配置：1.调整max_batch_size参数max_batch_size：这是批处理的最大大小。
xnuscd·2025-02-08 04:07

qwen vllm function_call

教程：使用vLLM部署Qwen模型并实现工具调用前言vLLM是一个高效、易于使用的大型语言模型推理和部署库。
xnuscd·2025-02-08 04:07

SQL中主键的作用

这样可以避免主键列的数据缺失或不确定性。3.单一性：每个表应该有一个主键，并且每个表只能有一个主
患得患失949·2025-02-08 03:07

【Ollama+Deepseek】本地化部署运行Deepseek模型

一、前言最近国内的深度求索公司发布的DeepSeek-r1推理模型，其凭借强大的推理能力、擅长复杂任务、低成本以及开源等优势，短时间内迅速成为了全球AI领域的焦点。
·2025-02-08 02:59

【论文阅读】DeepSeek-R1：通过强化学习激励LLMs的推理能力 | DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL

DeepSeek-R1:IncentivizingReasoningCapabilityinLLMsviaReinforcementLearningDeepSeek-R1：通过强化学习激励LLMs的推理能力
AI天才研究院·2025-02-07 22:05

【vLLM 学习】使用 CPU 安装

vLLM是一款专为大语言模型推理加速而设计的框架，实现了KV缓存内存几乎零浪费，解决了内存管理瓶颈问题。
·2025-02-07 22:51

【AI中数学-信息论-综合实例】 缩小AI巨人：大模型神经网络的压缩与裁剪

尽管大规模神经网络在AI中具有强大的能力，但由于其高计算需求、内存使用和推理时间，它们在实际部署中往往面临一些限制。模型压缩和裁剪技术能够使这些“AI巨人”变得更为可管理，同时在性能上不至于损失太多。
云博士的AI课堂·2025-02-07 22:03

从 Partial Computations（部分计算） 到 Lambda Calculus（λ演算）：函数的计算模型解析(中英双语)

在计算机科学和数学中，我们可以从不同角度理解“函数”（Function）的概念：在数学模型中，函数是一个完全的映射关系，它接受输入，并确定性地产生输出，例如：f(x)=x2f(x)=x^2f(x)=x
阿正的梦工坊·2025-02-07 19:15

深入浅出DeepSeek V3 技术报告

你可以把它想象成一个超级学霸，不仅擅长语文和数学，还会写代码，能推理，还能处理超长文章（1
fertiland·2025-02-07 17:04

自然语言处理的统计学原理

然而自然语言充满了不确定性和模糊性，不同场景的
数行天下·2025-02-07 14:45

大语言模型原理基础与前沿 高效的MoE架构

大语言模型原理基础与前沿高效的MoE架构关键词：大语言模型，MoE架构，参数高效微调，分布式训练，模型压缩，推理加速1.背景介绍1.1问题的由来随着深度学习技术的飞速发展，大语言模型（LargeLanguageModels
AI架构设计之禅·2025-02-07 13:39

基于深度学习的行人摔倒检测识别系统 —— 使用YOLOv5实现行人摔倒检测

系统功能概述2.2系统架构数据准备与处理3.1数据集选择与收集3.2数据标注3.3数据集划分YOLOv5模型训练与优化4.1YOLOv5配置文件4.2安装YOLOv5并开始训练4.3模型评估与优化摔倒行为识别与推理
2025年数学建模美赛·2025-02-07 13:34

DeepSeek 与 Qwen：模型能力对比！

DeepSeek的模型DeepSeek-R1：一款旗舰模型，通过思维链推理在推理、数学和编码方面表现出色。例如，在解决复杂数学证明题时，它能运用思维链，一步步清晰地推导，最终得出准确结论；在编程中，面
·2025-02-07 13:22

Deep-Seek 开源项目教程

Deep-Seek不仅支持文本生成，还特别擅长数学、代码和推理任务。项目快速启动环境准备在开始之前，请确保您
毛炎宝Gardener·2025-02-07 08:34

在本地运行DeepSeek Janus 系列，DeepSeek Janus 系列用于图像理解和生成的统一多模态 AI

DeepSeek的Janus系列是一种先进的开源多模态人工智能模型，它将图像理解、文本到图像生成和视觉语言推理统一到一个系统中。
知识大胖·2025-02-07 02:54

使用DeepSeek-R1和Ollama构建RAG系统以进行本地部署

使用DeepSeek-R1和Ollama构建RAG系统以进行本地部署我们将探讨如何使用DeepSeekR1（一种针对结构化任务优化的开源推理模型）和Ollama（一种用于在本地运行LLM的框架）构建功能齐全的
·2025-02-07 02:10

网易有道全面拥抱DeepSeek-R1，推理大模型加速个性化教学升级

1月20日，DeepSeek震撼发布DeepSeek-R1，这款推理大模型在数学、编程及逻辑推理等多个领域展现出了与OpenAI顶尖模型比肩的实力，同时实现了API调用成本90%-95%的大幅缩减，无疑为科技界投下了一颗开年
·2025-02-07 02:10

百度智能云上架DeepSeek R1/V3，上线首日超1.5万家客户调用

2月3日百度智能云宣布DeepSeek-R1和DeepSeek-V3模型上架百度智能云千帆平台，并宣布提供行业领先的超低推理价格。模型上线首日，已有超1.5万家客户通过千帆平台进行模型调用。
·2025-02-07 01:37

模型蒸馏、量化、裁剪的概念和区别

然而，这些模型通常具有大量的参数和复杂的结构，导致模型体积庞大、计算资源消耗高和推理时间长。这些问题限制了深度学习模型在资源受限设备（如移动设备、嵌入式系统）上的应用。
我就是全世界·2025-02-06 22:24

[论文笔记] Deepseek技术报告

1.总体概述背景与目标报告聚焦于利用强化学习（RL）提升大型语言模型（LLMs）的推理能力，旨在探索在不依赖大规模监督微调（SFT）的情况下，模型如何自我进化并形成强大的推理能力。
心心喵·2025-02-06 22:53

Deepseek-r1、o3-Mini 和 Qwen 2.5 MAX，谁才是你的菜？

这下它终于坐不住了，发布了新推理模型系列o3-mini。这个模型不仅首次向免费用户开放，成本还比之前的o1系列降低了15倍。和GPT-4O、GPT模型家族不同，AI模型的“O”系列专注于推理任务。
·2025-02-06 17:21

大型推理模型 （LRM） 的比较 OpenAI DeepSeek R1 Gemini 2.0

大型推理模型（LRM）的比较OpenAIDeepSeekR1Gemini2.0阅读时长：25分钟发布时间：2025-02-06近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容
·2025-02-06 17:20

Deepseek-r1、o3-Mini 和 Qwen 2.5 MAX，谁才是你的菜？

这下它终于坐不住了，发布了新推理模型系列o3-mini。这个模型不仅首次向免费用户开放，成本还比之前的o1系列降低了15倍。和GPT-4O、GPT模型家族不同，AI模型的“O”系列专注于推理任务。
·2025-02-06 17:11

DeepSeek 最新推理模型 R1-Lite：一场数学题的死胡同之旅

在人工智能技术的飞速发展中，推理模型成为了AI展现深度理解能力的重要工具。它们不仅能够处理复杂的自然语言任务，还能在某些领域表现出近似人类思维的推理能力。然而，即便是最先进的推理模型也并非无懈可击。
霍格沃兹测试开发学社测试人社区·2025-02-06 15:40

DeepSeek-R1真算得上开源吗？

OpenAIo1模型证明，当LLM在推理时，通过增加计算量进行类似训练后，它们在数学、编程和逻辑等推理任务上的表现显著提升。然而，OpenAI推理模型的训练方法一直是秘密。
·2025-02-06 13:37

yolov5 实例分割：从原理、构建数据集到训练部署

yolov5实例分割：从原理、构建数据集到训练部署1.模型介绍1.1YOLOv5结构1.2YOLOv5推理时间2.构建数据集2.1使用labelme标注数据集2.2生成coco格式label2.3coco
外卖猿·2025-02-06 12:15

在 Python 中生成一个简单的类 GPT 软件?

本文将详细介绍实现这一目标的具体步骤，涵盖环境搭建、数据准备、模型选择、训练与推理等多个方面。二、环境搭建2.1安装Python首先要确保系统中安装了Python。建议使用Python3.7及以上版本
一只小灿灿·2025-02-06 10:37

国家超算平台上线DeepSeek - R1系列模型：开启AI新征程

它用了强化学习训练，推理的时候会反复思考验证，思维链能有好几万字长。在数学、代码编写和复杂逻辑推理这些方面，表现相当厉害
CodeJourney.·2025-02-06 08:25

SGlang 专为大模型设计的高效服务框架

SGlang是一种专为大型语言模型（LLM）和视觉语言模型（VLM）设计的高效服务框架，旨在提升模型的推理速度和灵活性。
kcarly·2025-02-06 08:52

DeepSeek等强大推理大模型出现后，提示工程还有必要么？

提示的主要目的是人和模型沟通，是为了更好的激发模型做各种任务，只能说语言模型越强大，沟通的难度会较低，沟通形式更简单，提示工程”之所以被称为“工程”，主要基于以下多方面原因：1.系统性与复杂性多要素协同：如同传统工程涉及多个环节与要素协同作业，提示工程也需综合考量众多因素。比如，在设计提示时，不仅要明确任务目标，像让语言模型生成新闻稿、故事，还是进行代码纠错等，还要考虑模型自身特点，不同的大语言模
alphaAIstack·2025-02-06 04:46

使用vLLM部署Qwen2.5-VL-7B-Instruct模型的详细指南

部署Qwen2.5-VL-7B-Instruct模型的详细指南引言环境搭建安装vLLM安装依赖库下载模型启动vLLM服务器总结参考引言近年来，随着大规模语言模型（LLM）的快速发展，如何高效地进行模型推理成为了一个热门话题
engchina·2025-02-06 03:40

DeepSeek-R1：通过强化学习提升大型语言模型推理能力的探索

DeepSeek-R1：通过强化学习提升大型语言模型推理能力的探索在人工智能领域，大型语言模型（LLMs）的发展日新月异，其在自然语言处理和生成任务中的表现逐渐接近人类水平。
kaichu2·2025-02-06 03:07

大语言模型轻量化：知识蒸馏的范式迁移与工程实践

摘要在大型语言模型（LLM）主导人工智能发展的当下，模型参数量与推理成本的指数级增长已成为制约技术落地的核心瓶颈。
LucianaiB·2025-02-06 02:04

【Mamba之模型训练系列（四）】将 mamba 扩展到多模态大型语言模型，实现高效推理

将mamba扩展到多模态大型语言模型，实现高效推理背景知识与研究动机Cobra模型设计视觉编码器DINOv2SigLIP投影器Mamba语言模型主干训练策略训练数据训练阶段预训练阶段多模态指令调整阶段微调策略训练细节训练策略的关键结论实验验证实验设置性能比较推理速度消融研究关键结论参考文献这篇文章介绍了一个名为
愷创作者·2025-02-06 00:45

什么是大模型框架？常用的大模型框架盘点对比

什么是大模型框架大模型框架是指用于训练、推理和部署大型语言模型（LLMs）的软件工具和库。
AI产品经理·2025-02-05 21:25

昇腾设备torch_npu推理配置

1.Ascend310B1的npu推理思路在昇腾Ascend310B1NPU上基于PyTorch进行推理时，通过torch_npu替换原有GPU/CUDA操作。
时间逝世298·2025-02-05 20:21

DeepSeek R1技术报告关键解析(5/10)：知识蒸馏：如何让小模型也能具备强推理能力？

大模型通常计算量大、推理速度慢，而小模型虽然计算资源消耗更少，但推理能力往往不如大模型。通过知识蒸馏，小模型可以继承大模型的推理能力，同时保持较低的计算成本。
董董灿是个攻城狮·2025-02-05 19:43

TensorRT-LLM保姆级教程（一）-快速入门

随着大模型的爆火，投入到生产环境的模型参数量规模也变得越来越大（从数十亿参数到千亿参数规模），从而导致大模型的推理成本急剧增加。
大模型部署·2025-02-05 18:38

知识蒸馏教程 Knowledge Distillation Tutorial

来自于：KnowledgeDistillationTutorial将大模型蒸馏为小模型，可以节省计算资源，加快推理过程，更高效的运行。
Qiming_v·2025-02-05 17:03

昆仑天工SkyWork：更懂中文的AIGC开源模型

昆仑天工SkyWork系列AIGC开源模型，由奇点智源公司研发，在2022年12月发布，覆盖图像、文本、编程等多模态内容生成能力，包括绘画、文章续写、对话、中英翻译、内容风格生成、推理、诗词对联、代码补全等
AIGC探索家·2025-02-05 16:52

昆仑万维官宣开源2000亿稀疏大模型Skywork-MoE

6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。
TMT星球·2025-02-05 16:50

国产AI大爆发！讯飞星火X1横空出世，直接“杀疯”成中文数学王者？

而今天要给大家介绍的这个主角——讯飞星火深度推理模型X1，那可是最近科技圈的一大热点。为啥它值得我们重视呢？要知道，中文数学能力在AI
盼达思文体科创·2025-02-05 15:15

【LangChain编程：从入门到实践】代码实践

在早期,AI主要集中于基于规则的系统和专家系统,试图模拟人类的推理过程。然而,随着大数据时代的到来和计算能力的飞速提升,机器学习和深度学习技术开始占据主
AI天才研究院·2025-02-05 14:09

基于深度学习的车牌检测识别系统 —— 使用YOLOv5实现车牌检测与识别

系统功能概述2.2系统架构数据准备与处理3.1数据集选择与收集3.2数据标注3.3数据集划分YOLOv5模型训练与优化4.1YOLOv5配置文件4.2安装YOLOv5并开始训练4.3模型评估与优化车牌识别与推理
2025年数学建模美赛·2025-02-05 12:20

如何利用DeepSeek打造医疗领域专属AI助手？从微调到部署全流程解析

一、基座模型选型：医疗推理的黄金搭档1.1为什么选择DeepSeek-R1-Distill-Llama-8
明哲AI·2025-02-05 10:05

怎么在家用笔记本上轻松部署和使用DeepSeek R1?

而且在数学、编程等领域表现出众，可处理复杂逻辑推理任务，如果你不了解蒸馏技术文末也会提供相关的拓展知识运行
程序员辣条·2025-02-05 10:32

国内首个！百度成功点亮昆仑芯三代万卡集群，将于近日点亮3万卡集群

而24年9月升级的百度百舸AI异构计算平台4.0，围绕落地大模型全旅程的算力需求，在集群创建、开发实验、模型训练、模型推理四大方面，能为企业提供“多、快、稳、省”的AI基础设施，在万卡集群的建设中发挥了至关
·2025-02-05 09:50

metagpt中ActionNode的用法

THINK_NODES类：4.ThinkAction类：5.SimplePrint类：6.Printer类：7.main函数：总结：主要执行流程：代码参考链接：整体流程实现一个基于节点(Node)结构和思维推理的系统
ZHOU_WUYI·2025-02-05 08:20

Ollama能本地部署Llama 3等大模型的原因解析（ollama核心架构、技术特性、实际应用）

文章目录前言1、Ollama的核心架构和技术能力1.1、高效模型加载和存储1.2、推理优化1.3、微调支持1.4、部署工具链2.、Llama3模型的技术特性2.1、模型架构2.2、模型性能3.
周杰伦_Jay·2025-02-05 03:19

ChatGPT怎么回事？

纯属发现，调侃一下~这段时间deepseek不是特别火吗，尤其是它的推理功能，突发奇想，想用deepseek回答一些问题，回答一个问题之后就回复服务器繁忙（估计还在被攻击吧~_~）然后就转向了GPT，真的被笑到了
cimeo·2025-02-05 00:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他