确定性推理

KV 缓存简介

KV缓存是Transformer架构（如GPT、LLaMA等大模型）在自回归生成任务（如文本生成）中，用于加速推理过程的核心技术。
dev.null·2025-03-19 17:49

探索AI知识库的无限潜力：定义、应用与未来展望

它不仅包含了大量的结构化、半结构化和非结构化数据，还具备智能检索、推理分析、自我学习和优化等高级功能。
·2025-03-19 16:15

GPT-4o mini小型模型具备卓越的文本智能和多模态推理能力

GPT-4omini在学术基准测试中，无论是在文本智能还是多模态推理方面，都超越了GPT-3.5Turbo和其他小型模型，并支持与GPT-4o相同的语言范围。
FlowUs息流使用宝典·2025-03-19 14:55

推理速度超快！vLLM本地部署Mistral-Small 3.1+全方位测试多模态大模型！超越Gemma3.1，最适合企业项目的大模型！中文OCR能力也不弱

本篇笔记所对应的视频https://www.bilibili.com/video/BV1Q9XLYiEwD/MistralAI最新推出的MistralSmall3.1模型无疑是近期科技界的一大亮点。这款由法国AI实验室MistralAI开发的开源多模态模型，以其卓越的性能和灵活性，为开发者、企业和研究人员带来了全新的可能性。凭借24B参数、对文本与图像的处理能力，以及在多个关键指标上的突破，Mis
AI超元域·2025-03-19 12:14

未来5年AI人工智能与信息技术领域发展趋势

以Transformer为核心的序列建模技术持续迭代，字节跳动云雀模型通过动态结构优化，在保持语言理解能力的同时将参数量压缩至GPT-4的1/10，推理速度提升3倍。
海宁不掉头发·2025-03-19 11:03

使用 DeepSeek-R1 为 RAG 运行本地 Gradio 应用程序

第1步：先决条件在深入研究实现之前，我们确保已安装以下工具和库：Python3.8+Python3.8+版Langchain：用于构建由大型语言模型（）LLMs提供支持的应用程序的框架，支持轻松检索、推理和工具集成
呱牛 do IT·2025-03-19 10:53

OctoTools：一个具有复杂推理可扩展工具的智体框架

解决复杂的推理任务可能涉及视觉理解、域知识检索、数值计算和多步骤推理。现有方法使用外部工具增强大语言模型(LLM)，但仅限于专业领域、有限的工具类型或需要额外的训练数据。
三谷秋水·2025-03-19 09:09

【大模型开发】ONNX 格式的大模型在 Android 上的部署与测试

最后会给出一些针对在移动设备上部署ONNX推理的优化方法和未来建议。
云博士的AI课堂·2025-03-19 08:05

Linux中部署DeepSeek R1

DeepSeek-R1本地部署硬件需求表模型规模GPU需求CPU需求内存需求存储需求备注1.5B-GTX16504GB（可选）四核i5/Ryzen3000+16GBDDR450GBSSD需4-bit量化，CPU推理延迟约
Java探索者 °·2025-03-19 07:26

自建智能算力中心 vs 第三方算力租赁：AI企业的算力博弈与最优解

从ChatGPT到DeepSeek，从自动驾驶到智能医疗，AI模型的训练和推理需求呈现指数级增长。在这场技术革命中，算力已成为企业竞争的“命脉”。
·2025-03-19 03:50

理解深度学习1-简介

它覆盖了众多方法，涵盖了基于逻辑、搜索和概率推理的技术。机器学习是AI的一个分支，它通过对观测数据进行数学模型拟合来学习决策制定。这个领域近年来迅猛发展，现在几乎（虽不完全准确）与AI同义。
shangjg3·2025-03-18 21:35

MySQL算法篇（一）

确定性：对于同一个输入，无论何时何地使用相同的哈希算法，都会得到相同的哈希值。快速计算：哈希算法通常设计得非常高效，可以快速计算出哈希值。抗冲突性：不
先睡·2025-03-18 20:30

程序员必看！DeepSeek全栈开发实战指南：从代码生成到性能优化

这两项技术突破对程序员群体意义重大：通信效率飞跃：DeepEP通过NVLink优化实现GPU间158GB/s传输速度，后端开发者训练大模型时可节省60%集群资源推理性能突破：R1模型在H
AI创享派·2025-03-18 20:59

五、AIGC大模型_05模型的vLLM部署与LangChain调用

0、概述要搭建一个大模型应用服务，通常需要包含以下五层结构，即：基础环境、模型层、推理层、对外接口、外挂应用在了解了模型的微调训练之后，本文将以vLLM、OpenAI、LangChain为例，介绍大模型的推理部署以及对外接口开放调用
学不会lostfound·2025-03-18 19:20

3D-AFFORDANCELLM: HARNESSING LARGE LANGUAGE MODELS FOR OPEN-VOCABULARY AFFORDANCE DETECTION

为了解决这些限制，我们将传统的可及性检测范式重新定义为指令推理可及性分割（IRAS）任务。该任务旨在根据查询推理文本输出可及性掩码区域，避免了输入标签的固定类别。相应地，我们提出了
UnknownBody·2025-03-18 16:00

yolov4

从数据层面和网络设计层面来进行改善消融实验，感觉能做的都让他给做了，这工作量不轻全部实验都是单GPU完成，不用太担心设备了Bagoffreebies(BOF)只增加训练成本，但是能显著提高精度，并不影响推理速度数据增强
zzh-·2025-03-18 16:28

llama.cpp 和 LLM（大语言模型）

它通过海量文本数据训练，能够生成连贯、语义丰富的文本，完成问答、创作、推理等任务。特点：参数规模大：如GPT-3（1750亿参数）、Llama-65B（650亿参数）等。
这个懒人·2025-03-18 14:12

Elasticsearch：为推理端点配置分块设置

推理端点对一次可处理的文本量有限，具体取决于模型的输入容量。分块（Chunking）是指将输入文本拆分成符合这些限制的小块的过程，在将文档摄取到semantic_text字段时会进行分块。
Elastic 中国社区官方博客·2025-03-18 13:35

Yolov11目标检测(ultralytics)

Yolov11目标检测（ultralytics）1.克隆仓库2.安装环境依赖3.训练、验证、推理以及onnx模型导出1.克隆仓库从官网下载Yolov11到本地。
@M_J_Y@·2025-03-18 13:02

TorchServe详解和应用

TorchServer是PyTorch的一个组件，它是一个轻量级的服务框架，用于部署和管理PyTorch模型，以便在生产环境中提供高效、可扩展的推理服务。
易之阴阳·2025-03-18 11:43

Flink流式计算系统

本文将以这些概念为基础，逐一介绍Flink的发展背景、核心概念、时间推理与正确性工具、安装部署、客户端操作、编程API等内容，让开发人员对Flink有较为全面的认识并拥有一些基础操作与编程能力。
xyzkenan·2025-03-18 07:13

市场波动中的风险管理与策略优化

如何在市场不确定性中进行有效的风险管理，并优化交易策略，是每位交易者都需要思考的问题。本文将探讨市场波动的影响因素、如何通过合理的资金管理降低风险，以及如何利用数据分析提升交易稳定性。
Q3990385023·2025-03-18 01:16

如何优化公司需求管理

需求在项目启动时往往是初步、模糊且充满不确定性的，而随
·2025-03-18 00:05

如何优化公司需求管理

需求在项目启动时往往是初步、模糊且充满不确定性的，而随
·2025-03-18 00:01

ChatGPT推理模型&通用模型大解析！

很多人知道通用模型和推理模型了，那么ChatGPT的哪些模型是通用模型，哪些又是推理模型呢？
即兴小索奇·2025-03-18 00:38

【技术解密】本地部署 DeepSeek-V3：完整指南

目录引言运行环境需求下载与安装推理部署总结参考资源引言随着人工智能的快速发展，开源大模型正逐步改变着技术生态。
海棠AI实验室·2025-03-17 22:54

【大模型实战篇】使用GPTQ量化QwQ-32B微调后的推理模型

低精度运算（如INT8）在GPU等硬件上计算效率更高，推理速度可提升2~4倍。我们的任务是，将QwQ-32B微调后的推理模型，也就是bf16的精度，通过量化，压缩到int4。
源泉的小广场·2025-03-17 21:19

LLM-PowerHouse: 一站式大型语言模型定制训练与推理指南

LLM-PowerHouse:解锁大型语言模型的潜力在人工智能和自然语言处理领域,大型语言模型(LargeLanguageModels,LLMs)正在掀起一场革命。随着GPT、BERT等模型的出现,LLMs展现出了惊人的能力,可以执行各种复杂的语言任务。然而,如何有效地训练和使用这些强大的模型仍然是一个挑战。针对这一需求,GitHub上的LLM-PowerHouse项目应运而生,为开发者、研究人员
Nifc666·2025-03-17 21:43

微服务架构中10个常用的设计模式

其中，服务发现模式十分关键，通过自动化发现和定位服务，减少人工配置带来的不确定性，让系统可扩展性与高可用性得以更好地保障。
·2025-03-17 20:51

二值逻辑、三值逻辑到多值逻辑的变迁（含示例）

二值逻辑、三值逻辑到多值逻辑的变迁是一个逻辑体系不断拓展和深化的过程，反映了人们对复杂现象和不确定性问题认识的逐步深入。
搏博·2025-03-17 16:44

s1K 数据集：是一个用于提升语言模型推理能力的高质量数据集。

2025-02-07，由斯坦福大学、华盛顿大学等研究机构创建了s1K数据集，该数据集包含1,000个精心挑选的问题，并配以推理轨迹和答案，为语言模型推理能力的提升提供了重要的数据基础。
·2025-03-17 14:37

Ollama 基本概念

Ollama是一个本地化的、支持多种自然语言处理（NLP）任务的机器学习框架，专注于模型加载、推理和生成任务。通过Ollama，用户能够方便地与本地部署的大型预训练模型进行交互。
Mr_One_Zhang·2025-03-17 13:47

P=NP问题

以下是对该问题的详细分析：###**1.P与NP的定义**-**P类（PolynomialTime）**：包含所有能在多项式时间内被**确定性图灵机**解决的决策问题。
太翌修仙笔录·2025-03-17 09:48

DeepSeek 在代码生成方面的优势解析

文章将详细解析DeepSeek在代码生成方面的优势，包括模型架构、数据训练、优化策略、编程语言支持、推理效率等核心技术点。1.DeepSeek-Coder的模型架构优化DeepSeek-Code
草莓屁屁我不吃·2025-03-17 08:15

Google Gemini 大模型技术架构剖析

Gemini系列包括Ultra、Pro和Nano三种尺寸，适用于从复杂的推理任务到设备内存受限的应用场景。GeminiUltra是最强大的模型，可在各种高度复杂的任务（包括推理和多
musicml·2025-03-17 08:15

文心一言提前免费，高性能大模型全面入局该咋看？

文心大模型4.5作为首个原生多模态大模型，在多模态理解、文本和逻辑推理能力上的显著提升，使其在多项测试中表现优于GPT4.5，这体现了百度在AI技术研发上的深厚积累。同时，文心大模型X1作为深度思
江瀚视野·2025-03-17 07:06

DeepSeek-R1模型1.5b、7b、8b、14b、32b、70b和671b有啥区别？

码笔记mabiji.com分享：1.5B、7B、8B、14B、32B、70B是蒸馏后的小模型，671B是基础大模型，它们的区别主要体现在参数规模、模型容量、性能表现、准确性、训练成本、推理成本和不同使用场景
facaixxx2024·2025-03-17 06:01

A survey on instance segmentation: state of the art——论文笔记

实例分割的发展从粗略的对象分类逐步演变为更精细的像素级别推理，广泛应用于自动驾驶、机器人等领域。论文为研究人员提供了对实例分割领域的全面了解和有价值的参考。
栀子清茶·2025-03-17 06:54

MindSpore：华为全场景AI框架的技术全景与生态实践

作为华为昇腾AI生态的基石，MindSpore支持端、边、云全场景覆盖，并深度融合昇腾处理器的算力特性，提供从模型开发、训练到推理部署的端到端能力。
彩旗工作室·2025-03-17 05:44

当通用智能遇到深度推理：如何正确驾驭DeepSeek-V3与R1？

2025年，中国AI公司DeepSeek凭借两款大模型——通用型V3与推理型R1，在技术圈掀起巨浪。这两款模型看似师出同门，却在能力边界与应用场景上存在显著差异。
涛涛讲AI·2025-03-17 04:42

本地部署大模型QPS推理测试

目录1、测试环境1.1、显卡1.2、模型1.3、部署环境1.3.1、docker1.3.2、执行命令2、测试问题2.1、20字左右问题2.2、50字左右问题2.3、100字左右问题3、测试代码3.1、通用测试代码3.2、通用测试代码（仅供参考）4、测试结果4.1、通用测试结果4.2、RAG测试结果1、测试环境1.1、显卡1.2、模型Qwen2.5-32B-Instruct1.3、部署环境xinfe
内卷焦虑人士·2025-03-17 03:30

如何测试模型的推理速度

前言模型的推理速度测试有两种方式：一种是使用python的时间戳time函数来记录，另一种是使用Pytorch里的Event。同时，在进行GPU测试时，为减少冷启动的状态影响，可以先进行预热。
想要躺平的一枚·2025-03-17 02:59

【大模型实战篇】对比包括QwQ-32B在内的不同推理模型的吞吐量表现

因为项目对推理模型的性能有比较高的要求，因此对目前一些主流的推理模型做了对比，包括QwQ-32B、QwQ-32B-GPTQ-INT4、QwQ-32B-GPTQ-INT8、Light-R1-14B-DS进行了吞吐量的对比实验
源泉的小广场·2025-03-17 01:49

DeepSeek：技术教育领域的AI变革者——从理论到实践的全面解析

DeepSeek作为国产开源大模型的代表，凭借其推理能力、多模态支持与低成本部署的特性，正在为技术教育带来突破性解决方案。
量子纠缠BUG·2025-03-16 23:03

小语言模型（SLM）技术解析：如何在有限资源下实现高效AI推理

引言：为什么小语言模型（SLM）是2025年的技术焦点？2025年，人工智能领域正经历一场“由大变小”的革命。尽管大语言模型（LLM）如GPT-4、GeminiUltra等在复杂任务中表现惊艳，但其高昂的算力成本、庞大的参数量（通常超过千亿）和依赖云端的特性，使得实际落地面临诸多瓶颈。**小语言模型（SmallLanguageModel,SLM）**应运而生，凭借其高效性、经济性和本地化部署能力，
硅基打工人·2025-03-16 22:52

推理引擎3倍提速+50%省卡，国产芯片告别英伟达绑架

❤️如果你也关注AI的发展现状，且对AI应用开发感兴趣，我会每日分享大模型与AI领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！AI在线答疑->智能检索历史文章和开源项目->丰富的AI工具库->每日更新->尽在微信公众号->搜一搜：蚝油菜花“还在为天价H100排队？清华让国产芯片跑出3倍英伟达性能！”大家好，我是蚝油菜花。当科技巨头用天价H100显卡筑起算力高墙时，中国团队用
蚝油菜花·2025-03-16 21:15

Stable Diffusion 模型具体如何设置参数？

num_inference_steps：控制模型推理的步数。步数越多，生成的图像质量通常越高，但生成时间也会相应增加。
壁纸样机神器·2025-03-16 19:01

秒懂Yarn：从安装到配置的全流程详解

二、Yarn的优势1.速度快2.离线模式3.确定性4.更好的语义化三、安装Yarn1.通过npm安装Yarn2.通过Homebrew安装（适用于macOS）3.通过Chocolatey安装（适用于Windows
洛秋_·2025-03-16 18:59

RAG技术深度解析：从基础Agent到复杂推理Deep Search的架构实践

重磅推荐专栏：《大模型AIGC》《课程大纲》《知识星球》本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和StableDiffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经验分享，旨在帮助读者更好地理解和应用这些领域的最新进展一、什么是RAGAgent？1.从信息处理到智能生成在自然语言处
小爷毛毛（卓寿杰）·2025-03-16 18:56

知识图谱与知识表示：人工智能的基石

知识图谱与知识表示：人工智能的基石一、知识图谱：连接数据的桥梁1.1知识图谱的构成1.2知识图谱的应用二、知识表示：AI的推理基础2.1知识表示的定义2.2知识表示的形式三、从符号表示到向量表示3.1符号表示与向量表示
醉心编码·2025-03-16 16:47
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他