DNN推理第8页

【Agent】开源DeepResearch框架Open Deep Research

一、基本解读OpenDeepResearch是一个基于Next.js构建的智能研究助手，核心创新点在于将Firecrawl数据抓取引擎与多模型推理能力结合。

kakaZhui·2025-06-18 11:05

香橙派 AIpro

nwsuaf_huasir·2025-06-18 10:31

AutoSpatial：通过高效空间推理学习实现机器人视觉语言推理和社交导航

作者：YangzheKong,DaeunSong,JingLiang,DineshManocha,ZiyuYao,andXuesuXiao单位：乔治梅森大学，马里兰大学论文标题：AutoSpatial:Visual-LanguageReasoningforSocialRobotNavigationthroughEfficientSpatialReasoningLearning论文链接：https:

视觉语言导航·2025-06-18 09:53

具身智能系统中的未来预测机制构建：从序列建模到动态场景生成

具身智能系统中的未来预测机制构建：从序列建模到动态场景生成关键词具身智能、未来预测、世界模型、序列建模、场景生成、Transformer、状态模拟、仿真推理、长时记忆建模、感知驱动预测摘要在具身智能系统中

观熵·2025-06-18 07:42

Qwen2.5：模型训练和推理核心参数介绍

详细介绍：https://mp.weixin.qq.com/s/0zLHA_VQkD3tf0BSzjd7Ag一、remove_columns删除选定的列作用：去掉原始数据集里面的字段以及对应的数据。原因：如果不去掉，在进行微调时，模型就会将数据集原始字段和新加的字段一起输入到模型，导致格式与期望的不一致。二、TrainingArguments核心参数2.1基础训练设置参数介绍output_dir(

艾墨舟启航·2025-06-18 04:51

AI大模型的概念验证与落地

Transformer,自然语言处理,计算机视觉,概念验证,落地应用,模型训练,模型部署1.背景介绍近年来，人工智能（AI）技术取得了飞速发展，其中，大模型作为AI领域的重要组成部分，展现出强大的学习和推理能力

AI智能应用·2025-06-18 04:19

DeepSeek 源码解构：从 MoE 架构到 MLA 的工程化实现

而MLA作为一种多层次结构，在更大规模的数据集上展现出了出色的性能，尤其在模型训练和推理效率方面表

威哥说编程·2025-06-18 02:08

部署 DeepSeek 需要安装OpenLIama（即 OLama）

它是DeepSeek的核心依赖之一，负责处理模型的加载和服务器端的推理。2.本地部署DeepSeek需要OLama吗？是的。为了在本地部署DeepSeek，需要安装和配置OLama，因为它会负

gzgenius·2025-06-17 21:07

MiniMax发布MiniMax-M1推理模型，支持100万Token上下文，降低成本。

公司以创新的MoE（混合专家）架构和闪电注意力机制（LightningAttention）技术著称，先后推出支持200K上下文长度的abab6.5模型和全球首个开源混合架构推理模型MiniMax-M125

我的学校你进不来·2025-06-17 20:29

【MCP】连接阿里云百炼MCP至Cursor及其他AI工具

阿里云百炼（BailianModelComputingPlatform,MCP）提供了强大的模型推理能力和丰富的模型选择。Cursor作为一款“AINative”的代码编辑器，深度集成了LLM

HeXDev·2025-06-17 20:59

✨零基础手把手｜Docker+vLLM极速部署OpenAI风格API：5分钟4卡GPU推理+避坑指南+完整镜像配置

一、Docker基础命令查看容器状态dockerps#查看运行中的容器dockerps-a#查看所有容器（包括已停止的）查看镜像列表dockerimages#列出本地所有镜像二、镜像与容器操作镜像打包为.tar文件dockersave-o#将镜像导出为.tar文件#示例：dockersave-omy_image.tarvllm/vllm-openai:v0.8.4打包多个镜像到一个文件docker

·2025-06-17 18:16

「大模型学习」(10)LLM的量化（GPTQ、LLM.int8()、AWQ）不信你学不会！

通过对模型进行量化，减少HBM和TensorCore之间的数值传输量，从而加快模型推理时间。显卡对整数运算速度快于浮点型数据，从而加快模型推理时间。为什么量化对神经网络精度影响不大？

木楚子·2025-06-17 16:32

海思Hi3516实现板端推理（附c++源码）

提示：本文主要讲述利用SVPACL提供的API实现板端推理，用于实现图像的目标检测。源码下载链接在文末目录前言一、什么是SVPACL？

静_俭·2025-06-17 16:59

LangSmith 实战指南：大模型链路调试与监控的深度解析

且在包含多个处理步骤的复杂智能体中，思维链推理过程的中间思考步骤通常对开发者不可见，进一步增加了调试的复杂性。

N201871643·2025-06-17 14:48

【Triton 教程】triton_language.arange

它旨在提供一个基于Python的编程环境，以高效编写自定义DNN计算内核，并能够在现代GPU硬件上以最大吞吐量运行。

·2025-06-17 12:44

旅游规划智能体之ReAct Agent实战

ReAct框架作为现代AIAgent开发的核心技术之一，为构建具备复杂推理能力的智能系统提供了重要的理论基础和实践指导。

敲键盘的小夜猫·2025-06-17 07:30

pytorch2.6安装

文章目录cuda：cuda_11.8.0_522.06_windowscudnn：cudnn-windows-x86_64-8.6.0.163_cuda11-archivecondacreate-npytorch2.6python

AoDeLuo·2025-06-17 04:04

【2025保姆级教程】DeepSeek全场景使用指南：从避坑到高阶玩法

四大核心优势1.技术性价比革命✅混合专家架构（MoE）：仅激活370亿参数即可实现GPT-4级别性能，推理成本降低80%✅中文优化：文言文翻译准确率92.3%，远超国际开源模型✅多模态支持：支持PDF/

Lucas55555555·2025-06-17 01:15

百万行级代码理解要不要建立Codebase RAG能力？cline说不

作为开源AInativeIDE的Top产品，一致被诟病的一点是，prompt全靠拼接，全靠Claude4200K上下文推理能力。处理百万行代码仓，对比Cursor毫无优势可言。"

小橘子就是小橘子·2025-06-16 23:38

『大模型笔记』基于Transformer的生成式模型分布式服务系统

基于Transformer的生成式模型分布式服务系统文章目录一、生成模型的推理过程二、当前推理系统的局限1.不灵活的请求级调度（request-levelbatch）2.批处理受限于请求形状不同三、Orca

AI大模型前沿研究·2025-06-16 23:07

win10安装wsl2(ubuntu20.04)并安装 TensorRT-8.6.1.6、cuda_11.6、cudnn

参考博客：1.CUDA】如何在windows上安装Ollama3+openwebui（docker+WSL2+ubuntu+nvidia-container）：https://blog.csdn.net/smileyan9/article/details/1403916672.在Windows10上安装WSL2：https://download.csdn.net/blog/column/10991

狄龙疤·2025-06-16 23:03

深入探究 Python 领域 vllm 的核心功能_副本

深入探究Python领域vLLM的核心功能：让大模型推理像高铁一样高效关键词：vLLM、大语言模型推理、PagedAttention、连续批处理、GPU优化摘要：大语言模型（LLM）的推理效率一直是工业落地的

Python编程之道·2025-06-16 22:58

【论文解读】OmegaPRM：MCTS驱动的自动化过程监督，赋能LLM数学推理新高度

1stauthorLiangchenLuo‪YinxiaoLiu‬-‪GoogleScholar‬paper:[2406.06592]ImproveMathematicalReasoninginLanguageModelsbyAutomatedProcessSupervisioncode:sanowl/OmegaPRM:thisisanimplementationforthepaperImprov

vlln·2025-06-16 21:54

【GPU】使用 pytorch 检测 CUDA 安装是否成功

CUDA_VISIBLE_DEVICES"]="0"print(torch.cuda.device_count())print(torch.cuda.is_available())print(torch.backends.cudnn.is_available

comedate·2025-06-16 15:43

Python OpenCV 4.10 库详解

滤波、边缘检测VideoIO模块：视频和摄像头操作HighGUI模块：用户界面功能，窗口管理、事件处理Features2D模块：特征检测和匹配（SIFT、ORB等）ObjDetect模块：目标检测算法DNN

yz123lucky·2025-06-16 14:37

大模型推理优化

什么是大模型推理**大模型推理其实就是大模型如何输出，怎么输出，输出什么的过程。

slient_love·2025-06-16 14:06

解锁Grok-3的极致潜能：高阶应用与创新实践

引言Grok-3，作为xAI公司推出的第三代人工智能模型，以其强大的推理能力和多模态处理能力在全球AI领域掀起了热潮。

淮橘√·2025-06-16 14:06

LangChain智能体执行引擎AgentExecutor详解

当智能体需要执行多步操作时，例如多次调用工具或进行循环推理，开发者必须手动处理多个复杂

·2025-06-16 14:35

TensorFlow与Pytorch的区别

它能够进行深度神经网络的训练和推理，具有高效、灵活、跨平台等优点，被广泛应用于图像识别、语音识别、自然语言处理、推荐系统等领域。

m0_49517971·2025-06-16 11:44

征程 6｜Cache 使用场景

一、缓存机制基础1.1缓存类型对比1.2典型应用场景缓存缓冲区：适用于高频CPU访问场景（如AI推理中间数据）非缓存缓冲区：适用于设备直传场景（如DMA数据流）二、数据一致性问题深度解析2.1DMA-CPU

·2025-06-16 10:47

经典论文阅读《A Framework for Unifying Reordering Transformations》《统一重排序变换的框架》

框架旨在为变换提供一种统一的表示和推理方式。作为框架的一部分，我们提供了辅助构建和使用调度的算法，特别是用于检验调度合法性、对齐调度以及为调度生成优化代码的算法。

好好学习啊天天向上·2025-06-16 09:29

【项目实训】【项目博客#06】大模型微调与推理优化（4.21-5.11）

【项目实训】【项目博客#06】大模型微调与推理优化（4.21-5.11）文章目录【项目实训】【项目博客#06】大模型微调与推理优化（4.21-5.11）项目博客概述一、整体架构设计二、QLora量化微调技术

elon_z·2025-06-16 05:07

llama3源码解读之推理-infer

文章目录前言一、整体源码解读1、完整main源码2、tokenizer加载3、llama3模型加载4、llama3测试数据文本加载5、llama3模型推理模块1、模型推理模块的数据处理2、模型推理模块的

tangjunjun-owen·2025-06-16 05:05

我可以理解llama.cpp是用C++实现了算法，而其他项目一般用python实现？

llama.cpp项目:主要用于推理和部署。下面我们来详细对比一下这两种方式的异同和优劣。范式一：Python+C++/CUDA后端(主流方式)这是绝大多数AI项目（包

欧先生^_^·2025-06-16 05:35

Mozilla 开源 llamafile:大语言模型分发与部署新范式

然而,这些LLM的训练和推理对计算资源提出了极高要求,动辄数十甚至数百GB的模型体积也给分发和部署带来诸多不便。

codebat_raymond·2025-06-16 05:33

YOLOv4 训练与推理流程详解

✅YOLOv4训练与推理流程详解一、前言YOLOv4是目标检测领域的一次重要升级，由AlexeyBochkovskiy等人在论文《YOLOv4:OptimalSpeedandAccuracyofObjectDetection

要努力啊啊啊·2025-06-16 02:45

微信小程序开发文档指南：全面解析 wx.getInferenceEnvInfo API

本文将详细介绍wx.getInferenceEnvInfoAPI，该API用于获取通用AI推理引擎版本，并详细解析其参数、回调函数、使用场景和实际应用案例。

梦玄网络安全·2025-06-15 23:31

专注于医疗领域的多模态开源大型语言模型：Lingshu-32B

该模型的问世旨在为医疗行业提供更精准、更高效的多模态文本理解与推理服务，其相关研究以论文《Lingshu：AGeneralistFoundationMode

Open-source-AI·2025-06-15 23:55

Linux下编译并打包MNN项目迁移至其他设备

1.构建项目结构该项目是利用MNN框架对MTCNN网络进行推理，实现对目标的实时检测运行环境：Linux相关库：opencv，MNN先给出项目的总体结构，如下：mtcnn_mnn/├──include/

AI小小怪·2025-06-15 22:47

caffe中Makefile.config详解

#cuDNNaccelerationswitch(uncommenttobuildwithcuDNN).#USE_CUDNN:=1"CuDNN是NVIDIA专门

《一夜飘零》·2025-06-15 22:46

KAG框架在E-Health问答中的应用

逻辑形式引导的推理引擎逻辑形式生成与转换：根据用户的医

徐福记c·2025-06-15 17:20

预训练、指令微调与RLHF如何塑造LLM

大型语言模型（LLM）那令人惊叹的语言理解、生成和在特定引导下的推理能力，并非魔法的产物，而是源于一个极其复杂、耗资巨大且经过精心设计的多阶段训练过程。

由数入道·2025-06-15 16:15

S4-Driver: Scalable Self-Supervised Driving Multimodal Large Language Model with Spatio-Temporal

文章主要内容总结本文提出了一种基于多模态大语言模型（MLLM）的可扩展自监督自动驾驶运动规划框架S4-Driver，旨在解决端到端自动驾驶中依赖人工标注和3D空间推理能力不足的问题。

UnknownBody·2025-06-15 15:37

基于LatentSync的音频对口型数字人

本篇内容聚焦于LatentSync项目的部署流程与模块运行机制，围绕模型配置、推理脚本、训练流程及可视化界面的使用展开讲解，梳理各部分在项目启动

Mr数据杨·2025-06-15 12:17

AI Agent 核心策略解析：Function Calling 与 ReAct 的设计哲学与应用实践

本文将深入探讨两种核心的Agent设计策略：FunctionCalling（函数调用）和ReAct（推理+行动），分析它们的设计原理、应用场景及协同价值，为开发者提供技术选型参考。

DZSpace·2025-06-15 05:01

NORA：一个用于具身任务的小型开源通才视觉-语言-动作模型

现有的视觉-语言-动作(VLA)模型在零样本场景中展现出优异的性能，展现出令人印象深刻的任务执行和推理能力。然而，视觉编码的局限性也带来巨大的挑战，这可能导致诸如物体抓取等任务的执行失败。

三谷秋水·2025-06-15 00:51

一文彻底搞懂大型语言模型（LLM）：核心机制、训练流程、关键技术与未来展望（LLM领域必读）

它们不仅能与人流畅对话、写作，甚至在编程、逻辑推理等领域也展现出令人惊叹的能力。那么，这些“语言巨匠”究竟是什么？它们如何工作？又将如何重塑我们的世界？本文将给你娓娓道来。

浠寒AI·2025-06-14 22:11

认知架构如何提升AI原生应用的智能化水平？

关键词：认知架构、AI原生应用、智能决策、记忆模块、推理引擎摘要：本文将从"AI原生应用为何需要更聪明的大脑"这一问题出发，通过类比人类认知系统，深入解析认知架构的核心模块（感知、记忆、推理、决策）如何协同工作

AGI大模型与大数据研究院·2025-06-14 18:11

基于OpenCV和深度学习实现图像风格迁移

今天我们将介绍如何使用OpenCV的dnn模块加载预训练的深度学习模型，快速实现图像风格迁移效果。一、准备工作首先确保你已经安装了OpenCV库：p

E-An居士·2025-06-14 15:14

目标检测算法——YOLO-Word——算法详解

一、概述1、是什么是一个目标检测器，通过结合CLIP文本编码器，拥有了开放检测（推理时识别训练时没有的目标）的能力。

TigerZ*·2025-06-14 08:44

推荐频道

DNN推理