DNN推理第3页

【AI论文】基于图像思维的多模态推理：理论基础、方法及未来前沿

摘要：近期，文本思维链（Chain-of-Thought，CoT）显著推动了多模态推理的进展。在这一范式下，模型在语言层面进行推理。

东临碣石82·2025-07-08 22:22

The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models

文章主要内容总结本文围绕大推理模型（LRMs）的推理能力展开系统研究，通过可控谜题环境分析其在不同问题复杂度下的表现，揭示其优势与局限性：研究背景与问题：当前LRMs（如OpenAIo1/o3、DeepSeek-R1

UnknownBody·2025-07-08 22:50

Prompt相关论文阅读(02)--Auto-CoT(2024-11-25)

AutomaticChainofThoughtPromptinginLargeLanguageModels(ICLR2023)碎碎念：复现代码和笔记保存到gitee仓库上海交通大学的学生在亚马逊实习的时候的成果ICLR2023摘要：LLM能够通过生成中间推理步骤执行复杂的推理

zhilanguifang·2025-07-08 20:12

DeepSeek 部署中的常见问题及解决方案

依赖库冲突：Python版本、CUDA/cuDNN不兼容的排查方法。虚拟环境配置：Anaconda或Docker环境的最佳实践。模型加载与初始化问题预训练模型下载失败：网络代理设置、手动下载替代方案。

tonngw·2025-07-08 16:42

【文献精读笔记】Explainability for Large Language Models: A Survey （大语言模型的可解释性综述）（五）

五、解释评估（ExplanationEvaluation）在前面的章节中，我们介绍了不同的解释技术和它们的用途，但评估它们如何忠实地反映模型的推理过程仍然是一个挑战。

百万年薪天才少女·2025-07-08 16:11

AI周报 250630-250706

文章目录**AI核心技术进展****a.模型架构与训练****b.推理优化与部署****c.智能体(Agent)系统****d.多模态与生成技术****e.开源框架与工具****f.评测与性能分析***

EAI工程笔记·2025-07-08 15:04

Python 领域 vllm 优化模型推理速度的方法

Python领域vLLM优化模型推理速度的方法关键词：Python、vLLM、模型推理速度、优化方法、推理性能摘要：本文聚焦于Python领域中vLLM对模型推理速度的优化方法。

Python编程之道·2025-07-08 11:14

满血DeepSeek加持的AlphaGPT，助力高文律师事务所全面拥抱AI

2025年初,中国团队精心雕琢的通用大模型DeepSeek凭借其创新的架构优化以及深入的数据挖掘技术,在逻辑推理、多轮对话和知识搜索等关键领域大放异彩,其为诸多垂直领域,特别是法律行业的智能化转型,开拓了全新的方向

·2025-07-08 11:10

大语言模型（LLM）课程学习（Curriculum Learning）、数据课程（data curriculum）指南：从原理到实践

它们似乎无所不知，能写诗、能编程、能进行复杂的逻辑推理。一个自然而然的问题是：它们是如何“学”会这一切的？大多数人会回答：“用海量数据喂出来的。”这个答案只说对了一半。

·2025-07-08 06:34

2025最新盘点：9款高效韦恩图工具推荐

在数据分析、逻辑推理以及众多学术研究领域，韦恩图都扮演着极为关键的角色。它以直观的圆形或椭圆形重叠区域，清晰地展现出不同集合之间的关系，无论是集合间的交集、并集还是补集，都能一目了然地呈现出来。

Designseek满血版·2025-07-08 06:29

【机器学习笔记 Ⅱ】4 神经网络中的推理

推理（Inference）是神经网络在训练完成后利用学到的参数对新数据进行预测的过程。与训练阶段不同，推理阶段不计算梯度也不更新权重，仅执行前向传播。

·2025-07-08 06:29

【AI论文】GLM-4.1V-思考：借助可扩展强化学习实现通用多模态推理

摘要：我们推出GLM-4.1V-Thinking这一视觉语言模型（VLM），该模型旨在推动通用多模态推理的发展。在本报告中，我们分享了在以推理为核心的训练框架开发过程中的关键发现。

东临碣石82·2025-07-08 04:43

Flutter 稳定版支持 Windows，开发者还学的动吗？

以下文章来源于code小生，关注每日干货及时送达整理|郭露责编|张红月出品|CSDN(ID:CSDNnews)Flutter是由谷歌开发的开源移动UI框架，可快速在不同平台上构建高质量原生用户界面。

·2025-07-07 22:57

开源模型应用落地-让AI更懂你的每一次交互-Mem0集成Qdrant、Neo4j与Streamlit的创新实践（四）

通过结合高性能向量数据库Qdrant、图数据库Neo4j的强大关系分析能力以及Streamlit的高效可视化交互，我们可以打造出一个既能存储用户历史行为、又能实时推理并展示结果的智能记忆助手。

开源技术探险家·2025-07-07 20:44

超轻量级中文OCR项目使用教程

超轻量级中文OCR项目使用教程chineseocr_lite超轻量级中文ocr，支持竖排文字识别,支持ncnn、mnn、tnn推理(dbnet(1.8M)+crnn(2.5M)+anglenet(378KB

甄墨疆·2025-07-07 15:14

vllm推理实践

1.vllm推理demo实验fromvllmimportLLM,SamplingParams#定义生成参数sampling_params=SamplingParams(temperature=0.7,top_p

try2find·2025-07-07 15:12

Transformer模型压缩：结构化剪枝与混合精度量化研究

Transformer模型压缩：结构化剪枝与混合精度量化研究摘要本文针对Transformer模型在实际部署中面临的计算资源消耗大、内存占用高和推理延迟等问题，提出了一种结合结构化剪枝与混合精度量化的综合压缩方案

pk_xz123456·2025-07-07 14:34

MIAOYUN | 每周AI新鲜事儿（06.27-07.04）

AI开源大模型腾讯混元发布首款开源混合推理MoE模型「Hunyuan-A13B」6月27日，腾讯混元宣布开源首个混合推理MoE模型「Hunyuan-A13B」，总参数80B，激活

·2025-07-07 11:12

AI Infra：SuperMemory，构建“记忆增强智能体（Memory-Augmented Agents）”的基础设施

这个项目是构建“记忆增强智能体（Memory-AugmentedAgents）”的基础设施，为AI提供可读、可写、可回忆、可推理的“记忆”。一、项目定位：什么是SuperMemory？

·2025-07-07 11:41

新手必看：入行大模型前一定要知道的几件事！

但这只是它的"最上层"，底下的基建、平台、算法、数据处理、推理部署……才是撑起整个技术栈的骨架。入行大模型

和老莫一起学AI·2025-07-07 09:31

Go 语言实现本地大模型聊天机器人：从推理到 Web UI 的全流程

接续Go-LLM-CPP专案，继续扩充前端聊天室功能一.专案目录架构：go-llm-cpp/├──bin/#第三方依赖│├──go-llama.cpp/#封裝GGUF模型推理（CGo）│└──llm-go

雷羿 LexChien·2025-07-07 09:55

条件概率：不确定性决策的基石

它量化了事件之间的关联性，是贝叶斯推理、统计建模和机器学习的基础。本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。

大千AI助手·2025-07-07 09:54

动手实践OpenHands系列学习笔记3：LLM集成基础

二、LLMAPI调用基础知识2.1LLMAPI基本概念API密钥认证:访问LLM服务的身份凭证提示工程:构造有效请求以获取预期响应推理参数:控制模型输出的各种参数流式响应:增

JeffWoodNo.1·2025-07-07 00:07

mediapipe流水线分析三

江太翁·2025-07-07 00:02

DeepFM算法原理及应用场景

DeepFM（DeepFactorizationMachine）是一种结合了因子分解机（FactorizationMachines,FM）和深度神经网络（DNN）的混合模型，主要用于处理高维稀疏数据（如推荐系统中的点击率预测

·2025-07-06 23:27

【深度学习】神经网络剪枝方法的分类

神经网络剪枝方法的分类摘要随着深度学习模型，特别是大语言模型（LLM）的参数量爆炸式增长，模型的部署和推理成本变得异常高昂。

烟锁池塘柳0·2025-07-06 21:06

深度学习实验：GPU加速，突破性能瓶颈

深度学习实验：GPU加速，突破性能瓶颈1.背景介绍随着深度学习模型变得越来越复杂和庞大，传统的CPU已经无法满足训练和推理的计算需求。

AI天才研究院·2025-07-06 20:57

【TensorRT】TensorRT及加速原理

一、TensorRT架构概览TensorRT是NVIDIA推出的高性能推理优化器，专为GPU加速设计。

浩瀚之水_csdn·2025-07-06 19:24

Transformer已死？2025年十大替代架构实战评测

点击跳转到网站封面图建议：十大架构3D渲染图环绕碎裂的Transformer图标，背景为动态性能雷达图副标题：实测推理速度/显存占用/长文本能力，附迁移成本决策树一、争议源起：Transformer的时代性局限

·2025-07-06 17:30

语言模型之谜：提示内容与格式的交响诗

从代码生成到数学推理，从问答系统到多项选择题，每一次技术的跃进都离不开一个看似简单却充满玄机的关键环节——提示（prompt）的设计。

步子哥·2025-07-06 17:29

Apple SoC 图像 ISP 与 Neural Engine 联合优化案例分析：性能与质量平衡的实战经验

ISP与NeuralEngine联合优化案例分析：性能与质量平衡的实战经验关键词：AppleSoC、ISP优化、NeuralEngine协同、图像处理性能、DeepFusion、SmartHDR、实时推理

观熵·2025-07-06 16:50

《剑指迷宫：破解矩阵路径之谜》

传说中，这里藏着一本神秘的典籍——《剑指天书》，书中记载着无数关于矩阵、路径和逻辑推理的奥秘。在这片土地上，有一种被称为“矩阵迷宫”的古老魔法阵。它由一个个字符格子组成，每一步只能向上下左右移动一格。

一只咸鱼大王·2025-07-06 11:07

超详细yolov8/11-segment实例分割全流程概述：配置环境、数据标注、训练、验证/预测、onnx部署(c++/python)详解

因为yolo的检测/分割/姿态/旋转/分类模型的环境配置、训练、推理预测等命令非常类似，这里不再详细叙述，主要参考**【YOLOv8/11-detect目标检测全流程教程】**，下面有相关链接，这里主要针对数据标注

·2025-07-06 09:24

YOLOv11深度解析：Ultralytics新一代目标检测架构创新与实战指南

2024年Ultralytics重磅推出YOLOv11**：在精度与速度的平衡木上再进一步，参数减少22%，推理速度提升2%，多任务支持全面升级！

芯作者·2025-07-06 08:20

百度文心一言4.5震撼发布：多模态大模型开源，4240亿参数，免费商用授权

这次开源的并不是一个单一模型，而是一个完整的多模态MoE模型家族，包括：：47B和3B的多模态MoE大模型，具备多模态感知和高性能通用推理能力多

·2025-07-06 07:38

C/C++注册机制

将接口和函数绑定(复制)*/pFunc=func;/*函数调用*/intresult=pFunc(12);1.2数组名是地址intarr[]={12,1,56,5689};int*pArr=arr;1.3不推理的写法不推荐理

·2025-07-06 01:38

Agno（一）

一、基本功能介绍Agno是一个python框架，用于构建具有共享内存、知识和推理的多代理系统。

·2025-07-06 00:28

DeepSeek-V3 私有化部署配置方案（以 vLLM / FastDeploy 为主）

以下是DeepSeek-V3私有化部署配置方案（基于vLLM/FastDeploy），适用于对模型性能、数据隐私、推理效率有要求的企业/个人部署场景。

·2025-07-06 00:55

《ONNX推理部署全解析：从基础到进阶的实用指南》

ONNX基础入门ONNX是什么ONNX，即OpenNeuralNetworkExchange（开放神经网络交换），是一种用于表示深度学习模型的开放标准文件格式。它由Facebook和Microsoft在2017年联合开发，后来得到了NVIDIA、Intel、AWS、Google、OpenAI等众多公司的支持，旨在解决不同深度学习框架之间模型格式不兼容的问题，为模型的存储、交换和部署提供统一标准，使

空云风语·2025-07-05 22:45

yolo11官方ONNXRuntime部署推理的脚本测试，包括检测模型和分割模型的部署推理

一、检测模型1.脚本路径：D:/ultralytics-main/examples/YOLOv8-ONNXRuntime/main.py2.使用案例下载好onnx模型保存至D:/ultralytics-main/models目录下，没有该目录则新建打开终端，进入虚拟环境以yolov8n.onnx模型为例，输入以下指令即可pythonD:/ultralytics-main/examples/YOLO

Revao·2025-07-05 22:12

《YOLO11的ONNX推理部署：多语言多架构实践指南》

引言：YOLO11与ONNX的相遇在计算机视觉的广袤星空中，目标检测始终是一颗耀眼的明星，其在自动驾驶、智能安防、工业检测、医疗影像分析等诸多领域都有着举足轻重的应用。想象一下，自动驾驶汽车需要实时准确地检测出道路上的车辆、行人、交通标志；智能安防系统要快速识别出监控画面中的异常行为和可疑人员；工业生产线上，需要精准检测产品的缺陷；医疗影像分析中，辅助医生检测病变区域。这些场景都对目标检测技术的准

空云风语·2025-07-05 22:40

YOLOv5Lite模型量化与TFLite转换全流程指南

YOLOv5Lite模型量化与TFLite转换全流程指南1.引言在边缘计算和移动设备上部署目标检测模型时，模型大小和推理速度是关键考量因素。

神经网络15044·2025-07-05 20:32

如何成为一名合格的 Prompt 工程师？

基础认知能力领域知识融合掌握垂直领域知识图谱（如医疗术语、法律条文），通过RAG技术实现专业语料注入案例：设计医疗诊断Prompt时需理解ICD-11疾病分类标准模型原理理解熟悉主流模型特性（如GPT-4长文本处理优势、Claude3的逻辑推理强项

csdn_tom_168·2025-07-05 18:44

YOLO 推理部署全方案」：一文掌握部署方式与性能对比！

YOLO的推理部署方法全景指南YOLO系列模型经过训练后，通常需要部署到线上环境中进行推理（inference）。

要努力啊啊啊·2025-07-05 16:59

Mamba-YOLOv8深度解析：基于状态空间模型的下一代目标检测架构（含完整代码与实战部署）文末含资料链接！

Mamba-YOLOv8架构详解2.1整体架构设计2.2核心模块：VSSblock2.3SS2D模块工作原理三、完整实现流程3.1环境配置3.2代码集成步骤3.3训练与微调四、性能分析与优化4.1精度提升策略4.2推理加速方案

博导ai君·2025-07-05 06:18

ART（Automatic Reasoning and Tool-use）：自动推理与工具使用的革命性突破

ART（AutomaticReasoningandTool-use）技术作为一项革命性的突破，为AI系统提供了自动推理并使用外部工具的能力，这标志着我们正在迈向更加智能和实用的AI时代。

·2025-07-05 02:57

OpenCV中超分辨率（Super Resolution）模块类cv::dnn_superres::DnnSuperResImpl

它属于dnn_superres模块，用于加载和运行基于深度学习的图像超分辨率模型。这个类是OpenCV中用于执行深度学习超分辨率推理的主要类。你可以用它来加载预训练的超分辨率模型（如ED

村北头的码农·2025-07-05 01:19

PyCharm如何调用DeepSeek实现AI编程？手把手教你打造智能开发环境！[特殊字符]_pycharm调用deepseek

前言DeepSeek作为国产顶尖AI大模型，凭借其强大的代码生成、逻辑推理能力，已成为开发者提升效率的利器。

AI大模型-海文·2025-07-04 15:11

百度文心大模型 4.5 系列全面开源英特尔同步支持端侧部署

百度如期兑现2月14日的预告，正式开源文心大模型4.5（ERNIE4.5）系列，涵盖10款不同参数规模的模型，包括470亿参数混合专家（MoE）模型、30亿参数MoE模型及3亿参数稠密型模型，实现预训练权重与推理代码的完全开放

·2025-07-04 10:08

ToT：思维树：借助大语言模型进行审慎的问题求解

摘要语言模型正日益被部署于广泛任务中的通用问题求解，但在推理阶段仍受限于token级、从左到右的决策过程。这意味着在需要探索、战略前瞻，或初始决策起关键作用的任务中，语言模型可能表现不佳。

AI专题精讲·2025-07-04 09:30

推荐频道

DNN推理