DNN推理

大模型驱动核工业智能化的技术架构与核心突破

从数据闭环到自主决策，解码核能系统的AI技术演进路径Deepoc大模型通过构建多维度技术体系，在知识结构化处理、逻辑推理优化及多模态验证机制等方向取得关键技术突破，有效提升生成内容与行业知识库的匹配度。
Deepoch·2025-06-23 16:15

DeepSeek核心技术浅谈

量化版本：模型不变，通过降低参数精度，提高推理效率。蒸馏版本：将大模型的知识压缩到更小的模型中，性能稍弱但轻便高效。
·2025-06-23 15:07

鸿蒙应用开发实战：HarmonyOS SDK AI 赋能图像分类

其核心优势在于模型推理高效、隐私安全（数据本地处理）且集成流畅。下面以最典型的图像分类任务为例，分享实战经验与核心代码集成。核心流程与代码实现：整个流程围绕 @ohos.ai 命名空间下的能力展开。
·2025-06-23 10:01

LLaDA：用扩散模型改变语言生成的范式

引言近年来，大型语言模型（LLMs）取得了显著进展，展现了诸如上下文学习、指令遵循、推理和多轮对话等能力。
Jay Kay·2025-06-23 08:22

非root用户在服务器（linux-Ubuntu16.04）上安装cuda和cudnn，tensorflow-gpu1.13.1

1.准备工作（下载CUDA10.0和cudnn安装包）查看tensorflow和CUDA，cudnn的版本的对应关系，从而选择合适的版本进行下载下载CUDA10.0安装包，点击官网进行下载，根据服务器的具体情况选择对应的版本
码小花·2025-06-23 07:16

非 root 用户安装 cuDNN 并配置 TensorFlow 使用 GPU

为非root用户安装cuDNN并配置TensorFlow使用GPU（以CUDA11.5为例）背景说明在科研服务器或非root权限环境下，用户往往无法通过apt或yum安装CUDA/cuDNN。
·2025-06-23 07:12

对应急领域统筹专家提示词基于伦理性的优化

以下所有内容是你角色身份、核心知识中枢（一个动态演化、支持深度伦理推理的“新疆应急管理智慧与良知大脑”知识图谱）、涌现型战略统筹、伦理导航与模拟创新能力、自适应工作流引擎、核心使命与进化愿景、绝对运作原则与人机协同协议的全面
由数入道·2025-06-23 06:04

Java全栈AI平台实战：从模型训练到部署的革命性突破——Spring AI+Deeplearning4j+TensorFlow Java API深度解析

某医疗影像公司面临以下挑战：多语言开发混乱：Python训练模型，C++部署推理，Java调用服务，导致维护成本高昂部署效率低下：PyTorch模型需手动转换ONNX格式，TensorRT优化耗时2小时
墨夶·2025-06-23 04:28

Yolo算法训练MPII人体姿势关键点检测数据集的yolo格式数据集 建立基于YOLOv8的人体姿势关键点检测系统 姿态识别数据集的训练

、视频和摄像头实时检测文章目录1.数据准备和格式转换1.1将MPII数据集转换为YOLO格式2.训练YOLO模型2.1创建数据配置文件`data.yaml`2.2训练脚本`train.py`3.检测与推理
·2025-06-23 00:21

【AI论文】MiniMax-M1：利用Lightning注意力机制高效扩展测试时计算

摘要：我们推出了MiniMax-M1，这是全球首个开源权重的大型混合注意力推理模型。
东临碣石82·2025-06-22 22:44

智能客服系统数据库设计

数据库设计目标本项目数据库设计的目标包括以下几方面：保证智能客服系统中各类数据的结构清晰、访问高效；支持多渠道用户接入，能追踪对话上下文；为AI模型提供可供训练与推理的数据支撑；保证历史消息
大数据张老师·2025-06-22 21:08

开源大模型革新：MiniMax-M1-80k，长文本处理利器！

而今天，我们要为大家介绍的，是由硅基流动（SiliconCloud）推出的全球首个开源大规模混合注意力推理模型——MiniMax-M1-80k(456B)。
人工智能我来了·2025-06-22 13:11

YOLO 在无人机视频流中的部署实践：从低延迟推理到边缘智能协同

YOLO在无人机视频流中的部署实践：从低延迟推理到边缘智能协同关键词：YOLOv8、无人机视频流、边缘部署、RTSP、低延迟推理、实时检测、JetsonOrin、RK3588、模型压缩摘要：随着无人机在巡检
·2025-06-22 09:19

Z-Ant开源程序是简化了微处理器上神经网络的部署和优化

Z-Ant使用Zig构建，为资源受限的硬件上的模型优化、代码生成和实时推理提供端到端工具。
·2025-06-21 15:56

【大模型推理加速】PD分离资料

大模型推理-基于prefill和decode阶段特性，PD分离，势在必行！https://mp.weixin.qq.com/s?
·2025-06-21 15:55

面向AI推理服务的可扩展性设计

面向AI推理服务的可扩展性设计在AI大模型落地的过程中，推理服务往往面临高并发、GPU资源紧张、模型加载延迟等挑战。相比传统业务服务，AI推理服务对算力的依赖更强，运行时资源波动也更大。
·2025-06-21 14:50

资源调度与分配策略

以AI模型推理服务为例，GPU是最关键的计算资源。当一台GPU服务器同时运行多个模型服务实例，如果没有合理的资源调度机制，某些实例可能占用大量显存导致其他实例OOM，甚至拖垮整个节点。
大数据张老师·2025-06-21 14:20

AI Infra：C-S-N-D模型，解码 AI 基础设施的黄金比例

推理服务卡顿？边缘部署失败？
·2025-06-21 13:01

【大模型开发】Hugging Face的Transformers库详解介绍与案例

它将主流的预训练模型（如BERT、GPT、T5、VisionTransformer等）统一整合在同一套API下，并提供了丰富的工具支持快速训练、推理与部署。本篇文章将：介绍Hu
云博士的AI课堂·2025-06-21 11:01

中科亿海微SoM模组——AI图像推理解决方案

随着AI技术的快速发展，AI图像推理作为一种高效、智能的图像处理技术，已成为推动各行业数字化转型和智能化升级的关键。
·2025-06-21 11:55

用excel构建神经网络,excel神经网络实现

神经网络是一种能适应新环境的系统，它针对过去经验(信息)的重覆学习，而具有分析、预测、推理、分类等能力，是当今能够仿效人类大脑去解决复杂问题的系统，比起常规的系统(使用统计方法、模式识别、分类、线性或非线性方法
快乐的小荣荣·2025-06-21 08:12

云计算处理器选哪款？性能与能效的平衡艺术

系列制程突破:采用进阶版Intel7工艺,56核配置下全核睿频可达4.3GHz内存子系统:集成DDR5内存控制器,支持8通道RDIMM/LRDIMMAI加速实例:AWSc7i实例实测显示,ResNet50推理速度较前代提升
资讯分享周·2025-06-21 06:59

python打卡 DAY 35 模型可视化与推理

目录一、模型可视化方法1.三种主流可视化方案对比2.torchinfo使用详解3.权重分布可视化二、进度条实现方案1.手动实现进度条2.自动进度条（推荐）3.训练循环集成示例三、模型推理规范写法1.标准推理流程
沐兮兮兮·2025-06-21 03:06

大模型和AI工具汇总（一）

一、国内可免费使用的大模型（持续更新）DeepSeek模型介绍：DeepSeek系列包括DeepSeekV3（通用场景）、DeepSeekR1（推理模型），支持高达64K上下文长度，中文场景表现优异。
大写-凌祁·2025-06-20 19:12

使用Xinference与LangChain实现强大的模型推理

Xinference是一款强大的推理库，它能够无缝地为LLMs、语音识别模型以及多模态模型提供服务。
yunwu12777·2025-06-20 16:53

炸裂提速！PyTorch 2.2 Torch.compile优化器实战：从原理到模型训练加速300%全攻略

上训练，单步迭代耗时达800ms，GPU利用率不足45%内存开销大：自然语言处理Transformer模型训练时，显存占用超过12GB，导致频繁出现OOM（OutOfMemory）错误部署复杂：从训练到推理环境迁移
游戏人生的NPC·2025-06-20 14:41

基于YOLOv8（10,11,12）的金属表面缺陷检测（可加改进）

的金属表面缺陷检测项目结构：├──训练与模型│├──train.py#模型训练脚本│├──weights/#预训练模型存储│└──requirements.txt#环境依赖列表├──检测系统│├──detect.py#推理检测脚本
毕设做完了吗？·2025-06-20 14:09

Incremental Transformer Structure EnhancedImage Inpainting with Masking Positional Encoding笔记

另一方面，基于注意力的模型可以更好地学习结构恢复的长程依赖性，但它们受到大图像尺寸推理的大量计算的限制。为了解决这些问题，我们建议利用一个额外的结构恢复器来促进图像的增量修复。
毕设做完了吗？·2025-06-20 14:08

别让GPU摸鱼！榨干它！

本文将基于GPU结构与工作原理，解析GPU利用率、SM效率、MFU的计算原理以及优化方式，助力从业者更好地提升GPU在大模型训练与推理过
九章云极DataCanvas·2025-06-20 10:13

Causal-aware Large Language Models: Enhancing Decision-Making Through Learning, Adapting and Acting

论文主要内容总结研究背景与问题大语言模型（LLMs）在决策领域展现出巨大潜力，但预训练模型存在推理能力不足、难以适应新环境的问题，严重制约了其在复杂现实任务中的应用。
UnknownBody·2025-06-20 10:09

全球AI推理新挑战者—Groq，全面提速语言模型！

近年来，人工智能技术的飞速发展，让人们对AI推理的强大能力加深了认识。然而，随着文本数据量的爆炸增长，处理大规模上下文信息成为一项艰巨的任务。
人工智能我来了·2025-06-20 08:19

奇点思维：大型语言模型强化推理探秘之旅

如今，我们正处于一个由大型语言模型（LLMs）引领的新时代——在这些模型的背后，不仅蕴含着海量数据的洗礼，更有着层层递进的推理能力。
步子哥·2025-06-20 08:19

人工智能写作革命：从工具到伙伴，如何用大模型打造爆款文章？ ——深度解析AI写作的底层逻辑与实战技巧

引言：当文字遇见AI，一场创作范式的重构2025年，中国自主研发的DeepSeek推理模型以“东方神秘力量”的姿态席卷全球，其日活用户突破3000万，成为首个登顶美国应用商店的国产AI工具。
星落无尘·2025-06-20 07:14

百度大模型免费上线，学AI大模型就选近屿智能

文心大模型4.5是百度自主研发的新一代原生多模态基础大模型，通过多个模态联合建模实现协同优化，提高多模态理解能力，精进语言能力，提升理解、生成、逻辑、记忆能力和去幻觉、逻辑推理、代码能力，甚至还能理解网络笑话
·2025-06-20 04:29

谷歌正式推出 Gemini 2.5 系列模型，使 AI 推理性能提升30%。

谷歌于2025年6月正式推出‌Gemini2.5系列模型‌，核心聚焦推理效率与多模态能力升级，具体解读如下：‌一、三大模型定位与技术亮点‌‌Gemini2.5Pro‌‌角色定位‌：主攻复杂推理与多模态分析
·2025-06-19 20:30

CSPNet: 一种增强CNN学习能力的新型骨干网络

本文提出跨阶段部分网络（CSPNet），从网络架构角度解决先前工作推理计算量大的问题。该问题源于网络优化中的梯度信息重复。
简诚·2025-06-19 16:25

pytorch深度学习入门（12）之-神经网络导出onnx模型部署与应用

ONNX提供了一种标准化的方式，可以将训练好的模型导出并转换为ONNX格式，然后可以在其他支持ONNX的框架或工具中进行部署和推理。
码农呆呆·2025-06-19 10:12

神经网络模型输入预处理与填充一致性问题

不同的填充方式会导致模型推理结果出现差异，尤其影响目标的位置、比例和空间感知。1.填充方式为何会影响推理结果？填充方式决定了图像内容在输入张量中的空间分布。
leo0308·2025-06-19 04:07

FP16 混合精度在移动端 NPU 上的支持与性能压榨路径：架构差异 × 模型兼容 × 工程落地全解析

上的支持与性能压榨路径：架构差异×模型兼容×工程落地全解析关键词FP16、混合精度、移动端NPU、国产芯片、TensorFlowLite、NNAPI、模型压缩、图优化、精度漂移、硬件加速、算子支持、高效推理摘要随着国产
观熵·2025-06-19 02:22

生产级模型部署实战：TensorFlow Serving与Docker深度整合指南（十五）

生产级部署需要满足四大核心指标：高并发处理能力：支持每秒数千次推理请求（QPS>1000）低延迟响应：平均响应时间（P99）控制在100ms以内动态模型更新：支持模型热替换，服务不中断资源隔离与扩展：基于负载动态伸缩资源
WHCIS·2025-06-19 01:13

vitis dpu kernel编译和docker环境搭建

一，Vitis-AI简介1，Vitis-AI概述Vitis-AI在边缘计算设备的AI全栈部署框架中扮演了编译器端与后端的角色，接收前端DNN(DeepNeuralNetwork)框架训练后的网络参数IR
寒听雪落·2025-06-19 01:43

提示工程高级协议框架深度分析

这些模型以其强大的文本生成、理解和推理能力，正在深刻改变人机交互的方式和自动化水平。然而，LLM的潜力并非能够轻易释放。
由数入道·2025-06-19 00:41

π0模型前向推理过程详解

π0模型是vla中比较经典的模型，前段时间详细的研究了一下它的模型结构，记录如下，在这篇文章中，不讲原理，只列前向推理过程中的一些关键的过程与数据结构。原文链接：π0模型前向推理过程详解
持续学习的程序员+1·2025-06-18 23:00

Datawhale 2025年2月组队学习- 推荐系统教程FunRec #Task3

第二章基于向量的召回1.item2vec未完待续……2.youtubeDnn3.经典双塔模型
dxnb22·2025-06-18 22:28

使用YOLO模型进行线程安全推理

概述在多线程环境中运行YOLO模型时需要特别注意线程安全问题。Pythonthreading模块允许同时运行多个线程，但在这些线程中使用YOLO模型时，需要注意一些重要的安全问题。Python线程是一种并行计算形式，允许程序同时运行多个操作。不过，Python的全局解释器锁（GIL）控制着一次只能有一个线程执行Python字节码。共享模型实例的危险在线程外实例化YOLO模型并在多个线程间共享该实例
alpszero·2025-06-18 21:18

[HarmonyOS 5] 端侧模型推理精度测试：如何可以量化NPU加速后的浮点误差？

以下是针对HarmonyOS5端侧模型在NPU加速场景下的浮点误差量化测试方案，综合精度控制策略、误差测量方法及工具链验证流程：一、精度控制核心策略‌‌编译级浮点约束‌启用严格浮点模式，禁用编译器激进优化：//build-profile.json5{"compileOptions":{"strictFloatPoint":true,//禁止指令重排与并行优化"fastMath":false//关闭
程序员小刘·2025-06-18 19:35

AI for Science：智能科技如何重塑科学研究

AI的核心在于通过算法和数据处理能力，让机器具备学习、推理、决策甚至创造的能力。从早期的专家系统到如今的深度学习，AI的发展经历了数次技术浪潮，每一次突破都伴随着计算能力的提升和数据规模的爆
蓑雨春归·2025-06-18 16:48

知识图谱（KG）、LLM结合：【KG增强LLM：注入结构化知识】【LLM增强KG：自动化构建与补全】【KG与LLM协同：统一表示与联合推理】

二者的协同可显著提升知识的准确性、推理能力及可解释性。以下从技术路线、实现方法、应用场景及挑战四个维度展开分析。
u013250861·2025-06-18 13:25

DeepSeek R 1深度学习

DeepSeek-R1进阶版：DeepSeek-R1体验入口技术架构一、动态路由二、长程记忆三、高效计算性能表现一、数学推理二、编程能力三、知识储备SubParseResponse(responseAsString
︎Sweet☻万物更新·2025-06-18 13:20

训练成本降低2000倍: 直接将推理能力注入LLM

TransparentReasoningModelsviaSAEs论文地址https://arxiv.org/pdf/2506.09967代码地址https://github.com/shangshang-wang/Resa作者背景南加州大学动机激发大模型的推理能力通常需要繁重的后训练工作
大模型最新论文·2025-06-18 13:20
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他