边缘推理

如何测试模型的推理速度

前言模型的推理速度测试有两种方式：一种是使用python的时间戳time函数来记录，另一种是使用Pytorch里的Event。同时，在进行GPU测试时，为减少冷启动的状态影响，可以先进行预热。
想要躺平的一枚·2025-03-17 02:59

【大模型实战篇】对比包括QwQ-32B在内的不同推理模型的吞吐量表现

因为项目对推理模型的性能有比较高的要求，因此对目前一些主流的推理模型做了对比，包括QwQ-32B、QwQ-32B-GPTQ-INT4、QwQ-32B-GPTQ-INT8、Light-R1-14B-DS进行了吞吐量的对比实验
源泉的小广场·2025-03-17 01:49

DeepSeek：技术教育领域的AI变革者——从理论到实践的全面解析

DeepSeek作为国产开源大模型的代表，凭借其推理能力、多模态支持与低成本部署的特性，正在为技术教育带来突破性解决方案。
量子纠缠BUG·2025-03-16 23:03

小语言模型（SLM）技术解析：如何在有限资源下实现高效AI推理

引言：为什么小语言模型（SLM）是2025年的技术焦点？2025年，人工智能领域正经历一场“由大变小”的革命。尽管大语言模型（LLM）如GPT-4、GeminiUltra等在复杂任务中表现惊艳，但其高昂的算力成本、庞大的参数量（通常超过千亿）和依赖云端的特性，使得实际落地面临诸多瓶颈。**小语言模型（SmallLanguageModel,SLM）**应运而生，凭借其高效性、经济性和本地化部署能力，
硅基打工人·2025-03-16 22:52

推理引擎3倍提速+50%省卡，国产芯片告别英伟达绑架

❤️如果你也关注AI的发展现状，且对AI应用开发感兴趣，我会每日分享大模型与AI领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！AI在线答疑->智能检索历史文章和开源项目->丰富的AI工具库->每日更新->尽在微信公众号->搜一搜：蚝油菜花“还在为天价H100排队？清华让国产芯片跑出3倍英伟达性能！”大家好，我是蚝油菜花。当科技巨头用天价H100显卡筑起算力高墙时，中国团队用
蚝油菜花·2025-03-16 21:15

Stable Diffusion 模型具体如何设置参数？

num_inference_steps：控制模型推理的步数。步数越多，生成的图像质量通常越高，但生成时间也会相应增加。
壁纸样机神器·2025-03-16 19:01

RAG技术深度解析：从基础Agent到复杂推理Deep Search的架构实践

重磅推荐专栏：《大模型AIGC》《课程大纲》《知识星球》本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和StableDiffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经验分享，旨在帮助读者更好地理解和应用这些领域的最新进展一、什么是RAGAgent？1.从信息处理到智能生成在自然语言处
小爷毛毛（卓寿杰）·2025-03-16 18:56

知识图谱与知识表示：人工智能的基石

知识图谱与知识表示：人工智能的基石一、知识图谱：连接数据的桥梁1.1知识图谱的构成1.2知识图谱的应用二、知识表示：AI的推理基础2.1知识表示的定义2.2知识表示的形式三、从符号表示到向量表示3.1符号表示与向量表示
醉心编码·2025-03-16 16:47

计算机网络：（一）详细讲解互联网概述与组成 （附带图谱更好对比理解）

计算机网络（一）详细讲解互联网概述与组成前言一、计算机网络在信息时代中的作用二、互联网概述1.网络中的网络2.互联网基础的三个阶段3.什么是标准化工作三、互联网的组成1.边缘部分2.核心部分总结（核心概念速记
珹洺·2025-03-16 16:46

大模型巅峰对决：DeepSeek vs GPT-4/Claude/PaLM-2 全面对比与核心差异揭秘

喜欢可以到主页订阅专栏目录技术架构对比性能表现与基准测试多模态与多语言能力推理效率与成本分析开源生态与行业适配应用场景与案例研究未来发展与技术趋势代码实现与调用示例1.技术架构对比DeepSeek：动态稀疏激活的混合专家系统
accurater·2025-03-16 16:40

基于DeepSeek R1构建下一代Manus通用型AI智能体的技术实践

目录一、技术背景与目标定位1.1大模型推理能力演进趋势1.2DeepSeekR1核心特性解析-混合专家架构(MoE)优化-组相对策略优化(GRPO)原理-多阶段强化学习训练范式1.3Manus智能体框架设计理念
zhangjiaofa·2025-03-16 15:08

python-提示词对大模型推理有多重要？

文章目录前言测试一个失败的提示词提示词内容knowledge内容提问的内容得到的回答说点啥能引导的提示词提示词内容knowledge内容提问的内容得到的回答说点啥结束语前言神级提示词一度成为AI圈的热搜，那么提示词对大模型推理到底有多重要
给自己做加法·2025-03-16 15:07

Manus（一种AI代理或自动化工具）与DeepSeek（一种强大的语言模型或AI能力）结合使用任务自动化和智能决策

其核心优势在于海量参数支持的深度学习和知识推理能力，例如撰写论文、润色法律合同、解答专业问题等。Manus则更强调从规划到交付的闭环能力。它通过工具链调用（如浏览器、代码编辑器）自主执行复杂任务，
zzlyx99·2025-03-16 15:01

使用yolov8+flask实现精美登录界面+图片视频摄像头检测系统

这个是使用flask实现好看登录界面和友好的检测界面实现yolov8推理和展示，代码仅仅有2个html文件和一个python文件，真正做到了用最简洁的代码实现复杂功能。
FL1623863129·2025-03-16 13:49

机器学习的下一个前沿是因果推理吗？——探索机器学习的未来方向！

机器学习的进化：从预测到因果推理机器学习凭借强大的预测能力，已经彻底改变了多个行业。然而，要实现真正的突破，机器学习还需要克服实践和计算上的挑战，特别是在因果推理方面的应用。
真智AI·2025-03-16 13:49

主流开源大模型能力对比矩阵

模型名称核心优势主要局限Llama2/3✅多语言生态完善✅Rotary位置编码✅GQA推理加速⚠️数据时效性差⚠️隐私保护不足Qwen✅千亿参数规模✅中文语境优化✅复杂文本生成⚠️需高性能硬件⚠️领域知识需二次训练
时光旅人01号·2025-03-16 12:09

AGI的学习与适应能力

与狭义人工智能(NarrowAI)专注于特定领域和特定任务不同,AGI旨在模拟人类整体认知能力,包括感知、推理、学习、计划、创造力和自我意识等。1.2AGI的重要性和
AGI大模型与大数据研究院·2025-03-16 08:14

基于 KTransformers的DeepSeek-R1 本地部署方案，成本骤降32倍！

本文将深入探讨DeepSeek-R1部署中的挑战，并介绍一款创新框架KTransformers，它能够显著降低大规模模型部署的成本并提高推理效率，从而帮助更多中小企业有效部署此类高级AI模型。
爱科技Ai·2025-03-16 07:38

程序员必看！DeepSeek全栈开发指南：从代码生成到分布式训练的黑科技解析

一、DeepSeek技术新突破：程序员必须掌握的MoE架构实战2025年2月25日，DeepSeek开源了专为MoE模型设计的DeepEP通信库，这项技术革新直接影响了分布式训练和推理效率。
AI创享派·2025-03-16 06:00

PCDN 与边缘计算的结合：未来内容分发的新趋势

PCDN（P2P内容分发网络）与边缘计算的结合，正逐渐崭露头角，成为未来内容分发的新趋势。PCDN通过P2P技术，利用用户节点的闲置资源进行内容分发，有效减轻了中心服务器的压力，降低了传输成本。
yczykjyxgs·2025-03-16 05:26

云计算、边缘计算与雾计算

云计算（数据上传到云端进行处理）云计算(CloudComputing)是一种基于互联网的计算方式，通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备。通俗的讲，云是网络、互联网的一种比喻说法，即互联网与建立互联网所需要的底层基础设施的抽象体。“计算”指的是一台足够强大的计算机提供的计算服务（包括各种功能，资源，存储）。“云计算”可以理解为：通过互联网可以使用足够强大的计算机为用户提
白小白呀·2025-03-16 05:55

PCDN边缘计算小白入门指南

一、PCDN边缘计算简介PCDN是一种基于P2P技术的边缘计算内容分发网络。它通过挖掘和利用边缘网络中的海量碎片化闲置资源，构建出低成本、高品质的内容分发网络服务。
神鸟云-Hu·2025-03-16 05:53

【奇点时刻】通义千问开源QwQ-32B技术洞察报告（扫盲帖）

本报告将从模型背景与定位、核心技术、性能表现与对比、部署与使用方式，以及未来潜力与可能的影响五个维度，帮助读者更好地了解这一新兴且备受瞩目的开源推理模型。
碣石潇湘无限路·2025-03-16 03:37

TensorRT-LLM保姆级教程-快速入门

随着大模型的爆火，投入到生产环境的模型参数量规模也变得越来越大（从数十亿参数到千亿参数规模），从而导致大模型的推理成本急剧增加。
大模型八哥·2025-03-16 02:34

rapidocr-onnxruntime库及在open-webui上传PDF 图像处理 (使用 OCR)应用

背景rapidocr-onnxruntime是一个跨平台的OCR库，基于ONNXRuntime推理框架。目前已知运行速度最快、支持最广，完全开源免费并支持离线快速部署的多平台多语言OCR。
原野AI·2025-03-16 02:31

NPU的应用场景：从云端到边缘

NPU的应用场景非常广泛，主要包括以下几个方面：1.云计算与数据中心AI推理服务：在云端提供高效的AI推理服务，例如图像识别、语音识别。
绿算技术·2025-03-16 02:29

HarmonyNext实战：基于ArkTS的高性能图像处理应用开发

本文将深入探讨如何利用ArkTS语言开发一个高性能的图像处理应用，重点介绍图像卷积、边缘检测等核心算法的实现。我们将从理论基础出发，逐步构建一个完整的图像处理应用，并通过优化技巧提升性能。
·2025-03-16 00:16

模型可解释性：基于因果推理的反事实生成与决策可视化

1.技术原理与数学公式1.1因果推理基础结构方程模型（SEM）：X=fX(PaX,UX)X=f_X(Pa_X,U_X)X=fX(PaX,UX)其中PaXPa_XPaX为父节点集合，UXU_XUX为外生变量反事实定义
燃灯工作室·2025-03-15 23:43

推理流水线DAG调度：多模型组合执行优化方案

一、技术原理与数学模型1.1DAG调度核心公式设推理流水线由n个模型节点组成，定义：V={v1,v2,...,vn}V=\{v_1,v_2,...,v_n\}V={v1,v2,...,vn}为节点集合E
燃灯工作室·2025-03-15 23:12

边缘设备模型量化部署：TFLite INT8校准实现细节深度解析

一、技术原理与数学公式INT8量化的核心是通过线性映射将浮点数值范围（[-max,max]）映射到8位整数范围（[-128,127]）。校准过程通过分析真实数据分布确定最优缩放因子（scale）和零点（zeropoint）：量化公式：Q=round(float_valuescale)+zero_pointQ=round(\frac{float\_value}{scale})+zero\_point
燃灯工作室·2025-03-15 23:42

Crawl4AI 与 BrowserUseTool 的详细对比

技术实现、适用场景等核心维度：1.核心定位对比工具Crawl4AIBrowserUseTool类型专为AI优化的网络爬虫框架浏览器自动化工具（模拟人类操作浏览器）核心目标高效获取结构化数据供AI训练/推理处理需要浏览器交互的动态网页任务典型应用大规模数据抓取
燃灯工作室·2025-03-15 23:42

基于时间序列预测的推理服务弹性扩缩容实战指南：（行业案例+数学推导+源码解析）

技术原理（数学公式）整体架构请求量预测→扩缩容决策→资源配置动态调整三阶段闭环，周期为5-30分钟核心预测模型（时间序列预测）LSTM预测公式（CSDN兼容格式）：$$h_t=\text{LSTM}(x_t,h_{t-1})\\\hat{y}_{t+1}=W_h\cdoth_t+b_h$$其中Wh∈Rd×1W_h\in\mathbb{R}^{d\times1}Wh∈Rd×1为权重矩阵，ddd为隐藏
燃灯工作室·2025-03-15 23:12

向量存储与检索器

它们对于应用程序来说非常重要，这些应用程序需要获取数据以作为模型推理的一部分进行推理，就像检索增强生成（
小码农0912·2025-03-15 22:05

《今日AI-人工智能-编程日报》-源自2025年2月28日

技术突破OpenAI发布GPT-4.5：OpenAI正式推出新一代大模型GPT-4.5，语言理解、情商及逻辑推理能力显著增强，幻觉问题大幅减少，计算效率较GPT-4提升超10倍，已逐步向用户开放试用。
小亦编辑部·2025-03-15 22:59

OpenCV 深度学习模块 cv2.dnn 与其他深度学习框架的优缺点对比及适用场景

OpenCV提供了一个深度学习模块cv2.dnn，让开发者能够在计算机视觉项目中轻松加载和推理深度学习模型。
白.夜·2025-03-15 21:26

深度学习中的 blob 格式：与普通 image 的区别及转换原因

在深度学习模型推理过程中，我们经常会用到cv2.dnn.blobFromImage函数将普通图像转换为blob格式。那么，blob格式到底是什么？它和普通image有什么区别？
白.夜·2025-03-15 21:25

DeepSeek多语言智能创作引擎解析

尤为突出的是，其分层参数激活策略将推理成本降低至传统密集模型的38%，同时维持了95%以上的任务完成精度。行业分析机构
智能计算研究中心·2025-03-15 20:22

python opencv轮廓检测_python opencv中的不规则形状检测和测量

我的想法是使用形态梯度沿着冰晶获得良好的边缘并从那里开始工作;形态梯度似乎很有效.importnumpyasnpimportcv2img=cv2.imread('image.png')blur=cv2.
weixin_39584529·2025-03-15 18:04

模型的秘密武器：利用注意力改善长上下文推理能力

【导语】在大语言模型（LLM）不断刷新各项任务记录的今天，很多模型宣称能处理超长上下文内容，但在实际推理过程中，复杂问题往往因隐性事实的遗漏而败下阵来。
步子哥·2025-03-15 16:51

大型语言模型与强化学习的融合：迈向通用人工智能的新范式——基于基础复现的实验平台构建

1.引言大型语言模型（LLM）在自然语言处理领域的突破，展现了强大的知识存储、推理和生成能力，为人工智能带来了新的可能性。
（initial）·2025-03-15 16:17

我与DeepSeek读《大型网站技术架构》- 大型网站架构技术一览与Web开发技术发展历程

CDN加速：将静态资源分发至边缘节点，降低网络延迟。反向代理：缓存热点内容，提供负载均衡与
诺亚凹凸曼·2025-03-15 15:06

模型量化 (Model Quantization) 算法 (Model Quantization Algorithms)

1模型量化的必要性：降低模型大小、加速推理、减少资源消耗随着深度学习模型的日益复杂和庞大，其在资源受限的设备（如移动端、嵌入式设备）上的部署面临着巨大的挑战。
（initial）·2025-03-15 13:24

HarmonyNext实战：基于ArkTS的高性能图像处理应用开发

本文将深入探讨如何利用ArkTS语言开发一个高性能的图像处理应用，重点介绍图像卷积、边缘检测等核心算法的实现。我们将从理论基础出发，逐步构建一个完整的图像处理应用，并通过优化技巧提升性能。
·2025-03-15 10:50

认知科学：解决复杂问题的5个关键策略

这些策略包括：模式识别规则抽取推理和逻辑推理知识表示和知识图谱多模态处理我们将在接下来的部分中详细讨论这些策略，并提供代码实例和数学模型公
AI天才研究院·2025-03-15 06:25

人工智能：重塑未来生活与工作的科技力量

最初，AI的研究主要集中在逻辑推理、机器学习和自然语言处理等领域，目标是使机器能够模拟人类的智能行为。尽管在早期的探索中，AI遭遇了诸多挑战和瓶颈，但其发展潜力逐渐被认可，并在随后几十年中得到了迅速的
Geektec·2025-03-15 06:54

Anthropic 的模型

Anthropic的模型（特别是Claude系列）之所以在性能和推理能力上表现强劲，可以从技术设计、研究理念、训练方法以及应用优化等多个方面进行详细分析。
调皮的芋头·2025-03-15 06:50

DeepSeek R1有什么不同

订阅：https://rengongzhineng.io/深度思考实验室（DeepSeek）最近发布了全新的推理模型R1，声称该模型不仅性能超越目
新加坡内哥谈技术·2025-03-15 06:18

DeepSeek开源：FlashMLA深度解析：Hopper架构上的大模型推理革命

2025年2月24日，DeepSeek以「开源周」首日发布的FlashMLA技术，重新定义了Hopper架构GPU在AI推理领域的性能极限。
花生糖@·2025-03-15 03:55

LLM推理和优化（1）：基本概念介绍

一、LLM推理的核心过程：自回归生成LLM（如DeepSeek、ChatGPT、LLaMA系列等）的推理本质是自回归生成：从初始输入（如[CLS]或用户prompt）开始，逐token预测下一个词，直到生成结束符
AndrewHZ·2025-03-14 23:50

算力网络技术创新驱动生态协同发展

当前技术创新主要聚焦三大维度：在架构层面，通过异构计算、量子计算与神经形态计算的融合，突破传统芯片制程限制；在调度层面，依托分布式计算与流批处理技术，实现跨边缘节点、工业互联网平台与超算中心的资源动态编排
智能计算研究中心·2025-03-14 22:14
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他