边缘推理

第三篇：模型压缩与量化技术——DeepSeek如何在边缘侧突破“小而强”的算力困局

——从算法到芯片的全栈式优化实践随着AI应用向移动终端与物联网设备渗透，模型轻量化成为行业核心挑战。DeepSeek通过自研的“算法-编译-硬件”协同优化体系，在保持模型性能的前提下，实现参数量与能耗的指数级压缩。本文从技术原理、工程实现到落地应用，完整解析其全链路压缩技术体系。第一章算法层创新：结构化压缩与动态稀疏化1.1非均匀结构化剪枝技术DeepSeek提出**“敏感度感知通道剪枝”（SAC

python算法(魔法师版)·2025-02-03 05:43

图像边缘检测与轮廓提取详解及python实现

目录图像边缘检测与轮廓提取详解第一部分：图像边缘检测与轮廓提取概述1.1什么是边缘检测和轮廓提取？1.2边缘检测与轮廓提取的应用领域1.3为什么需要边缘检测和轮廓提取？

闲人编程·2025-02-03 03:25

第二篇：多模态技术突破——DeepSeek如何重构AI的感知与认知边界

——从跨模态对齐到因果推理的工程化实践在AI技术从单一模态向多模态跃迁的关键阶段，DeepSeek通过自研的多模态融合框架，在视觉-语言-语音的联合理解与生成领域实现系统性突破。

python算法(魔法师版)·2025-02-03 02:51

kimi o1和deepseek o1对比，非常直观！

刘俊是丁师兄大模型2025年01月25日21:34湖北两家凑巧同一天放出了解题推理模型，简单对比着看了下实现方案，o1类模型实现并没有和大家早期推测的那样用上MCTS，PRM这些方法，个人感觉也是太复杂的方法

AI生成曾小健·2025-02-03 02:46

DeepSeek-V2：强大、经济、高效的专家混合语言模型

gitcode.com/gh_mirrors/de/DeepSeek-V2项目介绍DeepSeek-V2是一款强大的专家混合（Mixture-of-Experts,MoE）语言模型，以其经济高效的训练和推理能力著称

乌芬维Maisie·2025-02-03 01:12

DeepSeek-R1,DeepSeek-V3,DeepSeek-VL,DeepSeek-V2,DeepSeek-R1-Zero各个模型区别

目录1.各个模型架构2.训练方式3.模型参数与规模4.应用场景5.性能表现6.发布时间7.价格1.各个模型架构DeepSeek-R1：未明确有特殊架构说明，但属于推理模型，可能在Transformer架构基础上针对推理做了优化

fpga和matlab·2025-02-03 01:12

Three.js 后期处理（Post-Processing）详解

后期处理实现示例3.1基础代码四、常见的后期处理效果4.1辉光效果（UnrealBloomPass）4.2景深（BokehPass/DepthofField）4.3运动模糊（MotionBlurPass）4.4边缘检测

山楂树の·2025-02-02 21:41

机器学习进阶-图像金字塔与轮廓检测-图像金字塔(拉普拉斯金字塔)

拉普拉斯金字塔:使用原始图片-pyrUp(pyrDown(Gi))，获得的结果有一点像边缘轮廓的提取上图的意思：1.进行低通滤波2.进行样本的下采样3.进行样本的上采样4.原始图片-经过上面三步后的图片代码

weixin_33908217·2025-02-02 20:03

o1、GPT4、GPT4o 这三个有什么区别？

核心观点：GPT-4擅长文本处理和推理，GPT-4o主打多模态交互，而O1则专注于深度推理和逻辑分析，三者各有侧重，应用场景也大不相同。

开心的AI频道·2025-02-02 19:54

ONNX推理warning： TensorRT does not natively support INT64. Attempting to cast down to INT32.

只想用ONNX进行模型推理，加载时报Warning，加载模型时间也特别长。

paradoxjun·2025-02-02 18:48

【DeepSeek全解析】最全面的问答指南，一文读懂！

它出身不凡，背后有量化私募巨头幻方支持，曾因储备万张A100芯片引人瞩目，后凭DeepSeekV2开源模型引爆大模型价格战，以超低推理成本震撼行业，让大厂纷纷跟进。

程序员辣条·2025-02-02 18:17

如何本地部署DeepSeek？DeepThink R1 本地部署全攻略：零基础小白指南。

离线运行AI，免费使用OpenAI级别推理模型本教程将手把手教你如何在本地部署DeepThinkR1AI模型，让你无需联网就能运行强大的AI推理任务。无论你是AI新手还是资深开发者，都可以轻松上手！

白马区块Crypto100·2025-02-02 14:21

OpenAI发布最新推理模型o3-mini

OpenAI于周五推出了新的AI"推理"模型o3-mini，这是该公司o系列推理模型家族的最新成员。OpenAI此前在12月份就预告过这个模型，同时还展示了一个能力更强的系统o3。

Him__·2025-02-02 13:11

白话DeepSeek-R1论文（三）| DeepSeek-R1蒸馏技术：让小模型“继承”大模型的推理超能力

DeepSeek-R1蒸馏技术：让小模型“继承”大模型的推理超能力当大模型成为“老师”，小模型也能变“学霸”想象一下，一位经验丰富的数学老师（大模型）将自己解题的思维过程一步步拆解，手把手教给学生（小模型

明哲AI·2025-02-02 11:58

UnityShader常用函数和变量

UnityShader常用函数和变量后续在应用的过程中，不断更新数学函数函数介绍smoothstep(min,max,x)一种平滑插值的方法，对于创建柔和的边缘或过渡效果特别有用，smoothstep函数的原理是通过一个三次多项式对输入值

微光守望者·2025-02-02 08:33

GPU架构（1.2）--GPU SoC 中的 CPU 架构

ARMCortex-A72ARMCortex-A762.多线程处理多核架构多线程支持3.任务调度任务调度器动态调度4.内存管理内存层次结构内存管理技术5.接口和通信总线接口I/O接口6.功耗和热管理功耗优化热管理7.应用实例边缘计算图形处理深度学习结语详细介绍

小蘑菇二号·2025-02-02 02:58

开源LLMs导览：工作原理、顶级LLM列表对比

2.1预训练2.2代币化2.3开源LLM的微调2.4输入编码2.5训练与优化2.6推理三、开源LLM对组织的好处3.1增强的数据安全和隐私3.2节约成本3.3减少供应商依赖性3.4代码透明度四、哪种LLM

万俟淋曦·2025-02-01 23:11

看深度求索如何思索自己的未来

其公布的训练效率提升数据（30%时间缩短、50%推理加速）若经第三方验证，可能重构行业技术标准。对比谷歌TPU+JAX框架实现的20%效率提升，深度求索的技

tuan_zhang·2025-02-01 19:11

本地部署 DeepSeek 模型并使用 WebUI 调用

环境准备在开始之前，请确保你的系统满足以下要求：Python3.11或更高版本pip包管理工具DeepSeek模型的本地部署文件GPU支持（可选，用于加速模型推理）步骤1：本地部署Deep

我喜欢就喜欢·2025-02-01 17:22

边缘计算与交通管理的协作

边缘计算与交通管理的协作作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：边缘计算，交通管理，智能交通系统，数据处理，实时性，安全性，效率1.背景介绍

AGI大模型与大数据研究院·2025-02-01 16:13

DeepSeek R1 简易指南：架构、培训、本地部署和硬件要求

CSS技巧与案例详解vue2与vue3技巧合集VueUse源码解读DeepSeek团队近期发布的DeepSeek-R1技术论文展示了其在增强大语言模型推理能力方面的创新实践。

·2025-02-01 16:49

如何在本地电脑上安装和使用 DeepSeek R-1

一些用户声称，其推理能力与OpenAI的o1相当，甚至更好。目前，DeepSeek是免费使用的，这对用户来说是个好消息，但也带来了一些疑问。随着用户量的激增，他们如何管理服务器成本？

知识大胖·2025-02-01 15:33

AI 计算的未来：去中心化浪潮与全球竞争格局重塑

引言人工智能（AI）正以前所未有的速度发展，尤其是大模型训练和推理效率的提升，使得AI计算成本迅速下降，呈现出向去中心化演进的趋势。

智识微光Intelligence·2025-02-01 09:16

计算机网络概述

大家好，我是听风与他☁️博客首页：CSDN主页听风与他每日一句：狠狠沉淀，顶峰相见目录前言计算机网络21世纪的特征早期网络分类互联网互联网概述计算机网络互联网服务提供者ISP互联网交换点IXP互联网的组成边缘部分计算机之间通信核心部分分组交换计算机网络类别

听风与他·2025-02-01 09:41

什么是知识蒸馏技术？

知识蒸馏（KnowledgeDistillation）是一种模型压缩和加速技术，旨在将大型模型（通常称为教师模型）所学到的知识迁移到小型模型（通常称为学生模型）中，从而让小型模型在减少计算资源消耗和推理时间的同时

deepdata_cn·2025-02-01 09:41

从 0 到 1，DEEPseek 大模型瞬间 “霸榜” AI 赛道的秘密

deepseek官网传送门：DeepSeek下面就对本文标题来剖析一下：目录一·本篇背景：二.技术实力：突破创新的基石:2.1强大的模型能力:2.1.1高效的训练方法:2.2.2优化的推理速度:三·市场策略

羑悻的小杀马特.·2025-02-01 08:36

Python实现链接MinIO，并将文件数据从MinIO批量下载并保存到本地

MinIO可以在标准硬件上运行，非常适合私有云和边缘计算场景。MinIO提供了存储桶级粒

写python的鑫哥·2025-02-01 07:30

「DeepSeek接班OpenAI」，最新开源的R1推理模型，让AI圈爆了

来源：前沿科技分享圈近日，AI领域迎来了一次重大突破，DeepSeek正式推出了其最新研发的开源推理模型——DeepSeek-R1。

人工智能学家·2025-02-01 06:23

DeepSeek R1：AI领域的新标杆

此外，R1-Zero模型通过强化学习和测试时计算实现了强大的推理能力，无需监督微调数据，标志着中国在AI领域的快速崛起，挑战美国的主导地位。AI模型在推理能

XianxinMao·2025-02-01 06:23

【学习心得】Python好库推荐——PEFT

二、PEFT使用场景在计算资源有限的情况下，如边缘设备、移动设备或低成本

小oo呆·2025-02-01 06:48

模型高效推理--剪枝基础

文章目录一、剪枝基础1.剪枝定义2.剪枝时机二、剪枝的分类1.按照剪枝粒度分类(粗➡️细)A.结构化剪枝a.隐藏层剪枝（LayerPruning）b.通道剪枝（ChannelPruning）c.卷积核剪枝（KernelPruning）B.非结构化剪枝a.核内权重剪枝（IntraKernelWeightPruning）b.单个权重剪枝（WeightPruning）C.特殊情况a.Token剪枝（To

绒绒毛毛雨·2025-02-01 05:16

用engine引擎文件在Jetson上面进行推理（YOLOv8）

1.pt文件，推理在Jetson上可以通过predict.py脚本用.pt权重文件进行推理脚本如下：importwarningswarnings.filterwarnings('ignore')fromultralyticsimportYOLOif

薇憨·2025-02-01 03:29

AI Agent 指南：架构、构建与部署

它犹如一位智能助手，凭借独立推理、规划及自主行动能力，在无需用户持续干预的情况下，精准达成既定目标。

大模型之路·2025-02-01 01:06

AI计算的未来：中心化与去中心化的博弈

智识微光Intelligence·2025-01-31 23:51

DeepSeek 推出全新推理模型 R1-Lite 预览版

DeepSeek全新研发的推理模型预览版DeepSeek-R1-Lite现已正式上线网页版。R1系列模型采用强化学习训练，推理过程中包含大量反思和验证，思维链长度可达数万字。

三花AI·2025-01-31 22:47

DeepSeek-V3 技术报告

为了实现高效的推理和经济高效的训练，DeepSeek-V3采用了多头潜在注意力（MLA）和DeepSeekMoE架构，这些架构在DeepSeek-V2中得到了充分验证。

mingo_敏·2025-01-31 20:01

重参数化（Reparameterization）的原理

在VAE中，我们的目标是最大化观测数据的边缘对数似然，这涉及到一个隐含变量zzz的积分或求和。

读思辨·2025-01-31 15:21

DeepSeek-R1：多模态AGI的实践突破与场景革命

一、DeepSeek-R1的核心定位DeepSeek-R1是深度求索（DeepSeek）研发的多模态通用人工智能模型，旨在突破单一模态的局限性，实现文本、图像、语音、视频等跨模态信息的深度理解、推理与生成

热爱分享的博士僧·2025-01-31 14:09

DeepSeek R1与OpenAI o1深度对比

文章目录引言技术原理DeepSeekR1OpenAIo1性能表现官方数据推理任务知识密集型任务通用能力价格对比应用场景科研与技术开发自然语言处理（NLP）企业智能化升级教育与培训数据分析与智能决策部署与集成

码事漫谈·2025-01-31 13:01

本地部署 DeepSeek-R1 大模型

它是一款专注于数学、代码和自然语言推理任务的高性能AI推理模型。许多用户希望能在本地环境中自由操作这些强大的模型，因为这不仅关乎数据隐私，还能满足定制化部署的需求。这

网络安全我来了·2025-01-31 13:57

A Survey on Large Language Model Acceleration based on KV Cache Management

基于KV缓存管理的大型语言模型加速研究综述摘要1引言2前言3分类4token级优化5模型级优化6系统级优化7文本和多模态数据集8结论摘要大型语言模型（LLM）因其理解上下文和执行逻辑推理的能力，彻底改变了自然语言处理

UnknownBody·2025-01-31 12:47

2025年美国大学生数学建模竞赛思路与源代码【2025美赛A题】

例如，极其古老的寺庙和教堂的台阶可能会出现这样的情况：台阶中央的磨损程度大于台阶边缘的磨损程度，而且台阶的顶部

迎风斯黄·2025-01-31 11:13

MindIE Service整体介绍&快速上手

整体介绍是什么架构介绍MindIEService的安装部署安装部署MindIEService快速上手接口调用精度测试性能测试服务停止MindIEService整体介绍是什么MindIEService是面向通用模型场景的推理服务化框架

cc_beolus·2025-01-31 11:41

五类推理（逻辑推理、概率推理、图推理、基于深度学习的推理）的开源库（一）

在开发中，有一些开源库可以实现不同类型的推理，包括逻辑推理、概率推理、图推理、基于深度学习的推理等。

由数入道·2025-01-31 09:23

Deepseek两项关键发现：无需人类专家介入SFT、有自己

ARCPrize基金会对DeepSeek发布的R1-Zero和R1“推理”系统的分析。ARCPrize基金是谁？ARCPrize基金会旨在定义、衡量并激励新的AGI（通用人工智能）想法。

极道Jdon·2025-01-31 08:13

论文笔记（七十）DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning（二）

IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning（二）文章概括摘要：2.方法2.3.DeepSeek-R1：冷启动强化学习2.3.1.冷启动2.3.2.面向推理的强化学习

墨绿色的摆渡人·2025-01-31 07:01

LLM模型部署经验分享

LLM模型部署经验分享作者：大连理工大学李凯首先，你需要选择一个合适的部署平台，这可以是本地服务器、云服务提供商（如AWS、Azure、GoogleCloud等）、边缘设备或者特定的部署服务（如HuggingFaceHub

lewis_kai·2025-01-31 06:56

DeepSeek-V3模型：软件测试智能化的新篇章与挑战

最近，DeepSeekAI公司推出的DeepSeek-V3模型，凭借其卓越的文本处理能力、高效的推理速度以及多任务处理能力，为软件测试行业带来了一场前所未有的智能化变革。

霍格沃兹测试开发学社测试人社区·2025-01-31 05:18

使用Ollama和Open WebUI快速玩转大模型：简单快捷的尝试各种llm大模型，比如DeepSeek r1

Ollama本身就是非常优秀的大模型管理和推理组件，再使用OpenWebUI更加如虎添翼！

skywalk8163·2025-01-31 04:38

我把DeepSeek-R1推理能力知识蒸馏到Qwen2，效果真的炸裂！！！

AI生成曾小健·2025-01-31 03:00

推荐频道