模型压缩

全国一体化算力网演进与多域协同发展

技术层面，异构计算架构的突破与量子计算、模型压缩等创新技术的融合，正在重塑算力系统的可扩展性与可靠性边界
智能计算研究中心·2025-03-23 15:26

AI模型技术演进与行业应用图谱

与此同时，模型压缩技术通过量化和知识蒸馏将参数量降低60%-80%，联邦学习则通过加密梯度交换实现多机构数据协同训练。在应用层面，医疗诊断模型通过迁移学习在CT影像分类任务中达到98.2%的准
智能计算研究中心·2025-03-23 15:26

算力网协同创新与多场景应用实践

随着“东数西算”工程推进，算力网络需兼顾性能与可持续性，在芯片制程优化、模型压缩算法及能耗管理等领域形成技术闭环。
智能计算研究中心·2025-03-23 15:26

算力技术演进与多场景融合路径

与此同时，模型压缩、数据预处理等算法优化手段使单位算力产出提高30%以上。
智能计算研究中心·2025-03-21 01:13

知识蒸馏：从软标签压缩到推理能力迁移的工程实践(基于教师-学生模型的高效压缩技术与DeepSeek合成数据创新)

知识蒸馏通过迁移教师模型（复杂）的知识到学生模型（轻量），实现模型压缩与性能平衡。
AI仙人掌·2025-03-19 17:20

算力技术创新驱动多场景应用演进

在工业互联网场景中，边缘计算通过分布式节点实现毫秒级响应，支撑智能制造产线的实时控制；智能安防系统依托深度学习模型与流计算技术，完成海量视频数据的动态解析；而科学计算领域通过分布式计算与模型压缩技术，将基因测序
智能计算研究中心·2025-03-19 11:06

神经网络模型压缩&实例教程—非结构化剪枝

目录1.导包&定义一个简单的网络2.获取网络需要剪枝的模块3.模块剪枝（核心）3.1随机剪枝weight3.2L1范数剪枝bias4.总结最先进的深度学习技术依赖于难以部署的过度参数化模型。相反，已知生物神经网络使用高效的稀疏连接。为了在不牺牲准确性的情况下减少内存、电池和硬件消耗，通过减少模型中的参数数量来确定压缩模型的最佳技术是很重要的。这反过来又允许您在设备上部署轻量级模型，并通过设备上的私
程序先锋·2025-03-18 04:41

深度学习模型压缩：非结构化剪枝与结构化剪枝的定义与对比

****在深度学习中，模型压缩是优化模型性能、降低存储和计算成本的重要技术之一。其中，剪枝（Pruning）是最常用的方法之一。
从零开始学习人工智能·2025-03-18 03:37

知识蒸馏 vs RLHF：目标函数与收敛分析

1.知识蒸馏（KnowledgeDistillation）知识蒸馏是一种模型压缩技术，旨在将大型复杂模型（教师模型）的知识迁移到较小的模型（学生模型）中，以提高学生模型的性能。
从零开始学习人工智能·2025-03-18 01:48

从剪枝到知识蒸馏：深度学习模型压缩与加速的多重策略

正在不断更新中文章目录从剪枝到知识蒸馏：深度学习模型压缩与加速的多重策略1.
一键难忘·2025-03-18 00:13

模型量化 (Model Quantization) 算法 (Model Quantization Algorithms)

模型量化(ModelQuantization)作为一种关键的模型压缩和加速技术应运而生。其核心思想是将模型中的浮点数（通常是FP32或FP16）表示的权重和激活值转换为低精度整数（
（initial）·2025-03-15 13:24

嵌入式AI必备技能2-模型的压缩与加速

因此，模型压缩和加速技术应运而生，旨在减少计算量、降低存储需求，同时尽可能保持模型的准确性。
奥德彪123·2025-03-15 10:30

PyTorch深度学习框架60天进阶学习计划 - 第18天：模型压缩技术

PyTorch深度学习框架60天进阶学习计划-第18天：模型压缩技术目录模型压缩技术概述知识蒸馏详解软标签生成策略KL散度损失推导温度参数调节结构化剪枝技术通道剪枝评估准则L1-norm剪枝算法APoZ
凡人的AI工具箱·2025-03-13 22:10

人工智能 - TensorRT与DeepDP终极指南：释放GPU潜能的深度学习推理优化之道

它通过模型压缩、计算图优化、硬件级加速等技术，显著提升推理速度并降低资源消耗，广泛应用于自动驾驶、工业检测、实时视频分析等对延迟敏感的领域。一、TensorRT的核心功能模型优化与加速层融合（La
天机️灵韵·2025-03-13 13:36

基于多种模型剪枝方法（L1-norm、Slimming、AutoSlim）的模型轻量化和模型压缩实现

基于多种模型剪枝方法（L1-norm、Slimming、AutoSlim）的模型轻量化实现支持：VGG、MobileNet、Resnet、ShuffleNet等模型。代码下载地址：下载BackBonePrunerPruneRatioOriginal/Pruned/FinetunedAccuracyFLOPs(M)Params(M)MobileV2L1-Norm0.60.937/0.100/0.84
踟蹰横渡口,彳亍上滩舟。·2025-03-12 11:01

大模型中的剪枝、蒸馏是什么意思？

1.剪枝（Pruning）定义剪枝是一种模型压缩技术，通过移除模型中不重要的权重或神经元来减少模型的大小和
玩人工智能的辣条哥·2025-03-12 10:29

深入解析模型蒸馏（Knowledge Distillation）：原理、方法与优化策略

模型蒸馏（KnowledgeDistillation,KD）是一种广泛使用的模型压缩与优化技术，通过让一个小模型（StudentModel）学习大模型（TeacherModel）的知识，使其能够在保持高准确度的同时降低计算复杂度
赵大仁·2025-03-12 09:48

多模态大模型：技术原理与实战 模型压缩实战

多模态大模型：技术原理与实战模型压缩实战作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：多模态大模型，技术原理，模型压缩，实战，TensorFlow
AGI大模型与大数据研究院·2025-03-12 01:16

大模型“瘦身”革命——模型压缩与加速

本文将深入探讨AI大模型的“瘦身”革命——模型压缩与加速技术，帮助开发者高效部署大模型。一、为什么需要模型压缩与加速？AI大模型（如GPT
大模型应用场景·2025-03-10 15:50

深度解析大模型蒸馏方法：原理、差异与案例

因此，模型蒸馏（KnowledgeDistillation,KD）作为一种模型压缩技术，成为高效部署大模型的重要手段。在本篇文章中，我们将深入探讨不同类型的模型蒸馏方法，并通
赵大仁·2025-03-05 21:46

智能模型轻量化：知识蒸馏技术如何重塑AI部署格局

知识蒸馏技术作为模型压缩领域的突破性方案，正在为AI技术的普惠化开辟新路径。一、技术本质的解构与重构知识蒸馏颠覆了传统模型训练的范式，构建了"师生传承"的新型学习
·2025-03-05 11:10

深度学习模型优化与医疗诊断应用突破

当前研究聚焦于迁移学习与模型压缩算法的协同创新，通过复用预训练模型的泛化能力与降低计算负载，有效解决了医疗数据样本稀缺与硬件资源受限的痛点问题。
智能计算研究中心·2025-02-28 02:44

跨框架模型演进与行业应用路径

同时，针对模型优化技术领域，深入探讨迁移学习、超参数调优及模型压缩等方法的创新突破，揭示其在降低计算资源消耗、提升推理效率方面的关键作用。在行业
智能计算研究中心·2025-02-28 02:44

大模型知识蒸馏：技术突破与应用范式重构——从DeepSeek创新看AI基础设施演进路径

一、知识蒸馏的技术哲学演进知识蒸馏（KnowledgeDistillation）作为模型压缩领域的核心技术突破，其发展轨迹折射出人工智能从"规模崇拜"向"效率优先"的范式转变。
大模型服务器厂商·2025-02-26 13:20

DeepSeek技术解析：降本增效的“双刃剑”如何重塑AI产业？

正面影响分析算力需求与成本大幅降低DeepSeek通过算法优化（如稀疏计算、知识蒸馏）和模型压缩技术，将云端训练算力需求降至传统大模型的35%，车端推理芯片需求减少至65%。
爱吃青菜的大力水手·2025-02-26 01:29

整理：4篇论文知识蒸馏引领高效模型新时代

知识蒸馏（KnowledgeDistillation）是当前机器学习研究中的一个重要方向，特别是在模型压缩和效率优化等任务中。传统的深度学习模型往往依赖于复杂的大型网络，以获取卓越的性能。
mslion·2025-02-23 14:31

深度学习框架与边缘计算融合驱动医疗金融模型优化新路径

这种技术协同不仅降低了医疗影像诊断中的数据传输延迟，还通过动态模型压缩策略（如量化与剪枝）将金融预测
智能计算研究中心·2025-02-23 11:10

大模型量化概述

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。
AI领航者·2025-02-22 04:02

模型压缩-模型蒸馏、模型剪枝、模型量化

在模型压缩中，教师模型是一个预训练好的复杂的模型，而学生模型是一个规模较小的模型。
NLP的小Y·2025-02-21 08:39

《DeepSeek模型压缩：在高效与性能间寻平衡》

DeepSeek作为其中的佼佼者，在模型压缩技术上不断探索，力求在减小模型体积的同时，最大程度保留模型性能，为更广泛的应用场景提供支持。
·2025-02-19 20:47

边缘AI架构提升LLM应用的响应速度

边缘AI架构提升LLM应用的响应速度关键词边缘计算、边缘AI、LLM、响应速度、模型压缩、分布式计算摘要本文探讨了如何通过边缘AI架构提升大型语言模型（LLM）应用的响应速度。
AI天才研究院·2025-02-17 15:08

使用Python实现深度学习模型：知识蒸馏与模型压缩

知识蒸馏（KnowledgeDistillation）和模型压缩（ModelCompression）是两种有效的技术，可以在保持模型性能的同时减少模型的大小和计算需求。
Echo_Wish·2025-02-17 04:34

Deepseek详细的自我介绍

中国自研AGI大模型的深度解析**---####**1.技术背景与研发理念**DeepSeek由国内顶尖AI科学家团队领衔，核心技术成员来自清华大学、北京大学及国际顶级AI实验室，团队在NLP、分布式训练、模型压缩等领域发表顶会论文超
welcome_123_·2025-02-16 16:06

DeepSeek-R1 蒸馏 Qwen 和 Llama 架构 企业级RAG知识库

DeepSeek-R1的输出，蒸馏了6个小模型”意思是利用DeepSeek-R1这个大模型的输出结果，通过知识蒸馏技术训练出6个参数规模较小的模型，以下是具体解释：-**知识蒸馏技术原理**：知识蒸馏是一种模型压缩技术
qq_25467441·2025-02-15 20:00

模型轻量化

影响神经网络推理速度主要有4个因素：FLOPs、MAC、计算并行度、硬件平台架构与特性（算力、GPU内存带宽）模型压缩工业界主流的模型压缩方法有：知识蒸馏（KnowledgeDistillation，KD
莱茶荼菜·2025-02-11 22:10

【NLP算法面经】NLP算法面经 -- 腾讯 VS 美团（附面题）

（LLMs）架构篇注意力机制（Attention）篇Transformer理论篇二、大模型微调面有监督微调（SFT）篇高效微调篇提示学习篇人类对齐训练（RLHF）篇Prompt工程篇三、大模型进阶面大模型压缩篇分布式训练篇大模型魔改篇四
青松ᵃⁱ·2025-02-11 13:37

超火的DeepSeek使用了大模型蒸馏技术嘛?

例如：蒸馏技术的定义与应用：蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型模型（学生模型）的技术，通过这种方式实现模型压缩和性能提升。
魔王阿卡纳兹·2025-02-08 14:28

【AI中数学-信息论-综合实例】 缩小AI巨人：大模型神经网络的压缩与裁剪

模型压缩和裁剪技术能够使这些“AI巨人”变得更为可管理，同时在性能上不至于损失太多。我们将通过五个在实际应用中具有代表性的案
云博士的AI课堂·2025-02-07 22:03

大语言模型原理基础与前沿 高效的MoE架构

大语言模型原理基础与前沿高效的MoE架构关键词：大语言模型，MoE架构，参数高效微调，分布式训练，模型压缩，推理加速1.背景介绍1.1问题的由来随着深度学习技术的飞速发展，大语言模型（LargeLanguageModels
AI架构设计之禅·2025-02-07 13:39

模型蒸馏、量化、裁剪的概念和区别

模型压缩概述1.1模型压缩的重要性随着深度学习技术的快速发展，神经网络模型在各种任务中取得了显著的成功。然而，这些模型通常具有大量的参数和复杂的结构，导致模型体积庞大、计算资源消耗高和推理时间长。
我就是全世界·2025-02-06 22:24

浅谈知识蒸馏技术

知识蒸馏（KnowledgeDistillation）是一种模型压缩技术，它的核心思想是将一个大型的、复杂的教师模型（teachermodel）的知识迁移到一个小型的、简单的学生模型（studentmodel
eso1983·2025-02-04 02:07

第三篇：模型压缩与量化技术——DeepSeek如何在边缘侧突破“小而强”的算力困局

——从算法到芯片的全栈式优化实践随着AI应用向移动终端与物联网设备渗透，模型轻量化成为行业核心挑战。DeepSeek通过自研的“算法-编译-硬件”协同优化体系，在保持模型性能的前提下，实现参数量与能耗的指数级压缩。本文从技术原理、工程实现到落地应用，完整解析其全链路压缩技术体系。第一章算法层创新：结构化压缩与动态稀疏化1.1非均匀结构化剪枝技术DeepSeek提出**“敏感度感知通道剪枝”（SAC
python算法(魔法师版)·2025-02-03 05:43

什么是“知识蒸馏”

为了解决这一问题，知识蒸馏技术应运而生，成为模型压缩和性能优化的重要手段。本节将详细介绍知识蒸馏的基本概念、工作原理和知识迁移机制。
清风AI·2025-02-02 19:55

什么是知识蒸馏技术？

知识蒸馏（KnowledgeDistillation）是一种模型压缩和加速技术，旨在将大型模型（通常称为教师模型）所学到的知识迁移到小型模型（通常称为学生模型）中，从而让小型模型在减少计算资源消耗和推理时间的同时
deepdata_cn·2025-02-01 09:41

大模型蒸馏与大模型微调技术有啥差别?

通过训练学生模型模仿教师模型的行为，实现模型压缩和性能保留的目标。蒸
kcarly·2025-02-01 08:37

我把DeepSeek-R1推理能力知识蒸馏到Qwen2，效果真的炸裂！！！

知识蒸馏是一种模型压缩技术，用于将大型复杂模型（教师模型）的知识迁移到小型模型（学生模型）。其核心原理是教师模型通过预测结果（如概率分布或推理过程）向学生模型传授知识，学生模
AI生成曾小健·2025-01-31 03:00

# AI计算模式 神经网络模型 深度神经网络 多层感知机 卷积神经网络 循环神经网络 长短期记忆网络 图像识别、语音识别、自然语言 轻量化模型和模型压缩 大模型分布式并行

AI计算模式AI技术发展至今，主流的模型是深度神经网络模型。近20年来，神经网络模型经过多样化的发展，模型总体变得越来越复杂和庞大，对硬件设备的计算速度、存储能力、通信速度的要求越来越高。尽管学者已经提出了许多方法优化模型结构，降低模型的参数量，但是伴随着人们对AI能力的要求越来越高，模型变得更大是不可避免的。原先单CPU可进行模型的训练与推理，如今需要使用GPU、TPU等设备，并通过分布式并行的
EwenWanW·2025-01-24 16:59

模型压缩与优化技术——神经架构搜索（Neural Architecture Search, NAS）

模型压缩与优化技术中的神经架构搜索（NeuralArchitectureSearch,NAS）技术1.引言在深度学习领域，神经网络的架构设计对模型的性能至关重要。
DuHz·2025-01-23 18:37

知识蒸馏和剪枝

知识蒸馏（KnowledgeDistillation）和模型剪枝（ModelPruning）是两种常用的模型压缩和加速技术，它们被广泛用于提高模型的推理效率，尤其是在边缘设备和资源受限的环境中。
我叫罗泽南·2025-01-20 12:02

工业大模型市场图谱：53个工业大模型全面梳理

根据沙丘智库发布的《2024年中国工业大模型应用跟踪报告》，工业大模型是指在通用基础大模型（例如文心一言、通义千问等）的基础上，结合行业&场景数据进行预训练和微调，并进行模型压缩（裁剪、蒸馏等）所形成的大模型
大模型常客·2025-01-19 19:21
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他