ML&DL-模型压缩第7页

李宏毅机器学习2022春季-第十三课和HW13

第十三课主要内容是Networkcompression(模型压缩)，课程中介绍了五种模型压缩的方法：NetworkPruning（模型剪枝）,KnowledgeDistillation（知识蒸馏）,ParameterQuan

机器学习手艺人·2023-01-09 06:55

[模型压缩/加速]-tensorrt使用简介，tensorrt为什么这么快？为什么可以实现对模型的加速？

资源惯例先放资源1.官方的tensorrt文档2.tensorrt官方主页3.tensorrt支持的操作1.为什么需要模型加速模型加速越来越成为深度学习工程中的刚需了，最近的CVPR和ICLR会议中，模型的压缩和剪枝是受到的关注越来越多。毕竟所有的算法想要产生经济效益一定要考虑落地的情况，可能我们看很多论文提出的方法或者说github公布的代码大多关注精度及python环境下的FPS，但在实际的工

orangezs·2023-01-07 22:17

【模型压缩】通道剪枝《Pruning Filters For Efficient ConvNets》论文翻译

实现效果：1.VGG-1634%加速2.ResNet-11038%加速概述：在模型压缩的方法中，包括剪枝，量化，多值网络，模型蒸馏等。

姚路遥遥·2023-01-06 14:35

【学习】深度强化学习、模型压缩

文章目录一、deepreinforcementlearningPolicy-basedApproach——LearninganActor作为actor的神经网络smallmodel网络可以被修剪一、deepreinforcementlearning强化学习场景监督学习和强化学习之间：训练一个聊天机器人-强化学习：让两个代理相互交谈(有时产生好的对话，有时产生坏的对话)通过这种方法，我们可以产生很多

Raphael9900·2023-01-06 07:30

2017|| 模型压缩 Slimming-pytorch 剪枝

2017||Slimming-pytorch（剪枝）OfficialCode（torch）：https://github.com/liuzhuang13/slimmingPaper:https://arxiv.org/abs/1708.06519ThirdpartyCode（pytorch）：https://github.com/mengrang/Slimming-pytorchhttps://g

Fly-Pluche·2023-01-05 09:22

基于Slimming的MobileNetV3半自动剪枝

模型压缩加速，在保持精度基本不变、降低模型计算复杂度。一方面提升模型落地的可能性，另一方面降低了资源消耗、节省成本。

benben044·2023-01-05 09:42

一文看懂深度学习模型压缩和加速

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达本文转自：opencv学堂1前言近年来深度学习模型在计算机视觉、自然语言处理、搜索推荐广告等各种领域，不断刷新传统模型性能，并得到了广泛应用。随着移动端设备计算能力的不断提升，移动端AI落地也成为了可能。相比于服务端，移动端模型的优势有：减轻服务端计算压力，并利用云端一体化实现负载均衡。特别是在双11等大促场景，服务端需要部署很

小白学视觉·2023-01-04 12:50

NNI speedup_model()代码笔记

前情提要：NNI是微软开发的调参工具，功能有很多，这里介绍其中的一个分支-模型压缩。

Coding-Prince·2023-01-03 19:55

深入理解卷积与模型大小问题，解决显存不足

一般常用的方法有以下几点：模型压缩网络参数调整，比如减小训练图像大小，降低FCoutput个数，使用小的convkernelsize等。深度学习框架调整减层但是

Jayden yang·2023-01-03 07:11

《预训练周刊》第38期： Transformer、BERT结构优化

No.38智源社区预训练组预训练研究观点资源活动关于周刊本期周刊，我们选择了12篇预训练相关的论文，涉及句子表示、变换器结构优化、数据增强、网络结构优化、动态神经网络、模型压缩、图预训练模型、零样本自然语言理解

智源社区·2023-01-02 15:48

【联邦学习】联邦学习算法分类总结

纵向联邦学习和联邦迁移学习横向联邦学习纵向联邦学习联邦迁移学习基于机器学习算法的联邦学习分类联邦线性算法联邦树模型联邦支持向量机联邦深度学习基于优化方法进行分类从通信成本角度优化的联邦学习算法增加客户端训练压力模型压缩从客户端选择入手的联邦学习算法从异步聚合角度优化的联邦学习算法联邦学习作为目前研究的热点

十了个九·2023-01-01 17:11

降低神经网络模型复杂度的方法总结

一、CNN模型压缩方法1.将大的卷积核换成小的3*3卷积核2.像GoogleNet的inception模块和Resnet模块，使用1*1卷积进行降维操作3.像MobileNet一样使用深度可分离卷积。

CVplayer111·2022-12-31 09:19

TinyBERT论文及代码详细解读

常见的模型压缩技术主要分为：量化权重减枝知识蒸馏为了加快推理速度并减小模型大小，同时又保持精度，Tinybert首先提出了一种新颖的transformer蒸馏方法，引入了一个新的两阶段蒸馏框架，如下图：

Weiyaner·2022-12-31 09:12

NLP预训练模型6 -- 模型轻量化（ALBERT、Q8BERT、DistillBERT、TinyBERT等）

1背景模型压缩和加速在工业界应用中十分重要，特别是在嵌入式设备中。压缩和加速在算法层面，大体分为结构设计、量化、剪枝、蒸馏等。

anshiquanshu·2022-12-31 09:09

知识蒸馏（Knowledge Distillation）

简而言之，就是模型压缩的一种方

琉璃幻·2022-12-30 08:46

知识蒸馏原理

文章目录0.知识蒸馏（模型压缩的一种方法）1.蒸馏2.为什么要蒸馏3.知识的表示与迁移4.蒸馏温度T5.知识蒸馏过程6.知识蒸馏的应用场景7.知识蒸馏背后的机理8.为什么用softtargets而不用labelsmoothing

哈喽天空·2022-12-30 08:09

数据缩至 1/5000，模型准确率却翻倍，谷歌新“蒸馏法”火了

这就是知识蒸馏，一种模型压缩/训练方法。不过随着技术发展，大家也逐渐将蒸馏的对象扩展到了数据集上。

前沿资讯看点·2022-12-29 17:38

NNI (Neural Network Intelligence)简介

是什么NNI(NeuralNetworkIntelligence)是一个轻量但强大的自动机器学习（AutoML）工具包，能帮助用户自动地进行特征工程、神经网络架构搜索、超参调优以及模型压缩。

北极与幽蓝·2022-12-29 12:10

【人工智能笔记】第三十一节：AutoML系列，用NNI框架进行神经网络架构搜索与超参调优（一）

NNI简介NNI(NeuralNetworkIntelligence)是一个轻量但强大的工具包，帮助用户自动的进行特征工程，神经网络架构搜索，超参调优以及模型压缩。

PPHT-H·2022-12-29 12:02

深度学习技巧应用1-利用知识蒸馏技术做模型压缩

大家好，我是微学AI，今天给大家带来一个深度学习中的一个技术应用：利用知识蒸馏技术做模型压缩。蒸馏是一种常见的化学分离技术，用于将混合物中的各种成分分离出来。

微学AI·2022-12-28 15:31

掌握Pytorch模型压缩裁剪与量化

本文将分享在Pytorch中进行模型压缩、裁剪和量化的教程。权重压缩模型在训练时使用的模型权重类型为float32，而在模型部署时则不需要高的数据精度。

Coggle阿水·2022-12-28 10:44

谷歌机器学习43条规则：机器学习工程的最佳实践经验

但在真正做产品时，我们需要的不是机器学习专家或顶尖的深度学习技术，而是大量的模型压缩调优、部署测试和模型交互等。因此，在实践中成为一名出色的工程师极为重要。这篇文章选自谷歌开发者中文博客

铭霏·2022-12-28 07:11

迁移学习（含代码示例）

模型测试模型调优增加训练轮数调整学习率增加n-gram特征修改损失计算方式自动超参数调优模型保存与重加载词向量简介词向量模型压缩文件下载解压文件代码实现加载bin文件获取词向量邻近词进行效果检验迁移学习迁移学习三大概念预训练模型

GodGump·2022-12-26 15:04

3D语义分割——PVD

PVD（CVPR2022）主要贡献：研究了如何将知识蒸馏应用于3D点云语义分割中从而进行模型压缩提出point-to-voxel的知识蒸馏，从而应对点云数据稀疏（sparsity）、随机（randomness

Lemon_Yam·2022-12-24 11:03

华为诺亚方舟实验室招聘实习生

本项目组研究方向包括但不限于：神经网络模型压缩\加速(量化、剪枝、蒸馏等)、高效骨干模型设计(CNN、Transformer

Amusi（CVer）·2022-12-24 08:40

【模型量化】HAQ：强化学习让模型压缩90%而精度几乎不受影响

HAQ-for-Mobilenetv3-Quantization代码地址：https://github.com/Sharpiless/HAQ-for-Mobilenetv3-Quantization论文地址：https://arxiv.org/abs/1811.08886?算法简介：HAQ(Hardware-AwareAutomatedQuantizationwithMixedPrecision)

BIT可达鸭·2022-12-23 23:11

【转载大佬】深度学习模型压缩与加速综述

深度学习模型压缩和加速算法的三个方向，分别为加速网络结构设计、模型裁剪与稀疏化、量化加速目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派

快乐成长吧·2022-12-23 23:37

深度学习模型压缩与加速技术（五）：紧凑网络

文章目录总结紧凑网络定义特点1.卷积核级别新型卷积核简单filter组合2.层级别3.网络结构级别参考文献深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。在深度学习技术日益火爆的背景下，对深度学习模型强烈的应用需求使得人们对

小风_·2022-12-23 23:36

深度学习模型压缩与加速技术（一）：参数剪枝

目录总结参数剪枝定义分类非结构化剪枝结构化剪枝1.Group级别剪枝2.filter级别剪枝参考文献深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。在深度学习技术日益火爆的背景下，对深度学习模型强烈的应用需求使得人们对内存占

小风_·2022-12-23 23:06

深度学习模型压缩与加速技术（四）：参数共享

文章目录总结参数共享定义特点1.循环矩阵2.聚类共享3.其他方法参考文献深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。在深度学习技术日益火爆的背景下，对深度学习模型强烈的应用需求使得人们对内存占用少、计算资源要求低、同时依

小风_·2022-12-23 23:06

深度学习模型压缩与加速技术（七）：混合方式

目录总结混合方式定义特点1.组合参数剪枝和参数量化2.组合参数剪枝和参数共享3.组合参数量化和知识蒸馏参考文献深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。在深度学习技术日益火爆的背景下，对深度学习模型强烈的应用需求使得人

小风_·2022-12-23 23:34

30.深度学习模型压缩方法-4

30.1低秩分解基于低秩分解的深度神经网络压缩与加速的核心思想是利用矩阵或张量分解技术估计并分解深度模型中的原始卷积核卷积计算是整个卷积神经网络中计算复杂度最高的计算操作，通过分解４Ｄ卷积核张量，可以有效地减少模型内部的冗余性此外对于２Ｄ的全连接层矩阵参数，同样可以利用低秩分解技术进行处理但由于卷积层与全连接层的分解方式不同，本文分别从卷积层和全连接层２个不同角度回顾与分析低秩分解技术在深度神经网

大勇若怯任卷舒·2022-12-23 20:03

29.深度学习模型压缩方法-3

29.1后端压缩（1）低秩近似在卷积神经网络中，卷积运算都是以矩阵相乘的方式进行对于复杂网络，权重矩阵往往非常大，非常消耗存储和计算资源低秩近似就是用若干个低秩矩阵组合重构大的权重矩阵，以此降低存储和计算资源消耗。事项特点优点可以降低存储和计算消耗；一般可以压缩2-3倍；精度几乎没有损失；缺点模型越复杂，权重矩阵越大，利用低秩近似重构参数矩阵不能保证模型的性能；超参数的数量随着网络层数的增加呈线性

大勇若怯任卷舒·2022-12-23 20:30

TINYML入门资料

电子森林TinyML技术概述人脸监测算法相关基础理论见本论文第二章实现神经网络压缩压缩方法主要参考本篇综述文章的第二章深度学习模型压缩与加速综述下面这篇主要讲了用量化的方法压缩模型，还有模型的加速，参考第

Tjyuking·2022-12-23 10:08

深度学习模型压缩-卷积裁剪

本文将介绍卷积裁剪原理，以及3种卷积裁剪方式，分别为L1NormFilterPrunerL2NormFilterPrunerFPGMFilterPrunerL1NormFilterPruner和L2NormFilterPruner是范数裁剪法，FPGMFilterPruner是几何中心裁剪法。目录一、卷积裁剪原理二、L1Norm裁剪三、L2Norm裁剪四、FPGM裁剪五、参考一、卷积裁剪原理上图为

嘟嘟太菜了·2022-12-22 08:37

深度学习 --- 模型压缩

B.深度学习—模型压缩概述问题环境多种多样，有些环境资源有限：比如手手表等计算有限、内存有限NetworkPruning（网络调参）步骤有一个大型的网络评估网络参数的重要性重要性评估权重越接近0，表示越不重要

micklongen·2022-12-22 08:07

27.深度学习模型压缩方法-1

目前深度学习模型压缩方法主要分为更精细化模型设计、模型裁剪、核的稀疏化、量化、低秩分解、迁移学习等方法，而这些方法又可分为前端压缩和后端压缩27.1前端压缩和后端压缩对比对比项目前端压缩后端压缩含义不会改变原始网络结构的压缩技术会大程度上改变原始网络结构的压缩技术主要方法知识蒸馏

大勇若怯任卷舒·2022-12-22 08:36

28.深度学习模型压缩方法-2

28.1典型剪枝方法对比剪枝方法修剪对象修剪方式效果DeepCompression权重随机修剪50倍压缩StructuredPruning权重组稀疏+排他性稀疏性能提升NetworkSlimming特征图通道根据尺度因子修剪节省计算资源mProp梯度修剪幅值小的梯度加速28.2网络蒸馏网络精馏是指利用大量未标记的迁移数据(transferdata),让小模型去拟合大模型,从而让小模型学到与大模型相

大勇若怯任卷舒·2022-12-22 08:05

联邦知识蒸馏

知识蒸馏1.概述：2.背景知识蒸馏(KnowledgeDistillation）模型压缩模型增强3.知识蒸馏与迁移学习的差异：(1)数据域不同.(2)网络结构不同.(3)学习方式不同.(4)目的不同.4

咫尺云烟·2022-12-21 07:57

知识蒸馏概述

知识蒸馏（knowledgedistillation）是模型压缩的一种常用的方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度

下雨天吃火锅哩·2022-12-21 07:23

模型压缩----入门（未完待续....）

常见方法：修剪：因为神经网络很多权重几乎为0,这类参数作用不大，部分参数删掉也不影响模型预测效果权重分解：权重矩阵可以进行低秩矩阵分解，从而使得一些参数为0削减精度：能用float32,不用float64;能用int，不用float共享权重：很多layer的参数可以共享，没必要用太多参数

无意识积累中·2022-12-19 18:41

极智AI | 谈谈昇腾CANN量化

昇腾CANN的量化体现在AMCT工具，也即模型压缩工具，后面再来说AMCT，这篇先聊一下昇腾CANN的量化执行流程和原理。

极智视界·2022-12-19 12:37

[模型压缩/加速]-加速卷积计算的三种方法-Depth-wise Conv、Group Conv、Channel-wise Conv

1.概念简介假设输入尺寸大小为aa、通道为n，输出通道数为m，卷积核大小为bb，步长为1.那么计算量为FLOPs=a*a*n*m*b*b参数量为b*b*n*m这就是传统卷积的计算方式，可以看到，当a、b、n、m相对较大的时候，造成的计算量是非常大的，所以就有降低模型大小与计算量的需要。2.Depth-wiseConv出自论文《MobileNets:EfficientConvolutionalNeu

orangezs·2022-12-19 11:26

PaddleDetection环境部署与小组分工

PaddleDetection模块化地实现了多种主流目标检测算法，提供了丰富的数据增强策略、网络模块组件（如骨干网络）、损失函数等，并集成了模型压缩和跨平台高性能部署能力。

无情铁铲·2022-12-18 21:39

小白使用PaddleDetection踩过的坑

该框架中提供了丰富的数据增强、网络组件、损失函数等模块，集成了模型压缩和跨平台高性能部署

szh@bj·2022-12-18 21:09

《Distilling the Knowledge in a Neural Network》知识蒸馏论文解读

解决方法：利用知识蒸馏进行模型压缩，实现轻量级网络。接下来以这篇论文为基础来认识知识蒸馏。1、软标签和硬标签描述：硬标签就是指我们在预测时正确的值为1，错误的值为0。

一瞬にして失う·2022-12-18 14:13

《Distilling the Knowledge in a Neural Network》论文总结

目录零、前言一、模型压缩概述二、知识蒸馏的思想三、知识蒸馏中的知识定义1、基于response/logits的知识2、基于feature的知识3、基于relation的知识四、本文提出的传统基于response

LionelZhao·2022-12-18 14:08

【深度学习技巧】模型压缩（参数修剪、神经元修剪、知识蒸馏、参数量化、结构设计、动态计算）

文章目录1.模型压缩的意义2.模型压缩的几种方法2.1参数修剪（剪掉无用的参数）2.2神经元修剪2.3知识蒸馏2.4参数量化2.5结构设计2.6动态计算3.参考1.模型压缩的意义复杂网络更加简化，仍保持较好的性能

努力的袁·2022-12-18 12:35

使用PyTorch进行知识蒸馏的代码示例

我们将看到如何使用它将一个庞大、笨重的模型压缩成一个更小、更高效的模型，并且仍然保留原始模型的准确性和性能。我们首先定义知识蒸馏要解决的问题。我们训练了一个大型深度神

deephub·2022-12-18 12:00

目标检测论文解读1：（RCNN解读）Rich feature hierarchies for accurate object detection...

此外，对“目标检测/模型压缩/语义分割”感兴趣的小伙伴，欢迎加入QQ群813221712讨论交流，进群请看群公告！

phinoo·2022-12-18 08:50

推荐频道

ML&DL-模型压缩