ML&DL-模型压缩第14页

【李宏毅2020 ML/DL】P51 Network Compression - Knowledge Distillation | 知识蒸馏两大流派

首先复习模型压缩的四个流派。Whylearn'emall?Mixit!助教举了一个混合的例子。接下来进入本节课正题，讲

PiperNest (同公众号)·2020-09-11 23:07

HetConv--Heterogeneous-Kernel-Based-Convolutions-for-Deep-CNNs

whenCVPR2019what对于深度卷积神经网络而言，准确度和计算成本往往难以得兼，研究界也一直在探索通过模型压缩或设计新型高效架构来解决这一问题。

jiyeyong·2020-09-11 22:32

Sequence-Level Knowledge Distillation

《Sequence-LevelKnowledgeDistillation》序列级别的知识提炼一、大纲这篇论文主要讲的是模型压缩，也就是训练一个简单的网络来代替已有的复杂的网络，训练的目标两个网络的交叉熵最小

可乐司机·2020-09-11 21:01

AMC：AutoML for Model Compression

AMC：AutoMLforModelCompression0Abstract模型压缩是一种在移动设备上高效部署神经网络模型的关键技术，移动设备仅有有限的计算资源和紧凑的功率预算。

GaleZhang·2020-09-11 19:26

【论文翻译】ACTOR-MIMIC ：DEEP MULTITASK AND TRANSFER REINFORCEMENT LEARNING

这种方法被称为“Actor-Mimic”，利用深度强化学习技术和模型压缩技术，来学习一个单一的策略网络：在几位专家老师的指导下，学习如何在一系列不同的任务中行动。我们随后证明了：学习到的表征，能够在没

猪蒙索洛夫·2020-09-11 17:54

【论文阅读笔记】Fast Human PoseEstimation

网址：https://github.com/ilovepose/fast-human-pose-estimation.pytorch全文总结该论文并未提出啥有意思的东西，总体就是知识蒸馏和“自定义模型压缩

时光机ﾟ·2020-09-11 09:29

ECCV 2020 | 自监督任务辅助的知识蒸馏

壹模型压缩与知识蒸馏近年来，随着底层计算硬件和分布式平台的快速发展，卷积神经网络（CNN）向着更宽、更深

我爱计算机视觉·2020-09-11 09:07

乘风破浪 | 「字节跳动+百度」推荐岗面经请查收

目前发表了两篇顶刊顶会一作论文(优化算法、模型压缩和OCR等)以及多篇其它非一作论文，校招阶段转到了推荐这个领域，之前和导师一起创业，创业主要做的也是cv相关的，本来是打算读博的，不过后来因为各种原因重新找工作了

文文学霸·2020-09-11 00:08

PaddlePaddle飞桨之深度学习7日入门总结

目录Day01新冠疫情可视化作业1:飞桨本地安装作业2：新冠疫情可视化Day02手势识别Day03车牌识别Day04口罩分类Day05人流密度检测比赛Day06PaddleSlim模型压缩图像分类模型量化教程

eilot_c·2020-08-25 17:30

模型压缩经典论文SqueezeNet:AlexNet level accuracy with 50x fewer parameters and less 0.5MB model size论文详解

ICLR2017的SqueezeNet为模型压缩领域最经典的文章之一。

祥瑞Coding·2020-08-24 17:46

Learning both Weights and Connections for Efficient Nenural Networks阅读笔记

最近，开始学习模型压缩方面的内容，写下阅读笔记来记录自己的学习过程问题的提出现在的神经网络模型在许多领域都展现了强大的功能（如：物体分类，目标识别等），随着模型性能的提高，网络结构变得越来越深，参数变得越来越多

Liu_A_Yu·2020-08-24 13:43

深度学习模型压缩方法集合

1.before目前深度网络模型压缩方法主要有以下几个方向：更精细的模型设计：SqueezeNet、MobileNet等模型裁剪：队训练好的模型找到一种评价手段，剔除不重要的connections和filrers

wangyi4422·2020-08-24 03:28

11、Numpy迭代数组

此外，对“目标检测/模型压缩/语义分割”感兴趣的小伙伴，欢迎加入QQ群813221712讨论交流，进群请看群公告！（可以点击如下连接直接加入！）

phinoo·2020-08-24 01:24

【BERT】BERT模型压缩技术概览

因此，讨论如何在不过多的损失BERT性能的条件下，对BERT进行模型压缩，是一个非常有现实意义的问题。本文先介绍模型压缩的概念及常见方法；随后，对目前出现的BERT剪枝的技术做一个整体的介绍。

言有三·2020-08-24 00:40

综述论文：当前深度神经网络模型压缩和加速方法速览

本文全面概述了深度神经网络的压缩方法，主要可分为参数修剪与共享、低秩分解、迁移/压缩卷积滤波器和知识精炼，本论文对每一类方法的性能、相关应用、优势和缺陷等进行独到的分析。机器之心简要介绍了该论文，更详细的内容请查看原论文。大型神经网络具有大量的层级与结点，因此考虑如何减少它们所需要的内存与计算量就显得极为重要，特别是对于在线学习和增量学习等实时应用。此外，近来智能可穿戴设备的流行也为研究员提供了在

机器之心V·2020-08-23 23:42

CNN模型压缩综述

非结构化剪枝减去某个权重或者神经元权重剪枝（Weightpruning）非结构化剪枝，任意的权重和神经元都有可能被修剪。矩阵存储时压缩数据卷积层限制权重剪枝率使用索引的方式存储稀疏矩阵CSR(CompressedSparseRow)第一行：所有非0数据第二行：第一行每个数字所在的列数第三行：上面数据中第[1,4)为一行，[4,6)为第二行，[6,8)为第三行。权重量化（Weightquantiza

我就是想试试名字可以多长·2020-08-23 23:18

【深度学习模型压缩】10分钟了解下模型压缩的常用方法

一、什么是模型压缩？模型压缩的目标是保证模型预测效果的前提下，尽可能地降低模型的大小二、为什么要进行模型压缩？1.模型压缩后，模型很小，进行推断的运算量小，利于在移动端部署。

开心果汁·2020-08-23 22:38

CNN模型压缩总结

CNN模型压缩总结总结综述参考：https://blog.csdn.net/shentanyue/article/details/83508497模型裁剪/剪枝（Pruning）单个权重(Weight)

qq_23546067·2020-08-23 22:22

5月9日

期间我把天下的那些当前模型压缩打包给了葵花。打开模型后我发现贴图啥的实在是很丑啊。然后打开了Max文件查看贴图。发现好几层。这个时候我会ps又帮了我大忙。

nonoly·2020-08-23 11:55

独家 | 基于知识蒸馏的BERT模型压缩

作者：孙思琦、成宇、甘哲、刘晶晶本文约1800字，建议阅读5分钟。本文为你介绍“耐心的知识蒸馏”模型。数据派THU后台回复“191010”，获取论文地址。在过去一年里，语言模型的研究有了许多突破性的进展，比如GPT用来生成的句子足够以假乱真[1]；BERT,XLNet,RoBERTa[2,3,4]等等作为特征提取器更是横扫各大NLP榜单。但是，这些模型的参数量也相当惊人，比如BERT-base有一

数据派THU·2020-08-23 07:25

腾讯开源推理框架TNN学习笔记（进行中）

NCNN有什么不同4、模型转化是否方便5、优化性能6月10日https://github.com/Tencent/TNNTNN：由腾讯优图实验室打造，移动端高性能、轻量级推理框架，同时拥有跨平台、高性能、模型压缩

forest_loop·2020-08-23 01:59

DSD（Dense-Sparse-Dense Training）算法详解

arxiv.org/pdf/1607.04381.pdf模型下载地址：https://songhan.github.io/DSD.这是SongHan发在ICLR2017上的文章，我们知道SongHan的研究领域主要是模型压缩

AI之路·2020-08-22 03:10

深度学习_模型压缩及移动端部署_TensorRT添加自定义层

如果我们在使用TensorRT时有一些操作并不支持，我们可以自行编写将其作为TensorRT的插件层，从而使得这些不能支持的操作能在TensorRT中使用。我们以上采样层为例，进行编写：首先我们要先定义一个继承自TensorRT插件基类的Upsample类：classUpsample:publicIPluginExt然后我们要实现该类的一些必要方法，首先是2个构造函数，一个是传参数构建，另一个是从

CV-GANRocky·2020-08-20 22:10

知识蒸馏(Knowledge Distillation) 经典之作

知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方法，由于其简单，有效，在工业界被广泛应用。

Terry_dong·2020-08-19 20:12

深度学习模型压缩方法综述（二）

深度学习模型压缩方法综述（一）深度学习模型压缩方法综述（二）深度学习模型压缩方法综述（三）前言上一章，将基于核的稀疏化方法的模型压缩方法进行了介绍，提出了几篇值得大家去学习的论文，本章，将继续对深度学习模型压缩方法进行介绍

牛顿爱吃香蕉·2020-08-19 05:40

深度学习模型压缩方法综述（一）

深度学习模型压缩方法综述（一）深度学习模型压缩方法综述（二）深度学习模型压缩方法综述（三）前言目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派

牛顿爱吃香蕉·2020-08-19 05:08

深度学习模型压缩方法综述（三）

前言在前两章，我们介绍了一些在已有的深度学习模型的基础上，直接对其进行压缩的方法，包括核的稀疏化，和模型的裁剪两个方面的内容，其中核的稀疏化可能需要一些稀疏计算库的支持，其加速的效果可能受到带宽、稀疏度等很多因素的制约；而模型的裁剪方法则比较简单明了，直接在原有的模型上剔除掉不重要的filter，虽然这种压缩方式比较粗糙，但是神经网络的自适应能力很强，加上大的模型往往冗余比较多，将一些参数剔除之后

牛顿爱吃香蕉·2020-08-19 05:08

CVPR/AAAI/ECCV顶会论文/代码

目标检测、图像分割、人脸识别、目标跟踪、三维点云、图像处理、图像分类、姿态估计、视频分析、OCR、GAN、小样本&零样本、弱监督&无监督、神经网络、模型压缩、NAS、视觉常识1.cvpr202001.压缩方面

CV/NLP大虾·2020-08-17 13:57

Caffe深度学习进阶之Cifar-10分类任务（下）

Caffe深度学习进阶之Cifar-10分类任务（上）模型压缩接上一章，在实际工程中，我们往往希望在保证一定性能的基础上，尽量的降低运算量和参数量，从而最大可能的利用计算资源。

小时候贼聪明·2020-08-17 11:39

二值化神经网络

二值化神经网络具有很好的特性，具体体现在：通过将权重矩阵二值化，一个权重值只占用一个比特，相比于单精度浮点型权重矩阵，网络模型的内存消耗理论上能减少32倍，因此二值化神经网络在模型压缩上具有很大的优势。

xiangpijiao·2020-08-16 22:51

DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN

深度压缩：采用修剪，量子化训练和霍夫曼编码来压缩深度神经网络学习模型压缩知识，记录此论文(ICLR2016的bestpaper)学习过程。

落地生根1314·2020-08-16 14:28

paddlepaddle学习之模型压缩 PaddleSlim

1.模型压缩主要有以下四个方面：剪裁卷积通道数剪裁（将大规模的参数量变少）量化将float32计算变成int计算（计算量及模型体积减少）蒸馏将大规模的知识迁移到小模型上（将小模型的精度提高）nas以模型大小和推理速度为约束的模型结构搜索

AI搬砖小能手·2020-08-16 09:48

李宏毅《机器学习》课程笔记（作业七：模型压缩）

有多种模型压缩的方法。第一个是网络剪枝，因为神经网络往往是过度参数化，所以删掉一部分网络参数。先训练好一个大的神经网络，然后评估每个参数是否重要，评估方法其实就是看是否接近0。然后把不重要的东西移除。

逝水留痕9611·2020-08-16 08:18

PaddlePaddle|CV疫情特辑（六）：PaddleSlim模型压缩

PaddlePaddle|CV疫情特辑（六）：PaddleSlim模型压缩本节内容来自：百度AIstudio课程做一个记录。资料做作业时可以参考以下资料。

NotFound1911·2020-08-16 07:51

今晚直播 |PaddleSlim——几行代码即可完成模型压缩

7天搞定6个AI战疫实战项目零基础小白也能逆袭深度学习大神！为了降低深度学习技术门槛、培养最优秀的AI人才，百度飞桨资深算法工程师、联合百度认证布道师团队，反复打磨推出了第五期百度深度学习7日打卡营，通过5个新冠疫情最新实战案例、1场人流密度实战比赛，一站式带大家零基础玩转深度学习CV。3月31日起，连续7天每晚20:00-21:00，中科院一线精英教师团队直播授课。全直播互动式学习、最新实战案例

飞桨PaddlePaddle·2020-08-16 05:04

PaddlePaddle升级解读 |PaddleSlim为你的模型瘦身

PaddleSlim是一个无论是新手还是经验者都可以很方便用来优化模型以进行部署的模型压缩库：在普通的模型训练上，只需要两行python代码，构造一个Compressor对象，即可调用。

飞桨PaddlePaddle·2020-08-16 05:04

PaddleDetection开发套件训练自己的数据

PaddleDetection以模块化的设计实现了多种主流目标检测算法，并且提供了丰富的数据增强、网络组件、损失函数等模块，集成了模型压缩和跨平台高性能部署能力。

一路~阳光·2020-08-13 21:28

137% YOLOv3加速、10倍搜索性能提升！这样的惊喜，最新版PaddleSlim有10个

允中发自凹非寺量子位编辑|公众号QbitAI深度学习模型压缩，又有利器问世。最新消息，历经一年四个版本打磨之后，百度推出最新深度学习模型压缩工具PaddleSlim1.0。

QbitAl·2020-08-13 12:06

百度飞桨七天训练营心得

内容如下day1疫情可视化day2手势识别day3车牌识别day4口罩分类day5人流密度预测弥赛day6PaddleSlim模型压缩day7结营通过这七天的学习，让我对深度学习有了一个初步的了解。

weixin_45429320·2020-08-13 11:57

paddlepaddle训练自己的数据集

cxxdemo，图像预处理加速)一键式部署.官方文档里面包含了大部分常用的信息，包括安装、训练和部署,bookPaddleDetection,X2Paddle:caffe2fluid,性能优化:profiler,模型压缩工具库

迷若烟雨·2020-08-13 10:15

深度学习算法优化系列二 | 基于Pytorch的模型剪枝代码实战

本文的代码均放在我的github工程，我是克隆了一个原始的pytorch模型压缩工程，然后我最近会公开一些在这个基础上新增的自测结果，一些经典的网络压缩benchmark，一些有趣的实验。

just_sort·2020-08-13 10:47

ICCV 2019推荐Pytorch实现一种无需原始训练数据的模型压缩算法

然而，在实际应用中，由于隐私、传输等原因，训练数据集通常不可用因此，作者提出了一种不需要原始训练数据的模型压缩方法。原理点击添加图片描述（最多60个字）上图是本文提出的总体结构通过一个给定的待压缩网

imalg图像算法·2020-08-12 11:39

模型压缩工具Distiller-INT8量化

1.distiller工具介绍Distiller是一个开源的Python软件包，用于神经网络压缩研究。网络压缩可以减少神经网络的内存占用，提高推理速度并节省能源。Distiller提供了一个PyTorch环境，用于对压缩算法进行原型设计和分析。主要功能：Aframeworkforintegratingpruning,regularizationandquantizationalgorithms.模

lz_zl_·2020-08-11 22:32

模型压缩工具Distiller-剪枝

1.distiller剪枝模块的使用（1）distiller自带剪枝实例测试distiller自带一些测试实例如ResNet56+cifar-10，下面是对ResNet56+cifar-10的测试：测试前准备yaml文件(注意：这里的yaml文件是coder配置好的，具体到自己的模型需要先对自己的model进行一次SparsityAnalysis，然后自己配置该文件)在剪枝时所用到的yaml文件作