ML&DL-模型压缩

驭势导读 | 通往深度学习之路，“杀鸡焉用宰牛刀”？

王宇航，博士毕业于中国科学院自动化研究所，现阶段主要研究方向包括：深度学习、图像语义分割、目标检测、网络模型压缩与加速等。
UISEE 2031·2020-07-14 06:25

自动模型压缩与架构搜索：飞桨PaddleSlim最全解读

因此，模型小型化技术成为最近几年学术界和工业界研究的热点，模型小型化技术也从最开始的网络剪枝、知识蒸馏、参数量化等发展为最新的神经网络架构搜索（NAS）和自动模型压缩等技术。
飞桨PaddlePaddle·2020-07-14 05:30

飞桨工程师亲授调参技巧，可使MobileNetv3-YOLOv3模型压缩70%，推理速度提升1倍

随着端侧算力日益增长，以及模型小型化方案日趋成熟，使得高精度的深度学习模型在移动端、嵌入式等终端设备上流畅运行成为可能。然而将深度学习融合到终端设备上依旧面临平衡复杂神经网络结构的精度和设备性能约束的挑战，往往需要模型开发者在深入理解模型结构的基础上，各种调参并进行细致全面的优化才能达到理想的效果。近期PaddleDetection推出了一系列针对端侧设备的紧致高效模型，覆盖单阶段及两阶段等主流网
百度大脑·2020-07-13 21:01

模型压缩论文解读1：（MobileNets解读）Efficient Convolutional Neural Networks for Mobile ...

一、番外说明大家好，我是小P，今天给大家带来深度模型压缩经典文献MobileNets的解读，关于轻量化模型的介绍，资料齐全。
phinoo·2020-07-13 09:58

卷积神经网络模型的压缩

按照压缩过程中，对网络结构的破坏程度，将模型压缩技术分为“前端压缩”与“后端压缩”。1后端压缩（对原网络结构造成了极大
tigerlib·2020-07-12 14:33

轻量化网络：Xception

Xception:DeepLearningwithDepthwiseSeparableConvolutions是2017年google的文章Xception不是模型压缩技术，而是“designstrategiesforCNNarchitectureswithfewparameters
TensorSense·2020-07-12 02:09

二值化神经网络系列一：二值化神经网络介绍

二值化神经网络以其高模型压缩率和快计算速度的潜在优势，近些年成为深度学习的热门研究方向。本篇博文将对二值化神经网络做一个详细的介绍。
tangwei2014·2020-07-12 00:22

我的Paddle飞浆7天打卡训练营心得

7天来的内容Day01新冠疫情可视化Day02手势识别Day03车牌识别Day04口罩分类Day05PaddleHub体验Day06PaddleSlim模型压缩第1天介绍了图像识别与人工智能，并且有创建项目
叶莫雅·2020-07-10 11:23

12中主要的Dropout方法：如何应用于DNNs，CNNs，RNNs中的数学和可视化解释

AI公园”，关注公众号，选择加“星标“或“置顶”作者：AxelThevenot编译：ronghuaiyang导读深入了解DNNs，CNNs以及RNNs中的Dropout来进行正则化，蒙特卡洛不确定性和模型压缩的方法
ronghuaiyang·2020-07-10 04:17

开源框架-腾讯优图TNN-移动端高性能、轻量级推理框架

简介TNN：由腾讯优图实验室打造，移动端高性能、轻量级推理框架，同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。
小鱼儿LY·2020-07-09 03:47

第2届YouTube 8M短视频分类比赛前三名论文初步总结

但是ensemble带来的后果就是非常消耗资源，对于大规模数据的实时在线训练基本是不可能的，所以这一届的YouTube8M短视频分类大赛的一个重要前提是模型的大小限制在1G以下，而前几名选手也基本都是从模型压缩角度对上一届提出的模型算法进行改进
妖皇裂天·2020-07-08 05:33

模型的动态量化

模型压缩：模型压缩是一种针对大型模型(参数量巨大)在使用过程中进行优化的一种常用措施。它往往能够使模型体积缩小，简化计算，增快推断速度，满足模型在特定场合(如:移动端)的需求。
baihaisheng·2020-07-08 01:27

【MNN学习二】模型压缩与量化

目录1.量化的作用2.编译3.量化工具的使用1.量化的作用量化将网络中主要算子（卷积）由原先的浮点计算转成低精度的Int8计算，减少模型大小并提升性能2.编译(1)编译宏编译MNN时开启MNN_BUILD_QUANTOOLS宏，即开启量化工具的编译(2)编译产物量化模型的工具：quantized.out量化模型与浮点模型的对比工具：testQuanModel.out3.量化工具的使用cdMNN/b
Memory 旧城。·2020-07-07 23:26

四篇NeurIPS 2019论文，快手特效中的模型压缩了解一下

在即将过去的2019年中，快手西雅图实验室在ICLR、CVPR、AISTATS、ICML和NeurIPS等顶会上发表了十多篇论文。除了这些研究方面的成果，针对实际业务，西雅图实验室和快手商业化还推出了基于GPU的广告推荐训练系统Persia，采用这样的训练系统单机能提升640倍的效率，已经在业务场景中广泛使用；此外提出的新算法对商业化广告收益也有大量提升，新技术在视频风格迁移和游戏业务中也有多项落
PaperWeekly·2020-07-06 16:57

将人工智能模型压缩到微控制器中

将人工智能模型压缩到微控制器中SqueezingAImodelsintomicrocontrollers当你把人工智能与物联网交叉时，你得到了什么？
吴建明wujianming·2020-07-06 15:00

AI实战：深度学习模型压缩加速方法汇总

深度学习模型压缩加速方法可大致分为2大类1、设计新的卷积计算方法设计新的卷积计算方法，从而减少参数，达到压缩模型的效果，例如SqueezedNet、mobileNet比如：depth-wise卷积、point-wise
szZack·2020-07-06 12:43

（笔记）通过知识蒸馏和量化进行模型压缩MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATION

（笔记）ModelCompressionviaDistillationandQuantization（笔记）ModelCompressionviaDistillationandQuantization原文链接：代码：摘要算法一：加入知识蒸馏loss的量化训练算法二：训练量化集p效果原文链接：https://arxiv.org/abs/1802.05668代码：https://github.com/
yingpeng_zhong·2020-07-06 10:35

如何给深度学习加速——模型压缩、推理加速

深度学习模型往往受到端计算力的限制，无法很好的部署在移动端或无法降低端的计算成本。例如自动驾驶的模型就过于巨大，而且往往是很多模型并行，所以一般会用一些加速的方法来降低推算的计算力要求。加速方法有多种不同角度：网络结构，模型推理加速，模型剪枝，参数量化等。TableofContents网络结构加速模型推理加速优化模型的推理顺序降低参数精度加速模型剪枝加速参数量化网络结构加速所谓网络结构，就是使用结
ygfrancois·2020-07-06 10:10

模型压缩名词理解

模型设计压缩全连接网络到卷积神经网络全局池化和1x1卷积NIN相对于AlexNetvgg、googleNet、SqueezeNet卷积拆分vgg相对于AlexNet2个3x3替代一个5x5googleNet非对称卷积3x3分解成1x3和3x1SqueezeNetsqueeze模块1x1卷积+expand模块1x1卷积和3x3卷积从MobileNet系列看分组卷积分组卷积，即depthwisesep
xyz2107605729·2020-07-06 09:39

模型压缩与加速备用链接

腾讯AILab提出自动化模型压缩框架PocketFlow：将深度学习装进口袋让机器“删繁就简”：深度神经网络加速与压缩小综述AutoML自动模型压缩再升级，MIT韩松团队利用强化学习全面超越手工调参细粒度稀疏也能取得高加速比
xyz2107605729·2020-07-06 09:39

模型剪枝方法

ModelPruning是一种模型压缩方法，对深度神经网络的稠密连接引入稀疏性，通过将“不重要”的权值直接置零来减少非零权值数量.在OptimalBrainDamage【2】中，使用对角Hessian逼近计算每个权值的重要性
小锐驿站·2020-07-06 08:39

论文笔记：ThiNet——一种filter级的模型裁剪算法

AFilterLevelPruningMethodforDeepNeuralNetworkCompression本文地址：http://blog.csdn.net/wspba/article/details/77427960前言近两年来，有关模型压缩的论文越来越多
小时候贼聪明·2020-07-06 07:46

论文笔记：DeepRebirth——从非权重层入手来进行模型压缩

前言因为最近都在关注深度学习模型压缩相关的工作，所以今天给大家介绍的也是一篇关于模型压缩的方法。
小时候贼聪明·2020-07-06 07:46

深度学习模型压缩方法综述（二）

深度学习模型压缩方法综述（一）深度学习模型压缩方法综述（二）深度学习模型压缩方法综述（三）前言上一章，将基于核的稀疏化方法的模型压缩方法进行了介绍，提出了几篇值得大家去学习的论文，本章，将继续对深度学习模型压缩方法进行介绍
小时候贼聪明·2020-07-06 07:46

NLP模型卡-ALBert

顾名思义该模型主要用于解决现有模型参数过多，训练速度过慢的问题，实际上做的类似模型压缩的工作。
这个名字有人用？·2020-07-06 05:13

第十七章_模型压缩、加速及移动端部署

文章目录第十七章模型压缩及移动端部署17.1为什么需要模型压缩和加速？17.2目前有哪些深度学习模型压缩方法？17.2.1前端压缩17.2.2后端压缩17.3目前有哪些深度学习模型优化加速方法？
九霄王·2020-07-06 04:58

【论文阅读】Contiual learning with hypernetwork

继续学习从模型角度的理解4.论文将超网络继续学习模型分成三个部分4.1.任务条件超网络(task-conditionedhypernetworks)4.2.分块的超网络(chunkedhypernetwork)进行模型压缩
轮子去哪儿了·2020-07-06 04:28

模型压缩95%，MIT韩松等人提出新型Lite Transformer

2020-06-0816:31:31选自arXiv作者：ZhanghaoWu等机器之心编译参与：小舟、魔王Transformer的高性能依赖于极高的算力，这让移动端NLP严重受限。在不久之前的ICLR2020论文中，MIT与上海交大的研究人员提出了一种高效的移动端NLP架构LiteTransformer，向在边缘设备上部署移动级NLP应用迈进了一大步。虽然推出还不到3年，Transformer已成
喜欢打酱油的老鸟·2020-07-06 03:09

模型剪枝，“剪”掉了什么？

2020-01-0805:44:02作者|SaraHooker等编译|balala编辑|丛末深度学习模型运行需要大量的计算、内存和功耗，为了解决模型模型运行的瓶颈，研究者提出了一系列模型压缩方法，其中包括模型剪枝
喜欢打酱油的老鸟·2020-07-06 03:37

深度学习模型压缩方法和框架

模型压缩的两种方法：一、设计轻量级的模型（SqueezeNet，MobileNet，ShuffleNet等）：不需要压缩。
有石为玉·2020-07-06 03:27

模型压缩和加速，量化

本质：1）量化对象：1、各层特征图（通过统计其值分布进行量化）2、每层卷积核（通过参数分布进行量化）2）bias可去掉的理论依据：利用对称量化（卡阈值，令其正负两端都是该值），使其关于中心点对齐。1.方案介绍2、总结方法：量化方式：二值化网络，三值化网络，深度压缩深度压缩包括(针对Alexnet,VGG这种冗余的网络来说效果不错，但对于squeezenet,mobilenet来说效果不佳）：1）剪
hi我是大嘴巴·2020-07-06 02:28

浅谈模型压缩

有一个做深度学习模型部署的同学曾经提到过他目前的方向主要是模型压缩，就是对于部署在app上的模型在不影响性能的前提下如何减小模型的体量，我也会经常用Bert等transformer架构的模型，体量过大也是缺点
fly_Xiaoma·2020-07-06 02:52

【剪枝/稀疏】概览与索引

模型压缩与加速1.终端移植key:较全面的总结、包含auto，框架加速等2.
weixin_34395205·2020-07-06 01:23

模型压缩 - Quantization Mimic

《QuantizationMimic:TowardsVeryTinyCNNforObjectDetection》常见的模型压缩方法有：量化（BinaryNet）、分组卷积（ShuffleNet、MobileNet
weixin_30299709·2020-07-05 20:59

Unity 模型压缩

模型压缩usingUnityEngine;usingUnityEditor;usingSystem.IO;usingSystem.Collections.Generic;//usingBabybus.Framework.Serialization
Yan_Sl·2020-07-05 18:16

Channel Pruning for Accelerating Very Deep Neural Networks 算法笔记

1707.06168代码地址：https://github.com/yihui-he/channel-pruning这是一篇ICCV2017的文章，关于用通道剪枝（channelpruning）来做模型加速，通道减枝是模型压缩和加速领域的
AI之路·2020-07-05 18:00

【论文阅读笔记】---二值神经网络（BNN）

二值化神经网络以其高模型压缩率和快计算速度的潜在优势，近些年成为深度学习的热门研究方向。
吃不胖的卷卷·2020-07-05 16:39

模型压缩：Deep Compression

第一步weightpruning第二步trainedquantizationandweightsharing第三步Huffmancoding实验分析之压缩几十倍从何而来实验分析之极致量化《DeepCompressionCompressingDeepNeuralNetworkswithPruning,TrainedQuantizationandHuffmancoding》是ICLR-2016的bes
TensorSense·2020-07-05 16:21

模型压缩：Networks Slimming-Learning Efficient Convolutional Networks through Network Slimming

NetworkSlimming-LearningEfficientConvolutionalNetworksthroughNetworkSlimming（Paper）2017年ICCV的一篇paper，思路清晰，骨骼清奇~~创新点：1.利用batchnormalization中的缩放因子γ作为重要性因子，即γ越小，所对应的channel不太重要，就可以裁剪（pruning）。2.为约束γ的大小，在
TensorSense·2020-07-05 16:20

深度学习：模型压缩/加速（Model Compression/acceleration)资源汇总

一.CVPR历年模型压缩（减枝）项目https://github.com/he-y/Awesome-Pruning二.结构structureSearchingforMobileNetV3arxiv:https
taopengtp·2020-07-05 14:46

【模型压缩】训练时量化--training aware quantization

本文来自谷歌CVPR2018的文章：QuantizationandTrainingofNeuralNetworksforEfficientInteger-Arithmetic-OnlyInference代码已经在tensorflow中集成了https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/quantize
Shwan_Ma·2020-07-05 12:33

深度学习模型压缩方法（4）-----模型蒸馏（Distilling）与精细模型网络

前言在前两章，我们介绍了一些在已有的深度学习模型的基础上，直接对其进行压缩的方法，包括核的稀疏化，和模型的裁剪两个方面的内容，其中核的稀疏化可能需要一些稀疏计算库的支持，其加速的效果可能受到带宽、稀疏度等很多因素的制约；而模型的裁剪方法则比较简单明了，直接在原有的模型上剔除掉不重要的filter，虽然这种压缩方式比较粗糙，但是神经网络的自适应能力很强，加上大的模型往往冗余比较多，将一些参数剔除之后
alex_shen97·2020-07-05 11:12

深度学习模型压缩方法（5）-----Deep Compression

《DeepCompression:CompressionDeepNeuralNetworksWithPruning,TrainedQuantizationAndHuffmanCoding原作者基于Alex的代码：https://github.com/songhan/Deep-Compression-AlexNet用Caffe实现：https://github.com/may0324/DeepCom
alex_shen97·2020-07-05 11:12

深度学习模型压缩方法（2）-----核稀疏化

最近在研究深度学习的模型压缩，看到几篇总结的很不错的文章，记录一下。
alex_shen97·2020-07-05 11:11

深度学习模型压缩方法（1）-----综述

1.研究背景对模型预测精度无明显影响压缩模型的参数数量、深度来降低模型空间复杂度全连接层参数多，模型大小由全连接层主导不显著提高训练时间复杂度，降低预测时间复杂度（计算量）卷积层计算量大，计算代价由卷积操作主导2.方法2.1.更精细模型的设计AggregatedResidualTransformationsforDeepNeuralNetworksDenseNetHighway[2016,Iand
alex_shen97·2020-07-05 11:40

暑期科研见习总结：移动设备上的深度学习与模型剪枝初探

本次暑期科研见习，我有机会初步了解了人工智能的深度学习和模型压缩的基本内容，并在移动设备（树莓派3B）上进行了一些简单的深度学习模型训练。
MAO波波·2020-07-05 10:28

百度飞桨PaddlePaddle车牌识别

首先飞桨安装可以通过官网的提示安装通过对7大疫情AI实战案例学习其中包含-手势识别，车牌识别，口罩分类，PaddleSlim模型压缩的学习#导入需要的包importnumpyasnpimportpaddleaspaddleimportpaddle.fluidasfluidfromPILimportImageimportcv2importmatplotlib.pyplotaspltimportosf
码奋·2020-07-05 09:46

深度学习模型压缩

1.调整卷积模式（1）引入1*1的卷积降维--inceptionV1例如GoogLenet，假设输入是28✖️28✖️192的featuremap，1*1的channel是64，3*3的channel是128，5*5的channel是32在左图被3个不同尺寸的卷积核卷积之后，参数量是1*1*192*64+3*3*192*64+5*5*192*32=265344如右图，如果在3*3和5*5之前分别添
林林宋·2020-07-05 07:48

Paper Reading :模型剪枝

在入坑模型压缩与加速（即求解最优子网络，）后，阅读相关论文的个人总结。神经网络结构化剪枝方面的问题大体可以分为三个步骤：剪多少？
小白不畏难·2020-07-05 07:34

文献调研——神经网络剪枝技术（一）

（不同剪枝的泛化性等）一、神经网络压缩技术当前的模型压缩方法主要有6类：网络剪枝、参数共享、量化、网络分解、网络蒸馏、紧凑网络设计。
黄小米吖·2020-07-05 06:56
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他