ML&DL-模型压缩

Quantization aware training 量化背后的技术——Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

1，概述模型量化属于模型压缩的范畴，模型压缩的目的旨在降低模型的内存大小，加速模型的推断速度（除了压缩之外，一些模型推断框架也可以通过内存，io，计算等优化来加速推断）。
微笑sun·2019-12-18 11:00

CNN 模型压缩与加速算法综述

【嵌牛导读】：卷积神经网络日益增长的深度和尺寸为深度学习在移动端的部署带来了巨大的挑战，CNN模型压缩与加速成为了学术界和工业界都重点关注的研究领域之一。
单行车jing·2019-12-15 01:24

caffe 模型压缩

为了使用tensorflow和pytorch的原始方法，进行量化把得到caffe模型需要进行转换。量化1.caffetocaffe2对于caffe的模型，需要把caffe转成caffe2的模型安装pytorch之后，已经安装了caffe2.使用内置的方法直接caffe转caffe2.转化方法在这转化方法在这2python-mcaffe2.python.caffe_translatorTestMod
yanghedada·2019-12-12 13:28

我们替你总结了BERT模型压缩的所有方法

image大数据文摘出品来源：****mitchgordon编译：****大萌、楚阳、钱天培2018年10月，GoogleAI团队推出了Bert，可以说Bert一出生就自带光环。在斯坦福大学机器阅读理解水平测试SQuAD1.1中，Bert在全部两个衡量指标上，全面超越人类表现。并且在另外11种不同NLP测试中均创造了历史以来最好成绩，将GLUE基准提升7.6%，将MultiNLI的准确率提提升5.
大数据文摘·2019-12-07 01:20

15篇论文全面概览BERT压缩方法

作者|MitchellA.Gordon译者|孙薇出品|AI科技大本营（ID:rgznai100）模型压缩可减少受训神经网络的冗余——由于几乎没有BERT或者BERT-Large模型可用于GPU及智能手机上
AI科技大本营·2019-11-29 16:54

深度学习之模型压缩

一、背景深度学习让计算机视觉任务的性能到达了一个前所未有的高度。但，复杂模型的同时，带来了高额的存储空间、计算资源消耗，使其很难落实到各个硬件平台。为了解决这些问题，压缩模型以最大限度地减小模型对于计算空间和时间的消耗。二、理论基础必要性：目前主流的网络，如VGG16，参数量1亿3千多万，占用500多MB空间，需要进行300多亿次浮点运算才能完成一次图像识别任务。可行性：在深度卷积网络中，存在着大
jimchen1218·2019-11-29 15:00

Threejs in autonomous driving -（2）模型精简

精简方案删减模型的顶点和面片模型压缩第一种专业性比较强，我们是搞不定的，那么就可以从第二种思路为出发点。通过万能的搜索引擎搜索我们可以找到被誉为3d业界的json格式的gltf。gltf简介。
土肥圆·2019-10-18 11:35

network compression 顶会文章简介 2019

1、CrossDomainModelCompressionbyStructurallyWeightSharing常规的模型压缩方法专注于RGB输入。
JachinMa·2019-09-15 11:30

闲话模型压缩之网络剪枝（Network Pruning）篇

1.背景今天，深度学习已成为机器学习中最主流的分支之一。它的广泛应用不计其数，无需多言。但众所周知深度神经网络（DNN）有个很大的缺点就是计算量太大。这很大程度上阻碍了基于深度学习方法的产品化，尤其是在一些边缘设备上。因为边缘设备大多不是为计算密集任务设计的，如果简单部署上去则功耗、时延等都会成为问题。即使是在服务端，更多的计算也会直接导致成本的增加。人们正在从各个角度试图克服这个问题，如这几年如
ariesjzj·2019-09-15 09:26

闲话模型压缩之网络剪枝（Network Pruning）篇

一、背景今天，深度学习已成为机器学习中最主流的分支之一。它的广泛应用不计其数，无需多言。但众所周知深度神经网络（DNN）有个很大的缺点就是计算量太大。这很大程度上阻碍了基于深度学习方法的产品化，尤其是在一些边缘设备上。因为边缘设备大多不是为计算密集任务设计的，如果简单部署上去则功耗、时延等都会成为问题。即使是在服务端，更多的计算也会直接导致成本的增加。人们正在从各个角度试图克服这个问题，如这几年如
ariesjzj·2019-09-08 10:07

AI实战：深度学习模型压缩：模型裁剪——Pruning with Keras

前言上一篇文章AI实战：深度学习模型压缩：模型裁剪——PruningwithTensorflow介绍了使用Tensorflow裁剪模型的方法，本文继续介绍使用Keras裁剪模型的方法及源码分享。
szZack·2019-08-24 10:59

深度学习模型转换、模型压缩工具总结

目录一、场景需求解读二、模型转化工具汇总1、模型转换工具的作用2、模型转换工具简介三、模型压缩和加速工具汇总1、模型压缩加速工具的作用2、模型压缩加速工具简介参考资料注意事项一、场景需求解读  在现实场景中
技术挖掘者·2019-08-18 11:06

知识蒸馏概念补充

可以从迁移学习和模型压缩的角度去理解这件事。重点在于提出softtarget来辅助hardtarget一起训练，而softtarget来自于大模型的预测输出，为什么要用softtarget？
月与山与我·2019-08-14 11:17

【模型压缩】Deep Compression，多种方式混合经典paper

TrainedQuantizationandHuffmanCoding论文链接：https://arxiv.org/abs/1510.00149ICLR2016的bestpaper，通过剪枝、量化、哈夫曼编码三步混合来做模型压缩
Lingyun_wu·2019-08-10 10:44

【模型压缩】Deep Compression，多种方式混合经典paper

TrainedQuantizationandHuffmanCoding论文链接：https://arxiv.org/abs/1510.00149ICLR2016的bestpaper，通过剪枝、量化、哈夫曼编码三步混合来做模型压缩
Lingyun_wu·2019-08-10 10:44

解读小米MoGA：超过MobileNetV3的移动端GPU敏感型搜索

原文链接：https://www.paperweekly.site/papers/3144作者丨安静怡学校丨吉林大学研究方向丨神经网络模型压缩近日，小米AI实验室AutoML团队展示了最新成果MoGA（
Paper_weekly·2019-08-08 15:40

【知识星球】总有些骨骼轻奇，姿态妖娆的新型模型结构设计，不知道你知不知道，反正我知道一些

作者&编辑|言有三你大概已经见惯了基本的卷积结构，对残差网络也了如指掌，对分组卷积也烂熟于心，也知道模型压缩的一些技巧，不过今天这里要说的，大部分同学可未必知道噢。
有三AI·2019-08-06 20:15

从Hinton开山之作开始，谈知识蒸馏的最新进展

原文链接：https://www.bagevent.com/event/5396631作者|孟让转载自知乎导读：知识蒸馏是一种模型压缩常见方法，模型压缩指的是在teacher-student框架中，将复杂
AI科技大本营·2019-07-25 18:35

卷积网络模型压缩的若干总结

前言本文翻译自[0]，本人感觉这篇博文很好地总结了卷积网络模型压缩的若干要点，因此希望将此节选翻译，以飨国人。如有谬误，请联系指出，谢谢。
FesianXu·2019-07-21 10:48

EfficientNet

在本文中，我们系统地研究模型压缩并确认小心地平衡网络深度、宽度和分辨率能够带来更好的效果。通过这一观察，我们提出了一种新的缩放方法：使用简单高效的复合系数统一缩放所有的维度，包括深度、宽度以及分辨率。
醉看长安花·2019-07-19 13:59

A Main/Subsidiary Network Framework for Simplifying Binary Neural Networks_CVPR19

Xu_A_MainSubsidiary_Network_Framework_for_Simplifying_Binary_Neural_Networks_CVPR_2019_paper.htmlTL;DR这篇论文提出了一种对二值化网络进行修剪的剪枝方法，将量化和剪枝这两个模型压缩方法结合
Charles5101·2019-07-08 00:07

AI模型压缩算法汇总

AI模型压缩算法汇总最新新闻2019-06-29新闻原文：CVPR2019：北邮提出新AI模型压缩算法，显著降低计算复杂度论文：http://openaccess.thecvf.com/content_CVPR
szZack·2019-06-30 10:45

深度互学习-Deep Mutual Learning：三人行必有我师

为此，精巧的网络结构设计（如MobileNet、ShuffleNet）、模型压缩策略（剪枝、二值化等）及其他优化方法应运而生。
深度学习大讲堂·2019-06-27 19:52

模型压缩，剪枝，量化，加速总结

最近有朋友问我做过的L1剪枝方法怎么样，有没有资源；因为这个是公司的事情，我也不能直接给资源，但是我还是将我使用过得压缩方法总结一下。（还是由于自己忘性大，留给自己回忆）：1）L1剪枝方法：查看如下资源，https://github.com/NervanaSystems/distiller2）蒸馏：查看论文：《MimickingVeryEfficientNetworkforObjection》（实
cxm1995·2019-06-27 15:35

facebook更新FastText工程--新增模型压缩论文的实现模型大小缩减80%--文本分类词向量fasttext

Facebook于北京时间2019年6月25日更新FastText代码，增加了FastText.ZIP:CompressingTextClassificationModels论文的模型压缩实现，论文地址
Eadon999·2019-06-26 15:03

综述论文：当前深度神经网络模型压缩和加速方法速览

来源：https://www.jiqizhixin.com/articles/2017-10-29本文全面概述了深度神经网络的压缩方法，主要可分为参数修剪与共享、低秩分解、迁移/压缩卷积滤波器和知识精炼，本论文对每一类方法的性能、相关应用、优势和缺陷等进行独到的分析。机器之心简要介绍了该论文，更详细的内容请查看原论文。文章目录介绍参数修剪和共享A.量化和二进制化B.剪枝和共享C.设计结构化矩阵迁移
洛北辰南·2019-06-05 10:44

量化yolov3tiny 基于tensorflow lite

首先申明一下，这是一篇有关于量化(定点化是特殊的一种量化方式)，网络模型压缩，可以分为量化与剪枝两大类。首先给出一个github链接：https://github.com/c
edward_zcl·2019-05-28 11:34

Deep-compression 阅读笔记

参考链接1参考链接2参考链接3参考链接4参考链接5参考链接6引言--Why模型压缩一直是机器学习的一个重要方向，并且一个模型不可能只在GPU和服务器上运行才可以。只有通过硬件化实现才能落地。
志小·2019-04-30 10:07

【杂谈】除了有三写的230+，还有谁在有三AI公众号写文章

1一些背景这个公众号的开设，是2015年的事情了，那时候写了几篇阅读量远超过粉丝的文章，应该是全网最早的模型压缩综述，自动驾驶综述文章了。
言有三·2019-04-28 17:06

【杂谈】除了有三写的230+，还有谁在有三AI公众号写文章

1一些背景这个公众号的开设，是2015年的事情了，那时候写了几篇阅读量远超过粉丝的文章，应该是全网最早的模型压缩综述，自动驾驶综述文章了。
有三AI·2019-04-28 17:01

模型压缩与加速:(一)Octave Convolution

  自AlexNet刷新了ImageNet比赛的最佳记录以来,神经网络的又一次高潮猛烈的到来了.一些列各种各样的网络层出不穷,图像/音频/文本等各种任务下都开始了神经网络一统天下的声音.然而神经网络虽然很火,近些年在落地端却鲜有比较成功的案例,其中一个很重要的原因是这些网络需要很强的计算资源,基本都要跑在PC或者服务器上.因此个人认为深度学习如果想在工业上获得比较大的推广和应用,解决模型大小与推理
Tai Fook·2019-04-28 00:00

目标检测yolo3模型压缩

keras保存的为.h5模型，而tensorflow中模型压缩需要的是.pb的二进制文件。因此，首先需要将h5文件转换为pb文件。
墨水兰亭·2019-04-10 14:47

单机玩转神经网络架构搜索(NAS) - Auto-Keras学习笔记

在网络架构(NAS)，模型压缩(AMC)，数据增强(AutoAugment)，优化器设计(NeuralOptimizerSearch)，平台相关优化(AutoTVM)等领域，我们都可以看到相应的研究成果表明机器学习可以达到比人肉调参更优的结果
ariesjzj·2019-04-05 09:40

单机玩转神经网络架构搜索(NAS) - Auto-Keras学习笔记

在网络架构(NAS)，模型压缩(AMC)，数据增强(AutoAugment)，优化器设计(NeuralOptimizerSearch)，平台相关优化(AutoTVM)等领域，我们都可以看到相应的研究成果表明机器学习可以达到比人肉调参更优的结果
ariesjzj·2019-04-05 09:40

SqueezeNet详细解读

提出了新的网络架构FireModule，通过减少参数来进行模型压缩使用其他方法对提出的SqeezeNet模型进行进一步压缩对参数空间进行了探索，主要研究了压缩比和3∗33∗3卷积比例的影响这篇文章是SQUEEZENET
liangjiubujiu·2019-03-26 10:56

深度学习-模型压缩-量化-剪枝-加速

原文链接：https://blog.csdn.net/hw5226349/article/details/84888416组内讨论：https://blog.csdn.net/hw5226349/article/details/84779325https://blog.csdn.net/hw5226349/article/details/84888416https://github.com/mrg
知识在于分享·2019-03-21 23:30

自己使用过得模型压缩方法

最近有朋友问我做过的L1剪枝方法怎么样，有没有资源；因为这个是公司的事情，我也不能直接给资源，但是我还是将我使用过得压缩方法总结一下。（还是由于自己忘性大，留给自己回忆）：1）L1剪枝方法：查看如下资源，https://github.com/NervanaSystems/distiller2）蒸馏：查看论文：《MimickingVeryEfficientNetworkforObjection》（实
猫猫与橙子·2019-03-10 14:48

深度学习模型压缩与加速方法

大型神经网络具有大量的层级与节点，因此考虑如何减少他们所需要的内存与计算量就显得极为重要，特别对于在线学习和增量学习等实时应用。此外，近来只能可穿戴设备的流行也为研究院提供了在资源（内存，cpu，能耗和带宽等）有限的便携式设备上部署深度学习应用提供了机会。比如resnet50，他有50层卷积网络，超过95M的存储需求和计算每一张图片所需要的浮点数乘法时间。如果剪枝一些冗余的权重后，其大概能节约75
别说话写代码·2019-03-05 20:07

深度模型压缩

在早期工作中，DNN模型时旨在最大化准确率而忽视了具体实现的复杂度，然而这将会导致模型实施和部署遇到挑战，为了解决这个问题，人们进行了很多尝试。最近研究工作表明，DNN模型和硬件的协同设计可以在最小化能耗和成本的同时，最大化模型的准确率和吞吐量，这增加了模型被采用的可能性。本节中，我们将会强调目前在模型和硬件协同设计方面所作的各种不同的努力。我们的目标不仅是减少能耗和增加吞吐量，而且要最小化在精度
月臻·2019-03-04 13:45

图像识别工程师岗位职责解析

负责基于深度学习的计算机视觉技术难点攻关与前瞻研究，包括图像语义分割、目标检测、图像分类、图像增强、自动标注、视频分析、图像推理、网络结构搜索等2.负责深度学习相关技术以及系统的研发，包括模型的训练推理加速、模型量化、模型压缩等
高校俱乐部·2019-03-01 16:13

模型压缩总结（完）

模型压缩总结1.核参数稀疏在损失函数中添加使得参数趋向于稀疏的项，使得模型在训练过程中，其参数权重趋向于稀疏。
huataiwang·2019-02-26 13:34

模型压缩经典文章翻译2：（MobileNets翻译）Efficient Convolutional Neural Networks for Mobile ...

一、番外说明大家好，我是小P，今天给大家带来深度模型压缩经典文献MobileNet的翻译，中英对照。
phinoo·2019-01-16 17:21

模型压缩和剪枝

为什么要压缩网络？做过深度学习的应该都知道，NN大法确实效果很赞，在各个领域轻松碾压传统算法，不过真正用到实际项目中却会有很大的问题：计算量非常巨大；模型特别吃内存；这两个原因，使得很难把NN大法应用到嵌入式系统中去，因为嵌入式系统资源有限，而NN模型动不动就好几百兆。所以，计算量和内存的问题是作者的motivation；如何压缩？论文题目已经一句话概括了：Prunesthenetwork：只保留
tony2278·2019-01-13 11:53

深度学习模型优化+模型蒸馏+模型压缩

深度学习模型优化+模型蒸馏+模型压缩、https://blog.csdn.net/shentanyue/article/details/83539382经典论文：（1）DistillingtheKnowledgeinaNeuralNetwork
cbd_2012·2019-01-11 11:03

卷积神经网络压缩参数加速(一)---网络剪枝

软件加速可以分为压缩结构和压缩参数两种，压缩结构就是将模型结构简化，设计结构更小、参数更小的网络后，从头开始训练，之前博文中提到的MobileNet及ShuffleNet系列网络就是模型压缩的一种。
huang_nansen·2019-01-06 15:02

卷积神经网络的压缩

参考：《解析深度学习——卷积神经网络原理与视觉实践》网址：http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf一、模型压缩原因巨大的存储代价以及计算开销,严重制约了深度网络在移动端等小型设备上的应用
一只叫不二的龙猫·2019-01-05 08:57

模型压缩-剪枝

这篇文章是对自己关于模型压缩进行学习的总结与归纳。在研究模型压缩这一块的内容这么长时间，发现自己不够深入，有些混乱，因此希望这篇文章可以让自己的思路更加清晰。
firsttimett·2019-01-02 09:13

CNN 模型压缩与加速算法综述

本文由云+社区发表导语：卷积神经网络日益增长的深度和尺寸为深度学习在移动端的部署带来了巨大的挑战，CNN模型压缩与加速成为了学术界和工业界都重点关注的研究领域之一。
腾讯云加社区·2019-01-02 00:00

深度学习框架Caffe学习系列(2)：Ristretto 量化 cifar_small 实验记录

模型压缩之量化策略Caffe量化工具：Ristretto近似方案学习资源量化cifar_small模型1.创建模型训练文件2.创建模型训练参数文件3.开始训练原始模型4.测试训练好的模型5.量化模型5.1
努力努力在努力丶·2018-12-21 17:23

TensorFlow Mobilenet SSD模型压缩并移植安卓上以达到实时检测效果

之前使用TensorFlowobjectdetectAPI实现了目标检测（14个手势的识别），使用的是轻量级模型Mobilenet-ssd，Mobilenet-ssd本身检测速率相较于其他模型会更快。使用模型配置文件未对参数修改时，训练后的模型通过TensorFlowlite移植安卓上检测发现，速率达到了200-300ms（用的红米5A手机性能较差），模型大小5M（有点忘了）。200-300ms一
LiangJun.py·2018-12-09 19:53
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他