ML&DL-模型压缩第18页

字节跳动（抖音团队）面经

还是记录一下吧1.自我介绍2.问公司实习项目2.1模型压缩都有那些手段？（我说了dwconv，压缩通道，限制出框数目和长宽比，面试官说了一个teacher-student。。。）

wzt_gjt·2020-06-29 22:13

深度学习模型轻量化（上）

模型压缩和加速是两个不同的话题，有时候压缩并不一定能带来加速的效果，有时候又是相辅相成的。压缩重点在于减少网络参数量，加速则侧重在降低计算复杂度、提升并行能力等。模型压缩和加速可以从多个角度来优化。

wujianming_110117·2020-06-29 21:11

今晚直播 | 一小时搞懂工业部署和模型压缩，快速实现AI落地

百度飞桨官方出品的《百度架构师手把手带你-零基础入门深度学习》现推出第8章企业应用预备课程，5月26日-6月11日，每周二、周四20:30-21:30，全程直播+实践+答疑，6节课程，提供AI研发全套装备，让AI应用更为简单。（不需要掌握前7章的内容，有一定深度学习基础，也可以学习哦！）今晚课程内容工业部署是实现AI产业化必不可少的一环，今晚将结合用户使用场景，梳理飞桨工业部署全流程，详细讲解飞桨

百度大脑·2020-06-29 15:10

人脸识别0-00：insightFace-目录-史上最全

接下来，我会为大家解析insightFace的每一个要点，从论文复现，源码超详细解析，训练自己的数据，模型压缩（剪枝，量化，核稀疏等），八度卷积移植等等（只有你没有想到的，没有我讲不到的），如有兴趣可以加微信

江南才尽，年少无知！·2020-06-29 07:02

浅谈一个新人的大数据之路

CCCCCold丶大数据之禅第一章，大数据之路浅谈数仓&数据集市&数据湖数据模型模型ETL频率：模型存储技术：模型数据分层：模型架构分层：模型主题域：模型创建类型：模型存储类型：模型压缩算法：队列：节点

Cold丶kl·2020-06-29 06:31

如何高效学习（整体学习法）

建立联系1步骤2操作3自我管理主要内容：一三个基本（前提）（1）结构（可链接）区别联系新旧概念链接（2）模型压缩信息抓住重点忽略细节（3）高速公路连接找相似之处二6个阶段（1）获取信息简化多速度快（速读法

寅家·2020-06-28 16:43

斯坦福博士韩松毕业论文：面向深度学习的高效方法与硬件

他的研究也广泛涉足深度学习和计算机体系结构，他提出的DeepCompression模型压缩技术曾获得ICLR'16最佳论文，ESE稀疏神经网络推理引擎获得FPGA'17最佳论文，对业界影响深远。

weixin_34111790·2020-06-28 11:48

深度学习模型压缩与加速

简介将深度学习模型应用于自动驾驶的感知任务上，模型预测结果的准确性和实时性是两个重要指标。一方面，为了确保准确可靠的感知结果，我们会希望选择多个准确性尽可能高的模型并行执行，从而在完成多种感知任务的同时，提供一定的冗余度，但这不可避免的意味着更高的计算量和资源消耗。另一方面，为了确保车辆在各种突发情况下都能及时响应，我们会要求感知模块的执行速度必须与自动驾驶场景的车速相匹配，这就对深度学习模型的实

weixin_30401605·2020-06-27 19:55

深度模型压缩论文（03）- Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self

文章目录1.摘要和背景1.1摘要1.2背景2.方法和贡献2.1方法2.1.1训练过程2.1.2loss介绍2.2贡献3.实验和结果3.1实验3.2结果4.总结和展望4.1总结4.2展望主要贡献：基于网络蒸馏方法，提出了一种提升裁剪后模型的精度的方法！将训练时间大大缩短！推荐指数：4颗星（5颗星满）本系列是在阅读深度神经网络模型小型化方面论文时的笔记！内容大部分从论文中摘取，也会有部分自己理解，有错

Zero-One-0101·2020-06-27 13:05

深度模型压缩论文（01）- Meta Filter Pruning to Accelerate Deep Convolutional Neural Networks

文章目录1.摘要和介绍1.1摘要部分2.背景和方法2.1背景2.2贡献2.3方法3.实验和结果3.1实验3.2结果4.总结和展望4.1总结4.2展望本系列是在阅读深度神经网络模型小型化方面论文时的笔记！内容大部分从论文中摘取，也会有部分自己理解，有错误的地方还望大家批评指出！论文链接：MetaFilterPruningtoAccelerateDeepConvolutionalNeuralNetwo

Zero-One-0101·2020-06-27 13:04

YOLO源码详解（一）-训练

/blog.csdn.net/u014540717QQ交流群：554590241本系列文章会持续更新，主要会分以下几个部分：１、darknet下的yolo源代码解读２、将yolo移植到mxnet下３、模型压缩与加速白天需要工作

木_凌·2020-06-27 09:54

tensorflow模型压缩，踩坑无数，总算搞定

1.安装bazel，从github上下载linux版的.sh文件，然后安装2.从GitHub上下载最新的TensorFlow源码3.进入TensorFlow源码文件夹，输入命令bazelbuildtensorflow/tools/graph_transforms:transform_graph这里会遇到各种坑，比如ERROR:/opt/tf/tensorflow-master/tensorflow

毕业恐慌症1·2020-06-27 07:40

一文深入 - 深度学习模型压缩和加速

1背景近年来深度学习模型在计算机视觉、自然语言处理、搜索推荐广告等各种领域，不断刷新传统模型性能，并得到了广泛应用。随着移动端设备计算能力的不断提升，移动端AI落地也成为了可能。相比于服务端，移动端模型的优势有：减轻服务端计算压力，并利用云端一体化实现负载均衡。特别是在双11等大促场景，服务端需要部署很多高性能机器，才能应对用户流量洪峰。平时用户访问又没那么集中，存在巨大的流量不均衡问题。直接将模

谢杨易·2020-06-27 07:39

pocketflow终于公布源码

源码地址：https://github.com/Tencent/PocketFlow把深度学习模型压缩部署到手机上直接本地运行的趋势，愈演愈烈。

mjiansun·2020-06-27 05:43

人脸关键点检测PFLD论文解读

该算法在精度、效率、模型压缩方面都

liguiyuan112·2020-06-27 04:11

腾讯PocketFlow模型压缩与加速实现

1.开发环境：Ubuntu16.04Python3.6tensorflow1.122.安装PocketFlowgithub地址：官网教程：https://pocketflow.github.io/installation/官网提供了三种PocketFlow部署方法，分别为：本地、docker、seven，这里我使用的是local开发方法。安装步骤：2.1拷贝工程到本地$gitclonehttps:

liguiyuan112·2020-06-27 04:11

###好好好好#####模型蒸馏（Distil）及mnist实践

模型压缩/蒸馏在论文《ModelCompression》及《DistillingtheKnowledgeinaNeuralNetwork》提及，下面介绍后者及使用keras测试mnist数据集。

mishidemudong·2020-06-26 21:33

MobileNet-v1算法详解

因此模型压缩、模型加速在未来是一个比较活跃的领域。mobileNets主要将传统的卷积结构改造成两层卷积结构

@浪里小白龙·2020-06-26 15:43

知识蒸馏(Knowledge Distillation)、半监督学习(semi-supervised learning)以及弱监督学习(weak-supervised learning)

一.知识蒸馏1.知识蒸馏（1）首先，我先强调一下蒸馏学习其实本质是模型压缩！模型压缩！模型压缩！S模型有的精度高于T模型，有的低于T模型，但是可以很好地压缩网络体积。

761527200·2020-06-25 16:35

闲话模型压缩之量化（Quantization）篇

为了弥补算力需求与供给的鸿沟，近几年来模型压缩成为了业界的热点之一。模型压缩又可细分为多个子方向。

ariesjzj·2020-06-25 15:52

【论文】最新自然语言处理领域顶会论文大合集！

zenRRan·2020-06-25 03:59

目标检测资源汇总--持续更新

2、提供包括剪枝，量化，知识蒸馏的主流模型压缩算法实现。3、提供多backbone训练目前包括Darknet-YOLOv3，Tiny-YOLOv3，Mobilenetv3-YOLOv3。

hust_0offer·2020-06-25 00:39

知识蒸馏 | 模型压缩利器_良心总结

本文主要从宏观的角度分析一下各个蒸馏算法的蒸馏方式，具体细节可以根据兴趣阅读论文~知识蒸馏是一种模型压缩常见方法，用于模型压缩指的是在teacher-student框架中，将复杂、学习能力强的网络学到的特征表示

yuanCruise·2020-06-24 22:08

DNN，CNN和RNN的12种主要dropout方法的数学和视觉解释

深入研究DNN，CNN和RNNDropout方法以进行正则化，蒙特卡洛不确定性和模型压缩##动机在（深度）机器学习中训练模型时的主要挑战之一是协同适应。这意味着神经元彼此非常依赖。

deephub·2020-06-24 12:51

2020年NLP所有领域最新、经典、顶会、必读论文

lqfarmer·2020-06-24 09:52

PaddlePaddle飞桨 CV训练营心得

目录写在前面：主要学习内容：遇到的问题：Day1数据可视化：Day2手势识别：Day3车牌识别：Day4口罩分类：Day5人流密度检测：Day6模型压缩：最后写在前面：第一次知道飞桨，是无意看见推送“PaddleHub

吹散的友谊·2020-06-23 14:17

12种主要的Dropout方法：如何应用于DNNs，CNNs，RNNs中的数学和可视化解释

作者：AxelThevenot编译：ronghuaiyang导读深入了解DNNs，CNNs以及RNNs中的Dropout来进行正则化，蒙特卡洛不确定性和模型压缩的方法。

Congqing He·2020-06-23 13:24

【知识星球】关于模型压缩，有三AI知识星球近一个月从模型精简，硬件实现，到模型剪枝分享了哪些内容...

欢迎大家来到《知识星球》专栏，模型压缩是我们星球社区的重点关注内容，本次简介近期分享的一部分内容。

言有三·2020-06-23 12:53

【AI不惑境】模型压缩中知识蒸馏技术原理及其发展现状和展望

作者&编辑|言有三知识蒸馏是非常经典的基于迁移学习的模型压缩技术，在学术界的研究非常

言有三·2020-06-23 12:21

对话腾讯AI Lab：即将开源自动化模型压缩框架PocketFlow，加速效果可达50%

整理|Jane出品|AI科技大本营【导语】腾讯AILab机器学习中心今日宣布成功研发出世界上首款自动化深度学习模型压缩框架——PocketFlow，并即将在今年10-11月发布开源代码。

AI科技大本营·2020-06-23 02:54

第1014期机器学习日报(2017-06-28)

机器学习日报2017-06-28神经网络激活函数优缺点综合参考清单@爱可可-爱生活百度的开源中文主题建模工具集@爱可可-爱生活机器学习博士竞争力对比：美国ML高薪岗位排名及职业发展分析@爱可可-爱生活神经网络模型压缩技术

机器学习日报·2020-06-22 12:24

腾讯 AI Lab 正式开源PocketFlow自动化深度学习模型压缩与加速框架

11月1日，腾讯AILab在南京举办的腾讯全球合作伙伴论坛上宣布正式开源“PocketFlow”项目，该项目是一个自动化深度学习模型压缩与加速框架，整合多种模型压缩与加速算法并利用强化学习自动搜索合适压缩参数

腾讯技术工程·2020-06-22 06:18

【AutoGluon】图像识别与分类实战教程

HollrayChan·2020-06-21 21:58

腾讯AI Lab正式开源PocketFlow自动化深度学习模型压缩与加速框架

11月2日，腾讯AILab在南京举办的腾讯全球合作伙伴大会“共生·人工智能”分论坛上宣布正式开源“PocketFlow”项目，该项目是一个自动化深度学习模型压缩与加速框架，整合多种模型压缩与加速算法并利用强化学习自动搜索合适压缩参数

腾讯AI实验室·2020-06-21 14:03

（2020.6.15）知识蒸馏

模型压缩：NetworkPrunin

SQLKRAD·2020-06-15 18:00

模型压缩（二）：知识蒸馏

先训练一个大模型，再训练一个小模型学习大模型的输出。大模型不仅学到了类别，还学到了类别之间相似的东西，比真实label更多信息，不知告诉这个图片是1，还告诉它和7/9很像。从来不给小模型看7，但是因为大模型会教他，所以可能也能得到正确的结果。学生模型多任务，与老师的softtarget的loss是kl散度，真实label的loss是交叉熵。比赛中用模型融合，但是实际中不能用多个模型，但是学生模型可

夕一啊·2020-04-29 21:28

TensorBoard中HISTOGRAMS和DISTRIBUTIONS图形的含义

最近在尝试模型压缩，其中的一个步骤是对模型进行稀疏训练。

臭咸鱼·2020-04-02 21:00

TensorFlow Mobile模型压缩

所以模型压缩是十分必要的。正文在Google的优化方案中，主要有那么几种优化方

Jcme丶Ls·2020-04-01 10:26

使用draco算法对模型OBJ压缩及加载

灰灰0421·2020-03-29 20:50

ICCV 2019 |推荐Pytorch实现一种无需原始训练数据的模型压缩算法

然而，在实际应用中，由于隐私、传输等原因，训练数据集通常不可用因此，作者提出了一种不需要原始训练数据的模型压缩方法。原理上图是本文提出的总体结构通过一个给定的待压缩网络（教师网络），作者训练一个生成

图像算法·2020-02-20 20:13

Distilling the Knowledge in a Neural Network

贡献提出知识蒸馏（KnowledgeDistillation）方法，从大模型中学习到的知识中学习有用信息来训练小模型，在保证性能的前提下进行模型压缩提出一种新的集成模型方法，包括通用模型和多个专用模型，

MadCoder·2020-02-19 11:59

TensorFlow 首个优化工具来了：模型压缩4倍，速度提升3倍！

今天，TensorFlow发布了一个新的优化工具包：一套可以让开发者，无论是新手还是高级开发人员，都可以使用来优化机器学习模型以进行部署和执行的技术。这些技术对于优化任何用于部署的TensorFlow模型都非常有用。特别是对于在内存紧张、功耗限制和存储有限的设备上提供模型的TensorFlowLite开发人员来说，这些技术尤其重要。关于TensorFlowLite，这里有更多教程：https://

nanao3o·2020-02-13 09:35

模型压缩论文集锦

AwesomeKnowledgeDistillation================================PapersCombininglabeledandunlabeleddatawithco-training,A.Blum,T.Mitchell,1998ModelCompression,RichCaruana,2006Darkknowledge,GeoffreyHinton,Or

DeepWeaver·2020-02-06 07:51

Knowledge Distillation Summary

最近看了几篇KD方法用于模型压缩的文章，现总结如下：KnowledgeDistillation最先由Hinton提出的，大意是说：小模型在分类的时候，光用训练集里的one-hotlabel不好，因为这种标注把类别间的关系割裂开了

信步闲庭v·2020-02-05 09:22

《DistilBERT,adistilledversionofBERT:smaller, faster,cheaperandlighter》阅读心得

该文主要采用“知识蒸馏”方法对BERT（预训练语言模型）精简、优化，将较大模型压缩成较小的模型，最终目的是：提高模型推理的效率，让运行在智能手机等硬件设备上的深度学习模型具有轻量级、响应快及能源利用率高等特性

今夜无风·2020-02-03 20:00

模型压缩技（1）——参数二值化

这是一个模型压缩很简单的方法。我们知道DropConnect网络，就是随机把某些连接权重置为0。

Johann_Liang·2020-02-02 03:33

模型压缩总览

为了解决这些问题，许多业界学者研究模型压缩方法以最大限度的减小模型对于计算空间和时间的消耗。最近团队里正在研究模型压缩相关的内容，正好在这里总结一下。

CodePlayHu·2020-01-05 12:23

端上智能——深度学习模型压缩与加速

本文将为大家详细介绍两种模型压缩算法，并展示了阿里巴巴模型压缩平台和前向推理工具。本次直播视频精彩回顾，戳这里！本次直播PDF下载，戳这里！

阿里云云栖号·2019-12-31 15:43

CNN 模型压缩与加速算法综述

本文由云+社区发表导语：卷积神经网络日益增长的深度和尺寸为深度学习在移动端的部署带来了巨大的挑战，CNN模型压缩与加速成为了学术界和工业界都重点关注的研究领域之一。

腾讯云加社区·2019-12-25 23:24

tensorflow模型量化实例

1，概述模型量化应该是现在最容易实现的模型压缩技术，而且也基本上是在移动端部署的模型的毕竟之路。

微笑sun·2019-12-18 12:00

推荐频道

ML&DL-模型压缩