ML&DL-模型压缩

深度神经网络压缩与加速总结

深度神经网络压缩与加速综述1.深度神经网络压缩与加速的任务2.模型压缩与加速方法（1）参数剪枝（2）参数共享（3）低秩分解（4）紧性滤波设计（5）知识蒸馏3.深度神经网络压缩与加速算法相关工作（1）基于参数剪枝的深度神经网络压缩与加速
知识海洋里的咸鱼·2022-02-04 15:21

量化感知训练实践：实现精度无损的模型压缩和推理加速

简介：本文以近期流行的YOLOX[8]目标检测模型为例，介绍量化感知训练的原理流程，讨论如何实现精度无损的实践经验，并展示了量化后的模型能够做到精度不低于原始浮点模型，模型压缩4X、推理加速最高2.3X
·2021-12-24 15:02

模型压缩

模型蒸馏模型蒸馏属于模型压缩的一种方法，典型的Teacher-Student模型。Net-T(教师模型)：不做任何关于模型架构、参数量、是否集成的限制。输入X，输出Y对应的概率分布。
不会念经的木鱼仔·2021-12-10 13:31

NVIDIA TensorRT模型压缩加速原理

介绍TensorRT是一个高性能的深度学习推理优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现在已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。目前的
Daisy丶·2021-11-28 16:00

2021科大讯飞 非标准化疾病诉求的简单分诊挑战赛前三名队伍分享

1.1.1成员介绍1.1.2获奖经历1.2算法方案解析1.2.1赛题描述1.2.2评价指标1.2.3数据分析1.3算法模型1.3.1模型架构1.3.2Finetune1.4实验结果1.5模型优化1.5.1主流模型压缩方法
herosunly·2021-11-24 16:11

MobileNet

某厂实习生有的图转载csdn和知乎，仅作自己笔记，侵删一、解决什么问题目前模型受限的原因主要是模型的存储问题和模型进行预测的速度问题有两种常用的解决手段：模型结构设计和模型压缩。
qq_34751603·2021-11-14 22:01

CANN5.0黑科技解密 | 别眨眼！缩小隧道，让你的AI模型“身轻如燕”！

摘要：CANN作为释放昇腾硬件算力的关键平台，通过深耕先进的模型压缩技术，聚力打造AMCT模型压缩工具，在保证模型精度前提下，不遗余力地降低模型的存储空间和计算量。
华为云开发者社区·2021-11-03 20:00

bert 模型压缩原理

比较经典的压缩尺寸是12*768->6*384下面以classifiertask为例子，讲一下bert模型压缩的原理和实现.classifiertask的model的结构：BERT-->MLP-->cross_entropy_loss2
小小兰哈哈·2021-10-17 11:18

解决tensorflow模型压缩的问题_踩坑无数,总算搞定

1.安装bazel，从github上下载linux版的.sh文件，然后安装2.从GitHub上下载最新的TensorFlow源码3.进入TensorFlow源码文件夹，输入命令bazelbuildtensorflow/tools/graph_transforms:transform_graph这里会遇到各种坑，比如ERROR:/opt/tf/tensorflow-master/tensorflow
·2021-09-26 19:56

VEGA：诺亚AutoML高性能开源算法集简介

摘要：VEGA是华为诺亚方舟实验室自研的全流程AutoML算法集合，提供架构搜索、超参优化、数据增强、模型压缩等全流程机器学习自动化基础能力。
·2021-09-24 12:12

ICCV 2021 结果出炉！最全论文下载及分类汇总（更新中）

包含目标检测、图像分割、目标跟踪、医学影像、3D、模型压缩、图像处理、姿态估计、文本检测等多个方向，同时，我们将对优秀论文解读报道和技术直播，欢迎大家关注~由于编辑器的限制，最新版本的论文汇总请大家前往我们的
极市平台·2021-07-20 18:21

Network Compression

1.Awesome-model-compression-and-acceleration2.模型压缩总览：https://www.jianshu.com/p/e73851f32c9f模型压缩:#EfficientDNNshttps
顾北向南·2021-06-25 04:46

链接地址

utm_source=com.tencent.tim&utm_medium=social&utm_oi=697019945036296192模型压缩：https://zhuanlan.zhihu.com
顾北向南·2021-06-23 01:06

第十七章_模型压缩、加速及移动端部署

文章目录第十七章模型压缩及移动端部署17.1模型压缩理解17.2为什么需要模型压缩和加速？17.3模型压缩的必要性及可行性17.4目前有哪些深度学习模型压缩方法？
城市 找·2021-06-13 17:16

2019年顶级机器学习和深度学习研究论文和源码分享总结

本文考虑了三个阶段：模型压缩将数据从一种格式（比如RGB）转移到另一种格式（例如深度）将一组网
图像算法·2021-06-07 15:14

深度学习模型压缩算法综述（三）：知识蒸馏算法+实战

深度学习模型压缩算法综述（三）：知识蒸馏算法本文禁止转载项目地址：联系作者：知识蒸馏：分类模型训练目标：two-stage检测模型训练目标：基本思路：损失函数：one-stage检测模型训练目标：基本思路
BIT可达鸭·2021-05-31 21:50

深度学习模型压缩算法综述（二）：模型剪枝算法

深度学习模型压缩算法综述（二）：模型剪枝算法本文禁止转载联系作者：模型剪枝算法：L1(L2)NormFilterPruner：主要思想：修剪策略：微调策略：残差网络的处理：缺点：FPGMNormFilterPruner
BIT可达鸭·2021-05-31 17:45

深度学习模型压缩算法综述（一）：低比特模型量化算法

深度学习模型压缩算法（一）：低比特模型量化本文禁止转载联系作者：低比特量化动态离线量化：使用条件：预期结果：基本原理：精度损失：推理方式：缺点：静态离线量化：使用条件：预期结果：基本原理：基本流程：精度损失
BIT可达鸭·2021-05-31 16:42

Do Deep Nets Really Need to be Deep？

一、主要思想用一种模型压缩(ModelCompression)[2]的方法训练浅层网络来模仿深层网络,得到只有一个隐藏层的浅层网络。
snowhou·2021-05-09 03:35

轻松玩转移动AI，一键集成的端智能框架Pitaya

各大厂商也在不断加强移动设备的AI能力，主要体现在以下方面：通过专门为AI能力定制的Soc，提供更好的计算能力轻量级推理引擎技术的成熟（例如：TensorFlowLite），对算力有限的移动设备更加友好模型压缩技术使得模型体积大大降低
字节跳动技术团队·2021-05-07 10:48

【模型压缩】Yolov3目标检测模型蒸馏实验

Yolov3目标检测模型蒸馏实验PaddleDetection知识蒸馏分类模型蒸馏：one-stage检测模型蒸馏：关于作者实验环境：划分数据集正常训练：L2蒸馏损失训练Fine-gained蒸馏损失训练注：我的公众号：PaddleDetection知识蒸馏知识蒸馏主要是让让新模型（通常是一个参数量更少的模型）近似原模型(模型即函数)。注意到，在机器学习中，我们常常假定输入到输出有一个潜在的函数关
BIT可达鸭·2021-04-30 13:02

BERT和GAN咋压缩，且看咱PaddleSlim新利器—— OFA

针对部署难题，可以使用剪枝、量化、蒸馏等传统的模型压缩技术，但是这些模型压缩技术整
·2021-04-13 19:34

BERT和GAN咋压缩，且看咱PaddleSlim新利器—— OFA

针对部署难题，可以使用剪枝、量化、蒸馏等传统的模型压缩技术，但是这些模型压缩技术整
·2021-04-12 21:57

模型压缩（下）—— 知识蒸馏(Distilling Knowledge)

Givenanimageofadog,agoodteachernetworkmaymistakenlyrecognizeitascatwithsmallprobability,butshouldseldomrecognizeitascar.在论文中有写过这样一段话语，相对于狗和汽车来说，狗和猫的相似性更大，这里就潜藏着更多的信息。而这种相似性，会在probability中有所体现。而这部分信息一直
不懂不学不问·2021-03-28 22:01

模型压缩（上）—— 知识蒸馏(Distilling Knowledge)

因此，可以利用大模型学习到的知识去指导小模型训练，使得小模型具有与大模型相当的性能，但是参数数量大幅降低，从而实现模型压缩与加速，这就是知识蒸馏与迁移学习在模型优化中的应用。
不懂不学不问·2021-03-28 21:37

知识蒸馏

知识蒸馏指的是模型压缩的思想，通过一步一步地使用一个较大的已经训练好的网络去教导一个较小的网络确切地去做什么。“软标签”
ROCCO#·2021-03-11 15:27

面向深层Transformer模型的轻量化压缩方法

基于此，讲者提出一种基于群体置换的知识蒸馏方法（Group-PermutationbasedKnowledgeDistillation，GPKD），将深层的Transformer模型压缩为浅层模型；为了进一步增强
AITIME论道·2021-02-24 17:22

PyTorch+Flask+Gunicorn 部署深度模型服务

不考虑模型压缩这些问题，要将一
faith_0904·2021-01-23 23:01

关于NLP相关技术全部在这里：预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、深度学习、语法分析、文本处理...

大家都知道NLP近几年非常火，而且发展也特别快。那些耳熟的BERT、GPT-3、图神经网络、知识图谱等技术实际上也就是这几年发展起来的，特别像图神经网络在这两年间取得了飞速的发展。我们正处在信息爆炸的时代、面对每天铺天盖地的新的网络资源和论文、很多时候我们面临的问题并不是缺资源，而是找准资源并高效学习。但很多时候你会发现，花费大量的时间在零零散散的内容上，但最后发现效率极低，浪费了很多宝贵的时间。
PaperWeekly·2021-01-10 18:46

深度学习模型压缩与加速综述！

↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：Pikachu5808，编辑：极市平台来源丨https://zhuanlan.zhihu.com/p/301162618导读本文详细介绍了4种主流的压缩与加速技术：结构优化、剪枝、量化、知识蒸馏，作者分别从每个技术结构与性能表现进行陈述。近年来，深度学习模型在CV、NLP等领域实现了广泛应用。然而，庞大
Datawhale·2021-01-04 19:00

关于NLP相关技术全部在这里：预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、深度学习、语法分析、文本处理...

大家都知道NLP近几年非常火，而且发展也特别快。那些耳熟的BERT、GPT-3、图神经网络、知识图谱等技术实际上也就是这几年发展起来的，特别像图神经网络在这两年间取得了飞速的发展。我们正处在信息爆炸的时代、面对每天铺天盖地的新的网络资源和论文、很多时候我们面临的问题并不是缺资源，而是找准资源并高效学习。但很多时候你会发现，花费大量的时间在零零散散的内容上，但最后发现效率极低，浪费了很多宝贵的时间。
文文学霸·2021-01-04 12:00

关于NLP相关技术全部在这里：预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、深度学习、语法分析、文本处理...

大家都知道NLP近几年非常火，而且发展也特别快。那些耳熟的BERT、GPT-3、图神经网络、知识图谱等技术实际上也就是这几年发展起来的，特别像图神经网络在这两年间取得了飞速的发展。我们正处在信息爆炸的时代、面对每天铺天盖地的新的网络资源和论文、很多时候我们面临的问题并不是缺资源，而是找准资源并高效学习。但很多时候你会发现，花费大量的时间在零零散散的内容上，但最后发现效率极低，浪费了很多宝贵的时间。
l7H9JA4·2020-12-30 18:10

【深度学习】万字综述：用于深度神经网络加速的Shift操作

在之前的文章中，我们详细介绍了模型压缩中的S
风度78·2020-12-29 19:00

tensorflow量化感知训练_tensorflow模型量化实例

1，概述模型量化应该是现在最容易实现的模型压缩技术，而且也基本上是在移动端部署的模型的毕竟之路。
weixin_39654352·2020-12-19 09:37

pytorch实现attention_Longformer: 局部Attention和全局attention的混搭

构建相关的、完整的知识结构体系，以下是要写的文章，本文是这个系列的第十一篇：Transformer:Attention集大成者GPT-1&2:预训练+微调带来的奇迹Bert:双向预训练+微调Bert与模型压缩
weixin_39710179·2020-11-24 04:41

第十七章_模型压缩、加速及移动端部署

文章目录第十七章模型压缩及移动端部署17.1为什么需要模型压缩和加速？17.2目前有哪些深度学习模型压缩方法？17.2.1前端压缩17.2.2后端压缩17.3目前有哪些深度学习模型优化加速方法？
九霄王·2020-11-12 13:34

分类整理 | ICLR 2021 投稿中值得一读的NLP相关论文

理论、模型与经验性分析：38篇问答与阅读理解：4篇知识图谱：4篇文本生成：9篇机器翻译：7篇对抗攻击：4篇文本分类：2篇信息抽取：4篇可解释性：1篇模型压缩与集成：
zenRRan·2020-11-10 22:28

深度模型压缩技术在智能座舱方案的探索与实践

桔妹导读：近年来，智能汽车的概念已经成为了主流的发展趋势。汽车座舱在智能汽车的场景中成为关键一环。将汽车座舱智能化可以提高整体乘客乘坐品质和驾驶员行驶体验，智能座舱的功能丰富，其中多数核心算法是基于深度学习的视觉算法。但是，由于智能座舱终端的运算资源有限，深度模型尺寸庞大、计算量需求大，因此，当同时运行多个深度模型算时，会导致终端运算资源不足，算法响应慢，很难满足实时性的需求。本文重点介绍内容是模
滴滴技术·2020-10-21 19:28

常用深度学习模型压缩和加速

模型压缩和加速是两个不同的话题，有时候压缩并不一定能带来加速的效果．压缩重点在于较少网络参数量，加速则侧重在降低计算复杂度，提升并行能力．模型压缩和优化可以从主要三个层次上来思考:算法层压缩加速．这个维度主要在算法应用层上
大圣爱喝沙煲粥·2020-10-17 21:51

HRNet剪枝记录

第一版github：https://github.com/vvhj/APRCP-HRNet-Adaptive-Pruning-Rate-Channel-Pruning-for-HRNet目前公开模型压缩率为
qq_35890328·2020-10-14 19:58

基于剪枝技术的模型压缩,3ms推理的YoloV5mAP60+!

基于剪枝技术的模型压缩,3ms推理的YoloV5mAP60+!
小肉包老师·2020-09-27 13:06

模型量化

sort=created微软的模型压缩工具：distiller（重点）https://github.com/NervanaSystems/distiller(支持PyTorch，官方是在PyTorch1.3
Valar_Morghulis·2020-09-25 14:57

一分钟带你认识深度学习中的知识蒸馏

摘要：知识蒸馏（knowledgedistillation）是模型压缩的一种常用的方法一、知识蒸馏入门1.1概念介绍知识蒸馏（knowledgedistillation）是模型压缩的一种常用的方法，不同于模型压缩中的剪枝和量化
华为云开发者社区·2020-09-23 16:00

模型压缩和知识蒸馏剪枝量化

模型压缩和知识蒸馏技术引言2模型压缩方法2.1distiller2.2prunning2.3quantization3框架分析3.1框架分析3.2compression案例分析3.1distiller参考引言模型压缩是工程部署一个重要的环节
邢源·2020-09-19 23:00

深度学习&计算机视觉常见的29道面试题及解析

6.模型压缩的主要方法有哪些？7.目标检测中IOU是如何计算的？8.使用深度卷积网络做
ai52learn·2020-09-17 03:16

ORC提取图片中文字

主题:orc实现图片中的文字提取实现：1.安装pipinstallcnocr首次使用cnocr时，系统会自动从cnocr-models下载zip格式的模型压缩文件，并存于~/.cnocr目录。
HiAliens·2020-09-16 20:13

当LiteOS遇上Mindspore，为物联网插上AI的翅膀

讲解了在物联网端侧资源受限、硬件种类繁多、指令差异化较大等多种挑战下，MindSpore结合LiteOS在模型压缩、性能优化、流水线处理等方面的一些工程化实践，以及在混合精度量化、硬件平台自适应等方
嵌入式资讯精选·2020-09-16 20:11

AI实战：深度学习之知识蒸馏

简介知识蒸馏被广泛用于模型压缩和迁移学习。开山之作DistillingtheKnowledgeinaNeuralNetwork。文章提出一种方法，把多个模型的知识提炼给单个模型。
szZack·2020-09-15 16:40

别再蒸馏3层BERT了！变矮又能变瘦的DynaBERT了解一下

说到模型压缩，常用的方法有以下几种：量化：用FP16或者INT8代替模型参
夕小瑶·2020-09-14 21:44

机器学习9 -- 模型压缩和加速

1背景近年来深度学习模型在计算机视觉、自然语言处理、搜索推荐广告等各种领域，不断刷新传统模型性能，并得到了广泛应用。随着移动端设备计算能力的不断提升，移动端AI落地也成为了可能。相比于服务端，移动端模型的优势有：减轻服务端计算压力，并利用云端一体化实现负载均衡。特别是在双11等大促场景，服务端需要部署很多高性能机器，才能应对用户流量洪峰。平时用户访问又没那么集中，存在巨大的流量不均衡问题。直接将模
谢杨易·2020-09-13 09:08
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他