ML&DL-模型压缩

ICCV 2017 Learning Efficient Convolutional Networks through Network Slimming（模型剪枝）

前言这篇文章是ICCV2017的一篇模型压缩论文，题目为《LearningEfficientConvolutionalNetworksthroughNetworkSlimming》。
GiantPandaCV·2023-03-26 15:13

知识蒸馏 | 模型压缩利器_良心总结

本文主要从宏观的角度分析一下各个蒸馏算法的蒸馏方式，具体细节可以根据兴趣阅读论文~知识蒸馏是一种模型压缩常见方法，用于模型压缩指的是在teacher-student框架中，将复杂、学习能力强的网络学到的特征表示
yuanCruise·2023-03-23 11:04

模型压缩

模型压缩对于复杂问题建模时，深度学习模型在容纳更多参数的情况下，效果一般更好，但是模型占内存大，预测时间长的，往往限制其在小型或普通配制的硬件上使用。一般使用模型压缩方法给模型减肥，主要方法总结如下。
xieyan0811·2023-03-21 20:49

模型压缩技术综述

模型压缩不仅可以缩短训练时间、降低计算资源消耗，还可以提高模型在移动设备等资源有限的场景下的应用性能。本文将介绍
易烊千玺铁粉·2023-03-17 13:01

详解NLP中的预训练模型、图神经网络、模型压缩、知识图谱

2021年眼看快要结束，回想起前段时间的秋招算法岗，可谓是从灰飞烟灭到人间炼狱。之后的趋势都变成了这样：转行的开始转行，换专业的开始换专业。于是很多人欲转行NLP，原因是NLP技术近几年发展非常快，像BERT、GPT-3、图神经网络、知识图谱等技术被大量应用于项目实践中，这也推动了NLP在产业中的持续落地，以及行业对相关人才的需求。但是最近有粉丝私信我，NLP很难学，这条路能坚持走吗？对于这位朋友
PaperWeekly·2023-03-16 07:53

3D可视化9大核心算法，可收藏

01Mesh压缩技术3D模型处理采用Mesh压缩后，压缩率高达6%（可压缩掉94%），直接能将1G模型压缩至60M，并可弹性参数设置，支持用户高效完成自定义压缩。
mouruikeji2021·2023-03-15 05:26

模型增强(2) 从label下手

更好的阅读体验请跳转至模型增强(2)从label下手上篇KnowledgeDistillation(2):distillingknowledgeofbert中我们提到，模型压缩时一个很重要的知识是softlabels
小蛋子·2023-03-10 19:19

浅析自动机器学习（AutoML）工具NNI

NNI简介NNI(NeuralNetworkIntelligence)是一个轻量级但功能强大的自动机器学习（AutoML）工具包，可帮助用户自动化特征工程、神经架构搜索、超参数调优和模型压缩，并支持单机
吃果冻不吐果冻皮·2023-03-09 14:19

pytorch实现模型剪枝的操作方法

2.2.2，局部结构化剪枝2.2.3，局部结构化剪枝示例代码2.3，全局非结构化剪枝三，总结参考资料一，剪枝分类所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术
·2023-02-27 19:41

模型压缩中参数量化

参考：https://blog.csdn.net/zlgahu/article/details/104662203?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-5.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogC
小白不畏难·2023-02-23 16:05

ConvBERT: Improving BERT with Span-based Dynamic Convolution稿

人们开始研究如何降低计算资源的消耗，有模型压缩，蒸馏等等方法。之前有论文发现bert中的某些注意力头只学习局部依赖，那么完全就没必要使用selfattention的方法来学习这些依
Tyyy`·2023-02-22 07:49

风格迁移模型压缩 第二期

昨天将模型压缩到了4.4MB，之后还想进一步压缩，这时最直接的一个想法是将模型中的单精度浮点数换成半精度浮点数，从理论上，不仅可以减少一半的模型大小，还可以减少一半的计算量和现存占用。
nonoka·2023-02-18 15:26

模型压缩总结

1.模型复杂度衡量modelsizeRuntimeMemoryNumberofcomputingoperationsmodelsize就是模型的大小，我们一般使用参数量parameter来衡量，注意，它的单位是个。但是由于很多模型参数量太大，所以一般取一个更方便的单位：兆(M)来衡量（M即为million，为10的6次方）。比如ResNet-152的参数量可以达到60million=0.00006
慕思侣·2023-02-07 13:30

模型压缩（Model compression）

第一，使用高性能硬件加速；第二，使用模型压缩（Modelcompression）。我们这里讲的就是软件的方法，即模型压缩。
Kenny_SI·2023-02-07 13:30

神经网络模型压缩和加速

ASurveyofModelCompressionandAccelerationforDeepNeuralNetworks当前深度神经网络模型压缩和加速都有哪些方法？
ciki_tang·2023-02-07 13:59

模型压缩(Model compression)

模型压缩技术就是为了解决模型使用成本的问题。通过提高推理速度，降低模型参数量和运算量。
访风景于崇阿·2023-02-07 13:19

【论文】AMC:AutoML用于移动设备上的模型压缩和加速

摘要模型压缩是在计算资源有限且功率预算紧张的移动设备上高效部署神经网络模型的有效技术。
weixin_50862344·2023-02-05 23:07

模型剪枝：Learning Efficient Convolutional Networks through Network Slimming

1708.06519代码：https://github.com/liuzhuang13/slimming简介由于深度学习模型大小以及计算资源的限制，导致模型部署时受到了很大阻碍，为了解决这个问题，就形成了一个新的领域：模型压缩
微风❤水墨·2023-02-05 23:04

神经网络模型压缩技术

一、当前的模型压缩方法主要有6类：网络剪枝、参数共享、量化、网络分解、网络蒸馏、紧凑网络设计。1.网络剪枝在网络训练过程中寻求一种评判机制，剔除掉不重要的连接、节点甚至卷积核，达到精简网络结构的目的。
一顿能吃五大海碗啊啊啊·2023-02-04 10:26

神经网络模型量化（Quantization）

模型部署系列文章目录##模型优化系列文章模型量化模型压缩提示：根据作者认知及理解加深，博文会迭代更新，目前贴出来的难免有纰漏，希望能够与读者互动改进文章目录模型部署系列文章目录`提示：根据作者认知及理解加深
alibote·2023-02-04 10:50

ACL2023赶会必备，拿来即用之Experiments

©作者｜刘沛羽机构｜中国人民大学高瓴人工智能学院研究方向｜自然语言处理，模型压缩来自|RUCAIBox本文从ACL2022年中的论文中整理出来了常见的数据集描述和基准方法，范围涵盖14个子领域20篇论文
zenRRan·2023-02-02 09:41

BERT和GAN咋压缩，且看咱PaddleSlim新利器—— OFA

针对部署难题，可以使用剪枝、量化、蒸馏等传统的模型压缩技术，
飞桨PaddlePaddle·2023-02-01 17:05

以PaddleSlim为例讲解深度学习实例化模型压缩和量化-----工作日志(1.31)

目录一.背景介绍1.1什么是量化1.2如何进行量化1.3网络结构搜索二.量化示例2.1各层输出的量化2.2各层参数的量化2.3量化原理三.量化评估四.参考文献一.背景介绍1.1什么是量化深度学习神经网络模型中的量化是指浮点数用定点数来表示，神经网络模型在训练时都是浮点运算的，得到的模型参数也是浮点的。而且通常一个参数用浮点数表示占四个字节，而如果用8比特量化的话，一个参数只占一个字节，memory
Geek L·2023-02-01 17:03

MobileNets详解

个人感觉论文所做工作偏向于模型压缩方面，核心思想就是卷积核的巧妙分解，可以有效减少网络参数。论文地址：MobileNets:EfficientConvolutio
qq_40147888·2023-02-01 14:24

Bert: 双向预训练+微调

Transformer:Attention集大成者GPT-1&2:预训练+微调带来的奇迹Bert:双向预训练+微调Bert与模型压缩Bert与模型蒸馏：PKD和DistillBertALBert:轻量
张雨石·2023-02-01 10:06

深度学习模型压缩与加速综述

因此，如何在不影响深度学习模型性能的情况下进行模型压缩
小白学视觉·2023-02-01 08:30

模型优化论文笔记1----综述

[1]赖叶静,郝珊锋,黄定江.深度神经网络模型压缩方法与进展[J].华东师范大学学报(自然科学版),2020(05):68-82.Int
JaJaJaJaaaa·2023-02-01 08:30

【论文翻译】边缘应用中加速卷积神经网络的剪枝算法综述

摘要随着卷积神经网络（CNN）模型大小的增加，模型压缩和加速技术对于在边缘设备上部署这些模型变得至关重要。
weixin_50862344·2023-02-01 08:18

Bertopology: Bert及其改进型总结

因此各种模型压缩的方法层出不穷。本篇博客意在总结Bert及其改进型主要的特点，这也是NLP算法面试常见的问题。Bert使用的激活函数是GELU：正态分布下GELU(x)，论文给出了近似计算公式:GEL
从流域到海域·2023-01-31 11:42

【论文速递】PeRConAI2022 - 使用教师助理的多阶段模型压缩和基于提示的训练的蒸馏

【论文速递】PeRConAI2022-使用教师助理的多阶段模型压缩和基于提示的训练的蒸馏【论文原文】：Multi-StageModelCompressionusingTeacherAssistantandDistillationwithHint-BasedTraining
長__安·2023-01-30 12:30

【论文速递】ISBI2022 - 使用教师助理的多阶段模型压缩和基于提示的训练的蒸馏

【论文速递】ISBI2022-使用教师助理的多阶段模型压缩和基于提示的训练的蒸馏【论文原文】：AugmentingKnowledgeDistillationwithPeer-to-PeerMutualLearningforModelCompression
長__安·2023-01-30 12:18

Transformer模型压缩

这里只讨论transformer机制的seq2seq结构，模型压缩的方法主要涉及：1.模型尺寸减少如以下参数尺寸的减少--num_encoder_layers--num_decoder_layers--
haroldLiu001·2023-01-30 08:07

【MobileNet-V2】深度学习模型压缩之MobileNetv2

论文名称深度学习模型压缩之MobileNetv2作者miclover参考https://blog.csdn.net/u010712012/article/details/95922901https://
Easy.miclover·2023-01-30 07:50

《AI系统周刊》第5期：Cerebras发布可运行120万亿参数AI模型的CS-2芯片

系统是当前人工智能领域极具现实意义与前瞻性的研究热点之一，为了帮助研究与工程人员了解这一领域的进展和资讯，我们“AI系统”兴趣组整理了第5期《AI系统周刊》，从论文推荐、研究动态等维度推荐近期AI系统领域值得关注的信息，内容主要包括模型压缩
智源社区·2023-01-29 19:21

《预训练周刊》第10期：基于Swin变换器的自监督学习、基于锐度感知最小化的泛化性提升...

本期周刊，我们选择了11篇预训练相关的论文，涉及模型压缩、零样本检测、自监督学习、模型减枝、文本位置编码、符号傅里叶变换、架构优化、损失函数
智源社区·2023-01-28 08:41

目标检测知识蒸馏---以SSD为例【附代码】

知识蒸馏是一种不改变网络结构模型压缩方法。这里的压缩需要和量化与剪枝进行区分，并不是严格意义上的压缩。
爱吃肉的鹏·2023-01-27 15:25

【论文阅读笔记】---《A Survey of Model Compression and Acceleration for Deep Neural Networks》

论文：ASurveyofModelCompressionandAccelerationforDeepNeuralNetworks深度神经网络模型压缩与加速综述摘要--深度卷积神经网络（CNN）目前在很多视觉识别任务中有非常良好的表现
吃不胖的卷卷·2023-01-18 17:38

超越教师！PointDistiller：面向高效紧凑3D检测的结构化知识蒸馏（CVPR2022）

最近，知识蒸馏已被提出作为一种有效的模型压缩技术，它将知识从过度参数化的教师转
自动驾驶之心·2023-01-18 16:12

知识蒸馏简介

知识蒸馏知识蒸馏简介蒸馏作用背景主要是为了减少模型计算量，降低模型复杂度，减少需要的计算资源模型压缩基本方法：裁剪为什么要进行知识蒸馏当前深度学习模型参数越来越多，规模越来越大，在处理数据和模型部署的时候
hblg_bobo·2023-01-18 09:16

知识蒸馏

目录一引言1.1深度学习的优点1.2深度学习的缺点二什么是知识蒸馏2.1模型压缩2.2什么是学习2.3什么是知识蒸馏2.4知识蒸馏的一般流程三知识蒸馏的分类3.1模型结构的种类3.2知识的分类3.3如何蒸馏四输出层知识蒸馏
_Old_Summer·2023-01-18 09:15

知识蒸馏

知识蒸馏是模型压缩的一种方法，指将复杂的、参数量大的模型的特征表达能力迁移到简单的、参数量小的模型中，以加快模型的推理。
hi我是大嘴巴·2023-01-16 15:20

Adversarial Robustness vs. Model Compression, or Both?

本文提出了一种并行对抗性训练和权重修剪的框架，该框架在保持对抗性鲁棒性的同时实现了模型压缩，并从本质上解决了对抗性训练的困境。此外，本工作研究了传统环境中关于权重修剪
你今天论文了吗·2023-01-13 08:52

【论文笔记_知识蒸馏_2021】KNOWLEDGE DISTILLATION VIA SOFTMAX REGRESSION

代码地址:https://github.com/jingyang2017/KD_SRRL摘要本文通过知识提炼解决了模型压缩的问题。
乱搭巴士·2023-01-12 13:32

知识蒸馏 Knowledge distillation（学习笔记）

把大的复杂的东西变成小的纯净的东西在知识蒸馏中大的模型为教师模型（teacher）臃肿集成牛逼复杂的小的为学生模型（student）小的精干的轻量化的这里有一个知识的迁移因为落地实现的终端边缘设备的算计十分有限所以急需将一个大的优秀的模型压缩成一个小巧精干的轻量化模型这张图它背后的含义是预训练的大模型的增长速率时很恐怖的比摩尔定律还大而我们小设备的算力提升是很受限的
：）�东东要拼命·2023-01-12 13:00

Paddle 印刷电路板（PCB）瑕疵检测

该框架中提供了丰富的数据增强、网络组件、损失函数等模块，集成了模型压缩和跨平台高性能部署能力。目前基于PaddleDetection已经完成落地的项目涉及工业质检、遥感图像检测、无人巡检等多个领域。
Yuetianw·2023-01-12 11:33

画质增强概述-3.2-AI增强实践之推理与部署

当然，本文不涉及在移动端的部署，我理解移动端模型部署很核心的工作是模型压缩(量化、枝剪和蒸馏)，这块我涉及不算很深入，只搞过一点量化和枝剪，就不展开描述了。
何亮-1108·2023-01-11 13:44

_Bert模型压缩

bert模型压缩一般可以从架构改进，量化压缩和模型蒸馏三个角度考虑下面分三点来介绍工作。
weixin_39690972·2023-01-11 00:02

论文解读《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》

论文：Micro-YOLO:ExploringEfficientMethodstoCompressCNNbasedObjectDetectionModel基于CNN的目标检测模型压缩方法探究论文地址：https
谁来管毕设·2023-01-10 14:47

论文复现：Learning both Weights and Connections for Efficient Neural Networks

论文细节品读模型压缩意义：论文从功耗方面讨论了模型需要被压缩的原因，神经网络越大，参数量和计算量越大，导致模型在前向推理时功耗越大，这对移动端和嵌入式端是残酷的。并且大模型无法存储在SRAM中（由
Robohaha·2023-01-10 11:04

深度神经网络 模型量化（1）

《夜的钢琴曲5》钢琴曲石进北京大学演奏视频版神经网络模型是计算密集型应用，在部署时基本都会经过模型压缩，本次主要谈谈量化，其他技术留在以后吧。一、为什么可以量化？首先，什么是量化呢？
小白龙呢·2023-01-10 08:31
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他