M_模型压缩

【模型部署】NNI：剪枝和量化

模型压缩后，模型大小会变小，在不会显著降低模型性能的情况下，能够加速模型的训练/推理。模型压缩技术分类：剪枝（Pruning）和量化（Quantization）。
Jackilina_Stone·2022-11-22 19:04

NNI神经网络模型压缩教程

1.NNI简介NNI是微软发布的一款自动机器学习（AutoML）开源项目，对机器学习生命周期的各个环节做了更加全面的支持，包括特征工程、神经网络架构搜索（NAS）、超参调优和模型压缩在内的步骤，你都能使用自动机器学习算法来完成
AI算法-图哥·2022-11-22 19:02

剪枝框架推荐第二弹，nni：不止是剪枝压缩工具

因此，模型压缩也是一个热门话题。剪枝框架推荐第二弹，今天介绍下微软的开源的工具包：nni。NNI(NeuralNetworkIntelligence)是一个轻量但强大的工
Pou749·2022-11-22 19:01

NNI模型剪枝压缩使用的较详细记录

使用微软nni工具，基于pytorch进行模型压缩记录总结，最后的结论一很久以前实验的，可能会有点误差，或者NNI工具更新了。但是nni模型剪枝压缩的整体流程是这样的，在此简单记录一下。
CaiDou_·2022-11-22 19:27

模型剪枝

模型压缩又可分很多方法，如剪枝（Pruning）、量化（Quantization）、低秩分解（Low-rankfactorization）、知识蒸馏（Knowledgedistillation）。
ab0902cd·2022-11-22 18:53

使用nni对ResNet进行模型剪枝

NeuralNetworkIntelligence)是微软开源的自动机器学习（AutoML）工具包，对机器学习生命周期的各个环节做了更加全面的支持，包括特征工程、神经网络架构搜索（NAS）、超参调优和模型压缩
\lambda·2022-11-22 18:22

nni模型剪枝

NeuralNetworkIntelligenceNNI：NeuralNetworkIntelligence，是一个轻量但强大的自动机器学习工具包，能帮助用户自动进行特征工程、神经网络架构搜索、超参调优以及模型压缩
benben044·2022-11-22 18:21

【CNN优化加速】02轻量化模型：MobileNet v1-v3、ShuffleNet v1-v2、EfficientNet v1-v2简介

前一篇博文介绍了CNN优化加速的一些基础理论，包括卷积相关的基础知识，常见的CNN模型加速策略（知识蒸馏、量化、剪枝以及设计更轻的网络架构等）【CNN优化加速】01模型压缩基础：常见策略、卷积相关概念_
TianleiShi·2022-11-22 16:14

Win10下飞桨PaddlePaddle、Git & PaddleDetection安装教程

PaddleDetection模块化地实现了多种主流目标检测算法，提供了丰富的数据增强策略、网络模块组件（如骨干网络）、损失函数等，并集成了模型压缩和跨平台高性能部署能力。经过长时间
Kevin-Pang·2022-11-22 09:53

阅读笔记——HRank: Filter Pruning using High-Rank Feature Map

因此文章聚焦于通道裁剪达到模型压缩（降低参数量）和加速（减少计算FLOPs）的效果。
哇哇九号·2022-11-22 09:45

即插即用 | 5行代码实现NAM注意力机制让ResNet、MobileNet轻松涨点(超越CBAM)

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达识别不显著特征是模型压缩的关键。然而，这一点在注意力机制中却没有得到研究。
小白学视觉·2022-11-21 11:53

即插即用！5行代码实现NAM注意力机制，让ResNet轻松涨点！

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童识别不显著特征是模型压缩的关键。然而，这一点在注意力机制中却没有得到研究。
Amusi（CVer）·2022-11-21 11:46

模型压缩加速-五种CNN模型的尺寸，计算量和参数数量对比详解

五种CNN模型的尺寸，计算量和参数数量对比详解一、SqueezeNet1.1设计思想1.2网络架构1.3实验结果1.4速度考量二、DeepCompression2.1算法流程2.2模型存储2.3实验结果2.4速度考量三、XNorNet3.1BWN3.2XNOR-Net3.3实验结果四、Distilling4.1基本思想4.2实验结果4.3速度考量五、MobileNet5.1卷积分解5.2模型架构5
香博士·2022-11-21 07:30

模型压缩 方法汇总和梳理

为此，对模型进行时间和空间上的压缩，便谓之曰“模型压缩”。模型压缩技术包括前端压缩和后端压缩这两部分。
持续努力·2022-11-21 07:28

模型压缩剪枝蒸馏量化

开源项目与资源PaddleSlim是百度提出的模型优化工具，包含在PaddlePaddle框架中，支持若干知识蒸馏算法，可以在teacher网络和student网络任意层添加组合loss，包括FSPloss，L2loss，softmaxwithcross-entropyloss等。PaddleSlimGithubPaddleSlimDocsDistiller是Intel基于Pytorch开源的模型
Mr_Troy·2022-11-21 07:46

一种模型压缩技术

为了有效提升深度模型的性能和效率，通过探索模型的可蒸馏性和可稀疏性，本文提出了一种基于“教导主任-教师-学生”模式的统一的模型压缩技术。
tt姐whaosoft·2022-11-21 07:43

BERT部署加速622%，YOLOv7部署加速590%，这款开源压缩神器火了！

为降低企业成本，工程师们一直在探索各类模型压缩技术，来产出“更准、更小、更快”的AI模型部署落地。
夕小瑶·2022-11-21 05:01

【强烈推荐】YOLOv7部署加速590%，BERT部署加速622%，这款开源自动化压缩工具必须收藏！...

为降低企业成本，工程师们一直在探索各类模型压缩技术，来产出“更准、更小、更快”的AI模型部署落地。
woshicver·2022-11-21 05:00

YOLOv7部署加速比5.89，BERT部署加速比6.37，自动化压缩工具实战30+热门AI模型

为降低企业成本，工程师们一直在探索各类模型压缩技术，来产出“更准、更小、更快”的AI模型部署落地。
飞桨PaddlePaddle·2022-11-21 05:39

计算机视觉算法岗面经：商汤/滴滴/腾讯

项目方面主要是图像识别与模型压缩知识蒸馏，一篇1作论文在投。其他专业排名、获奖情况、文体方面不赘述商汤：二面挂。被告知待综合评定，应该就是委婉地挂了5
视学算法·2022-11-20 15:42

模型压缩之Learning Efficient Convolutional Networks through Network Slimming

1.摘要在许多现实应用中，深度神经网络的部署由于其高额的计算成本变得很困难。在这篇论文中，我们提出了一种新颖的CNNs学习方案，它同时满足：减小模型大小；减少运行时的内存占用；在不影响精度的同时，降低计算操作数；利用通道稀疏化这样一个简单但却有效的方法，上面的条件很容易获得。不同于许多已经存在的方法，我们的方法可以直接应用到现代CNN网络架构中，在训练过程引入最小的花销，而且不需要其他特殊的软硬件
AI算法-图哥·2022-11-20 10:58

知识蒸馏、模型剪枝与量化

1.知识蒸馏1.1知识蒸馏简介知识蒸馏是一种模型压缩常见方法，用于模型压缩指的是在teacher-student框架中，将复杂、学习能力强的网络学到的特征表示“知识”蒸馏出来，传递给参数量小、学习能力弱的网络
jefferyqian·2022-11-20 10:21

模型优化论文笔记3----应用稀疏正则化训练和结构化剪枝进行模型压缩

1参考文献：[1]韦越,陈世超,朱凤华,熊刚.基于稀疏卷积神经网络的模型剪枝方法[J/OL].计算机工程:1-8[2021-01-10].https://doi.org/10.19678/j.issn.1000-3428.0059375.2主要思想：通过对模型进行稀疏正则化训练，得到参数较为稀疏的深度神经网络模型，并结合卷积层和BN层的稀疏性进行结构化剪枝，去除冗余的滤波器。3背景：神经网络的过度
JaJaJaJaaaa·2022-11-20 10:17

深度学习模型压缩与加速技术（三）：低秩分解

目录总结低秩分解定义特点1.二元分解2.多元分解参考文献深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。在深度学习技术日益火爆的背景下，对深度学习模型强烈的应用需求使得人们对内存占用少、计算资源要求低、同时依旧保证相当高的正
小风_·2022-11-20 10:45

ACL2022赶会必备，拿来即用之Abstract和Related Work

©作者｜刘沛羽机构｜中国人民大学高瓴人工智能学院研究方向｜自然语言处理，模型压缩本文从ACL2021年发表的主会长文中整理出来了其中涉及的27个子领域的100篇文章，主要强调了摘要和相关工作。
PaperWeekly·2022-11-20 07:56

【深度学习】总有些哪些大胆又新奇的卷积网络结构设计

作者&编辑|言有三你大概已经见惯了基本的卷积结构，对残差网络也了如指掌，对分组卷积也烂熟于心，也知道模型压缩的一些技巧，不过今天这里要说的，大部分同学可未必知道噢。
风度78·2022-11-20 07:34

【ICLR2021】十三大主题100篇值得一读的NLP论文，还不安排上？

理论、模型与经验性分析：38篇问答与阅读理解：4篇知识图谱：4篇文本生成：9篇机器翻译：7篇对抗攻击：4篇文本分类：2篇信息抽取：4篇可解释性：1篇模型压缩与集成：4篇数据增强：2篇向量表示：12篇其他
Evan-yzh·2022-11-20 06:54

【模型压缩】XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks论文理解+pytorch代码解析

目录【唠叨一些废话】【论文阅读部分】【摘要】【引言】【相关工作】【二值卷积神经网络】【3.1Binary-Weight-Networks】【TrainBWN】【3.2XNOR-Networks】【实验】4.1有效性分析4.2图像分类4.3ablationstudy（控制变量，验证思路实验）【结论】【代码部分】【代码复现debug】（CIFAR_10）【代码复现结果】【代码二值化部分解读】前向传播的
辰虫牙·2022-11-20 02:06

模型压缩（1）——低秩分解

目录0.先看结果，已更新1.背景2.SVD分解（nn.Linear）3.Tucker分解（nn.Conv2d）3.1估计卷积层矩阵的秩3.2Tucker分解4.实现代码5.代码链接6.参考链接0.先看结果，已更新------------原模型------------------------------------------------------------------------------L
不变强不改名·2022-11-19 22:19

【综述】闲话模型压缩之网络剪枝（Network Pruning）

关注上方“深度学习技术前沿”，选择“星标公众号”，资源干货，第一时间送达！来自|CSDN地址|https://blog.csdn.net/jinzhuojun/article/details/100621397编辑|深度学习技术前沿本文仅作学术分享，如有侵权，请联系后台删除一、背景今天，深度学习已成为机器学习中最主流的分支之一。它的广泛应用不计其数，无需多言。但众所周知深度神经网络（DNN）有个很
深度学习技术前沿·2022-11-19 09:22

深度学习模型压缩分类及原理方法

深度学习模型压缩分类及原理方法深度学习模型压缩分类###精细模型设计###模型裁剪及权重共享复用###低秩近似###知识蒸馏###核的稀疏化###模型量化（网络二值化）剪枝就是通过去除网络中冗余的channels
Mira-Tableau·2022-11-19 09:22

深度学习模型压缩与加速

模型压缩与加速前言模型Slimming模型复杂度modelsizeRuntimeMemoryNumberofcomputingoperations模型压缩加速网络的设计分组卷积分解卷积BottleNeck
RyanC3·2022-11-19 09:17

深度学习网络模型压缩剪枝详细分析

一．简介1.背景深度学习让计算机视觉任务的性能到达了一个前所未有的高度。但，复杂模型的同时，带来了高额的存储空间、计算资源消耗，使其很难落实到各个硬件平台。为了解决这些问题，压缩模型以最大限度地减小模型对于计算空间和时间的消耗。2.理论基础必要性：目前主流的网络，如VGG16，参数量1亿3千多万，占用500多MB空间，需要进行300多亿次浮点运算才能完成一次图像识别任务。可行性：在深度卷积网络中，
javastart·2022-11-19 09:37

2022.11.13 第8次周报

目录摘要经典卷积神经网络学习VGGNetsGoogleNetResNEts区别阅读文献亮点内容介绍可解释的深度学习方法基于归因的方法基于非归因的方法通过模型压缩和加速实现高效的深度学习深度学习中的鲁棒性和稳定性小结总结摘要
轻描淡写ζ·2022-11-19 09:29

2022.9.4 第二十二次周报（假期总结）

seqence-to-sequencemodelGANSelf-supervisedLearningauto-encodermodelattack强化学习（ReinforcementLearning,RL）模型压缩
孙源峰·2022-11-19 08:54

Python根据时间命名并创建文件夹

也是件值得高兴的事根据年月日时分秒的时间命名并创建文件夹importosfromdatetimeimportdatetimenow=datetime.now()#获得当前时间timestr=now.strftime("%Y_%m_
晚风于林·2022-11-19 05:04

【强烈推荐】YOLOv7部署加速590%，BERT部署加速622%，这款开源自动化压缩工具必须收藏！...

为降低企业成本，工程师们一直在探索各类模型压缩技术，来产出“更准、更小、更快”的AI模型部署落地。
计算机视觉研究院·2022-11-18 08:18

YOLOv7部署加速比5.89，BERT部署加速比6.37，自动化压缩工具实战30+热门AI模型

为降低企业成本，工程师们一直在探索各类模型压缩技术，来产出“更准、更小、更快”的AI模型部署落地。
飞桨PaddlePaddle·2022-11-18 08:46

深度学习模型压缩技术概览

背景介绍目录背景介绍什么是模型压缩？
程序之巅·2022-11-17 07:59

神经网络模型压缩综述

1.裁剪(pruning)定义：裁剪是指对卷积网络的通道数进行裁剪，减少大模型的参数量1.1L1NormFilterPruner论文：https://arxiv.org/abs/1608.08710使用L1-norm统计量来表示一个卷积层内各个Filters的重要性，L1-norm越大的Filter越重要。L1Norm直接计算各滤波器的L1范数，根据范数大小来决定裁剪哪个滤波器，如下左图，第二个滤
奶茶不加冰·2022-11-17 07:58

太空夜景_太空深度学习的模型压缩技术概述

太空夜景ByHannahPetersonandGeorgeWilliams([email protected])汉娜·彼得森(HannahPeterson)和乔治·威廉姆斯(GeorgeWilliams)([email protected])空间计算(Computinginspace)Everydaywedependonextraterrestrialdev
weixin_26750481·2022-11-17 07:27

【技术解析】模型量化压缩

网络模型压缩的需求越来越大，模型量化应运而生。本篇我们将探讨模型量化的概
seawithtown·2022-11-17 07:26

深度学习模型压缩与加速概况

参考：一文深入-深度学习模型压缩和加速-知乎目前的深度学习模型的训练都是在云端的服务器上面进行的，例如在GPU等功耗，资源消耗较大的设备。这是毋庸置疑的。不过对与深度学习的应用，也就是推理。
小白不畏难·2022-11-17 07:25

模型转换、模型压缩、模型加速工具汇总

点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达编辑丨机器学习AI算法工程一、场景需求解读  在现实场景中，我们经常会遇到这样一个问题，即某篇论文的结果很棒，但是作者提供的训练模型是使用pytorch训练的，而我自己却比较擅长用tensorflow，我想要使用该模型做一些其它的项目。那么很多人就会采取一种方式，去阅读别人的论文、理解别人的代码，然后使用自己熟悉的工具进行代码重现、重新训练一
Tom Hardy·2022-11-17 07:53

使用BML五分钟实现模型压缩及部署

课程回顾服务端部署的弊端靠近数据侧的边缘部署边缘计算痛点EasyEdge端边缘部署平台平台技术架构模型转换模型转换优化对AI框架和神经网络的支持情况模型压缩量化模型压缩，剪枝和蒸馏模型压缩调度框架边缘部署开发框架套件部署解析优化支持硬件部署案例展示
愚昧之山绝望之谷开悟之坡·2022-11-17 07:23

MLPerf世界纪录技术分享：通过模型压缩优化取得最佳性能

在MLPerfV0.7推理竞赛开放赛道中，浪潮信息通过模型压缩优化算法取得性能大幅提升，将ResNet50的计算量压缩至原模型的37.5%，压缩优化后的ResNet50推理速度相比优化前单GPU提升83%
CSDN云计算·2022-11-17 07:15

边缘人工智能的模型压缩技术

深度学习在模型及其数据集方面正以惊人的速度增长。在应用方面，深度学习市场以图像识别为主，其次是光学字符识别，然后是面部和物体识别。根据AlliedMarketResearch的数据，2020年全球深度学习市场价值68.5亿美元，预计到2030年将达到1799.6亿美元，2021年至2030年的复合年增长率为39.2%。曾几何时，人们认为大型和复杂的模型性能更好，但现在这几乎是一个神话。随着边缘AI
wouderw·2022-11-17 07:44

深度学习之模型压缩（剪枝、量化）

模型压缩技术就是为了解决模型使用成本的问题。通过提高推理速度，降低模型参数量和运算量。现在主流的模型压缩方法包含两大类：剪枝和量化。模型的剪枝是为了减少参数量和运算量，而量化是为了压缩数据的占用量。
CV算法恩仇录·2022-11-16 09:29

模型压缩之知识蒸馏

链接：https://zhuanlan.zhihu.com/p/160206075概要Intro&RoadmapKD主要方法Applications(NLP-BERT)QAIntro&Roadmap整个模型压缩优化知识结构如下所示
我爱计算机视觉·2022-11-11 13:27

介绍知识蒸馏

知识蒸馏指的是模型压缩的思想，通过使用一个较大的已经训练好的网络去教导一个较小的网络确切地去做什么。二、为什么要进行知识蒸馏？
距离百年老店还有92年·2022-11-11 13:55
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他