ML&DL-模型压缩

无需训练代码，推理性能提升1.4~7.1倍，业界首个自动模型压缩工具开源!

导读模型压缩的价值与意义模型压缩技术，一般是指在基础模型结构的基础上，通过精简模型结构、减少模型参数量或者降低模型存储量化位数，从而减小计算量，降低所需存储资源，提升模型推理速度。
飞桨PaddlePaddle·2022-07-19 19:46

公众号内容拓展学习笔记（2021.3.27）

用20篇论文走完知识蒸馏在2014-2020年的技术进展⭐️⭐️主要内容：有关知识蒸馏技术发展的综述核心要点：三种主流方法：模型压缩算法，模
CV_七少·2022-07-19 07:59

模型也可以上网课？手把手教你在query-doc匹配模型上实现蒸馏优化！

业务模型难点以及现有方案不足；第二章介绍匹配模型细节以及模型蒸馏整体框架；第三章介绍我们在蒸馏方案上的优化点，包括ALBERT/CNN学生模型选择、更好的teacher得分loss指导以及AutoML搜索；第四章是模型压缩实验结果展示
腾讯云开发者·2022-07-06 07:32

离线量化（后量化）算法研究-----脉络梳理

这里写目录标题一、模型压缩主流方法：模型量化具体形式总结：二、量化的具体形式{均匀量化、非均匀量化}：2.1、量化形式之--均匀量化分为：二值化和线性量化2.1.1、二值化2.1.2、线性量化：对称量化
土豆娃wkl·2022-07-03 13:57

图像识别（三）：基于yolov5训练自己的数据集，pytorch框架

yolov5训练自己的数据最近项目涉及计算机视觉，前期已训练了一些模型，但实时识别性能上总是有些欠缺，听说yolov5进行了深度模型压缩，可以快速提高识别效率，所以就把代码拉下来试试，参考项目地址：https
后知前觉·2022-06-30 07:53

模型压缩-浅尝

叮咚看了苏剑林老师的博客，真心觉得大佬们的思路顶呱呱。当然，建立大家直接去看原文，链接均给出。本文偷懒，搬运了要点而已。《LST:LadderSide-TuningforParameterandMemoryEfficientTransferLearning》——“过墙梯”https://spaces.ac.cn/archives/9138看模型大致就可以看明白了，蓝色表示参数固定，绿色则是更新参数
追光女孩儿·2022-06-27 23:47

【阅读笔记】联邦学习实战——联邦学习攻防实战

联邦学习实战——联邦学习攻防实战前言1.后门攻击1.1问题定义1.2后门攻击策略1.3详细实现2.差分隐私2.1集中式差分隐私2.2联邦差分隐私2.3详细实现3.模型压缩3.1参数稀疏化3.1.1详细实现
HERODING23·2022-06-25 17:57

CVPR 2022 | 美团技术团队精选论文解读

计算机视觉国际顶会CVPR2022近日在美国新奥尔良召开，今年美团技术团队有多篇论文被CVPR2022收录，这些论文涵盖了模型压缩、视频目标分割、3D视觉定位、图像描述、模型安全、跨模态视频内容检索等研究领域
·2022-06-24 10:14

轻量化神经网络专题文献综述

轻量级网络的评论文章通常包含模型压缩和处理技巧，可参阅以下系列文章https://github.com/senbinyu/Computer_Vision_Literatures1.综述文献推荐ChengYuetal
senbinyu·2022-06-15 07:43

12种Dropout方法，如何应用与CNN,RNN,DNN

作者：AxelThevenot编译：ronghuaiyang转载自：AI公园导读深入了解DNNs，CNNs以及RNNs中的Dropout来进行正则化，蒙特卡洛不确定性和模型压缩的方法。
可基大萌萌哒的马鹿·2022-06-10 07:01

GitHub 5.9K，目标检测、跟踪、关键点全覆盖的年度开源项目来了！

虽然业界YOLO、AnchorFree、Transformer等系列目标检测算法层出不穷，却缺乏可以统一、敏捷、组合应用这些先进算法，并支持包括模型压缩、多端高性能部署等功能实现产业应用端到端落地的开发套件
飞桨PaddlePaddle·2022-06-09 07:33

今日AI：YOLOv5多种backbone、模型压缩代码库开源；FastAI 发布 PyTorch 学习免费书...

点击下方卡片，关注AIZOO公众号AI重磅干货，第一时间送达今天，分享一个新发布的基于YOLOv5的开源库，提供了多种backbone和压缩工具，以及FastAI发布的一本电子书。1.YOLOv5-Multibackbone-Compression多backbone以及压缩库代码链接：https://github.com/Gumpest/YOLOv5-Multibackbone-Compressi
u010900574·2022-05-28 07:08

【20210305期AI简报】基于TensorRT完成NanoDet模型部署、Google AI发布TensorFlow 3D

三维动作识别」|机器之心Model与codes链接：https://github.com/CoCoPIE-Pruning/CoCoPIE-ModelZoo本文提出了一种用于三维卷积神经网络（3DCNN）的模型压缩和移动加
RT-Thread物联网操作系统·2022-05-20 07:24

Bert不完全手册5. 推理提速？训练提速!内存压缩！Albert

在我读Albert论文之前，因为Albert和蒸馏，剪枝一起被归在模型压缩方案，导致我一直以为Albert也是为了优化Bert的推理速度，但其实Albert主要用在模型参数（内存）压缩，以及训练速度优化
风雨中的小七·2022-05-13 09:00

关于NLP相关技术全部在这里：预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、语法分析、文本处理...

在过去几年时间里，NLP领域取得了飞速的发展，这也推动了NLP在产业中的持续落地，以及行业对相关人才的需求。但这里我们要面对的现实是，行业上90%以上的NLP工程师是“不合格的”。在过去几个月时间里，我们其实也面试过数百名已经在从事NLP的工程师，但明显发现绝大部分对技术深度和宽度的理解是比较薄弱的，大多还是只停留在调用现有工具比如BERT、XLNet等阶段。我们一直坚信AI人才的最大壁垒是创造力
PaperWeekly·2022-05-09 10:06

简单搜索--Paddle Mobile的技术实现和业务落地

独角兽企业重金招聘Python工程师标准>>>PaddleMobile是PaddlePaddle组织下的致力于嵌入式平台的深度学习框架，集成了百度移动端预测的实践经验，提供多平台支持，在工程实现支持及底层算法模型压缩的基础上
weixin_34405332·2022-05-01 11:32

小菜鸡的Three.js学习笔记（一）-三维模型压缩DRACO初探

最近因为需要做一个网站来加载岩石的激光扫描三维模型需要用到three.js，就去查了一些资料，发现资料挺少的，就自己记录下来以备不时只需。首先，我的模型贼大，我也不知道为啥，给我的模型都是超级大的obj格式（大于300mb），这时如果直接用Three.js来加载的话，网页会蹦，所以就得对模型进行压缩，找资料找来找去发现有说用3Dmax进行压缩，但我不想下载3DMax最后问了师兄，发现他是用的dra
唐岛湾的小鱼·2022-04-21 07:01

机器学习笔记二—梯度下降和反向传播

系列文章目录机器学习笔记一—机器学习基本知识机器学习笔记二—梯度下降和反向传播机器学习笔记三—卷积神经网络与循环神经网络机器学习笔记四—机器学习可解释性机器学习笔记五—机器学习攻击与防御机器学习笔记六—模型压缩目录系列文章目录前言一
江_小_白·2022-04-12 07:58

模型压缩基础

模型压缩网络剪枝Netwrokpruning剪掉网络中无用的参数。有意思的图，连接先增加后减少。
鱼与鱼·2022-04-11 22:00

一文看懂深度学习模型压缩和加速

点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！作者：知乎-扬易(@xieyangyi)简枫千瞳地址：https://zhuanlan.zhihu.com/p/138059904整理：人工智能前沿讲习文仅交流，侵删一前言近年来深度学习模型在计算机视觉、自然语言处理、搜索推荐广告等各种领域，不断刷新传统模型性能，并得到了广泛应用。随着移动端设备计算能力的不断提升，移动端AI
公众号机器学习与生成对抗网络·2022-04-11 07:08

论文翻译：2021_Towards model compression for deep learning based speech enhancement

论文地址：面向基于深度学习的语音增强模型压缩论文代码：没开源，鼓励大家去向作者要呀，作者是中国人，在语音增强领域深耕多年引用格式：TanK,WangDL.Towardsmodelcompressionfordeeplearningbasedspeechenhancem
凌逆战·2022-04-08 10:00

CVPR2021 最新论文汇总（附论文链接/代码/解析）[持续更新]

阅读大概需要5分钟Follow小博主，每天更新前沿干货本文整理了CVPR2021最新的论文汇总情况，主要包括：Transformer,NAS，模型压缩，模型评估，图像分类，检测，分割，跟踪，GAN，超分辨率
深度学习技术前沿·2022-04-01 18:55

The Lottery Ticket Hypothesis: 寻找最优子网络结构

TrainableNeuralNetworks"这篇文章提出了LotteryTicketHypothesis，认为较复杂的深度神经网络存在一个比较优化的稀疏子网络结构（称之为winningtickets），可应用于模型压缩
Law-Yao·2022-03-28 07:29

七万字详解paddle-openVINO【CPU】-从环境配置-模型部署全流程

paddle-openvino框架、两者在Linux、windows多种配置方式、使用LabelMe对paddle数据的标注转换与划分、图像分类/目标检测/实例分割/语义分割的数据格式、模型训练、训练参数调整、模型保存、模型压缩
翼达口香糖·2022-03-27 13:35

模型压缩（2）——模型剪枝

1.使用pytorch的prune工具进行剪枝使用pytorch自带的prune函数进行剪枝，剪枝后被剪掉的参数为0，应将为0的参数剔除运算，否则为虚假的剪枝，速度甚至更慢参考代码如下，model为训练后的模型，经循环得到剪枝模型，需微调回复精度，感觉没太大作用，不做具体演示。fromtorch.nn.utilsimportprune#使用named_modules可以得到每一个最小层，使用nam
不变强不改名·2022-03-25 08:49

简单搜索--Paddle Mobile的技术实现和业务落地

PaddleMobile是PaddlePaddle组织下的致力于嵌入式平台的深度学习框架，集成了百度移动端预测的实践经验，提供多平台支持，在工程实现支持及底层算法模型压缩的基础上，通过CPU、mallGPU
·2022-03-24 14:55

模型压缩学习之路

【12.13】浙江大学罗浩1.深度学习模型部署困境:①移动设备:算不好②穿戴设备:算不了③数据中心:算不起2.模型压缩的性质：①必要性在许多网络结构中，如VGG-16网络，参数数量1亿3千多万，占用500MB
bu volcano·2022-03-24 02:19

图像差分隐私 模型压缩

视觉密码基于视觉密码的图像隐私保护第一列为深度学习原模型参数第二列为从原模型参数随机选取的一部分参数第三列是通过第二列的参数预测的剩余的参数DeepCompression:CompressingDeepNeuralNetworkswithPruning然而，剪枝参数并不一定会带来计算时间的下降，因为大多数被移除的参数是来自全连接层，那里的计算开销比较小。基于敏感度的剪枝策略正是由于现有的深度学习模
铁锅炖笨鸽·2022-03-23 21:17

论文阅读：（2020版）A Survey on Contextual Embeddings 综述：上下文嵌入

1简介2目标词嵌入3上下文嵌入的预训练方法3.1通过语言建模进行无监督的预训练3.2监督目标4跨语言多语言上下文嵌入预训练5下游学习5.1下游使用上下文嵌入的方法5.2应对灾难性遗忘5.3多任务微调6模型压缩
南有芙蕖·2022-03-08 13:23

Bert/Transformer模型压缩与优化加速

前言Bert/Transformer结构及其变体，已成为自然语言处理(NLP)、语音识别(ASR)等领域的主流序列建模结构。并且，相比于卷积操作的局部特征提取能力、以及平移不变性，Self-Attention/Cross-Attention的全局Context信息编码或长时依赖建模能力，能够使图像/视觉模型具备更强的相关性建模能力（更好的全局视野）、与动态建模能力（领域或样本适应性）。因此在计算机
Law-Yao·2022-03-08 07:30

Yolov5更换backbone，与模型压缩（剪枝，量化，蒸馏）

项目地址（GitHub）：https://github.com/Ranking666/Yolov5-Processing~~~欢迎各位交流、star、fork、issues~~~项目介绍：本仓库是基于官方yolov5源码的基础上，进行的改进。目前支持更换yolov5的backbone主干网络为Ghostnet，以及采用eagleeye的剪枝方法支持对yolov5系列的剪枝。后续，将会添加更多更轻量
RANKING666·2022-03-07 07:28

Yolov5更换backbone，与模型压缩（剪枝，量化，蒸馏）续

项目介绍：本仓库是基于官方yolov5源码的基础上，进行的改进。新增支持更换yolov5的backbone主干网络为Efficientnetv2,shufflenetv2，具体网络模型实现可在model-->common.py中查看。后续，将会添加更多更轻量，更优秀的主干网络，比如swintranst等，其他剪枝方法，以及量化，蒸馏对于yolov5系列的支持。欢迎大家有问题，错误，想法都可以积极交
RANKING666·2022-03-07 07:28

深度学习模型加速方法

深度学习模型加速方法1.简介深度学习（DeepLearning）因其计算复杂度或参数冗余，在一些场景和设备上限制了相应的模型部署，需要借助模型压缩、优化加速、异构计算等方法突破瓶颈。
defenceVT·2022-03-07 07:52

模型压缩+编译器优化，使AI算法在移动端性能超越专用硬件

作者|王言治，美国东北大学电子与计算机工程系助理教授出品|AI科技大本营（ID:rgznai100）近年来，机器学习(MachineLearning)领域的研究和发展可谓是与日俱新，各式各样与机器学习相关的研究成果与应用层出不穷（如图像识别，自动驾驶，语音识别等），机器学习能够处理的任务也愈发的复杂。但与此同时，新的问题也随之而来，机器学习模型变得更加庞大复杂，因实时性而对算力所产生的需求也远远超
我爱计算机视觉·2022-03-07 07:42

pytorch-模型压缩与剪枝

目录一、模型量化二、模型剪枝TensorRT简介和安装Pytorch模型转TensorRT实验pytorch模型加速方法：1、模型量化：半精度。2、模型剪枝：tensorrt一、模型量化PyTorch框架提供了一个方便好用的trick：开启半精度。直接可以加快运行速度、减少GPU占用，并且只有不明显的accuracy损失。之前做硬件加速的时候，尝试过多种精度的权重和偏置。在FPGA里用8位精度和1
DLANDML·2022-03-07 07:09

YoloV5 最强剪枝技术 模型压缩,3ms推理的YoloV5mAP60

先看效果图：由于我们修改了model,没有加pretrain的模型,但是即便如此,3个epoch就到了68.9的mAP!前段时间受疫情的影响,公司希望开发一个口罩佩戴检测的应用,讲道理这很简单,我记得在年初的时候有一个团队就发布了这么一个模型,但我们尝试下来发现事情并没有那么简单,原因是:开源的模型根本没法用,只能做demo,实际场景下漏检非常严重;速度并不快.很多人说30FPS不就已经够了吗?公
AI视觉网奇·2022-03-07 07:39

yolov3模型压缩

SlimYOLOv3YOLOv3-model-pruningYOLOv3-complete-pruning因为我自己训练的yolov3模型是基于darknet的C语言版本训练的，生成的模型是.weights文件，一般模型压缩使用的都是
juluwangriyue·2022-03-07 07:39

基于pytorch的模型压缩和模型剪枝Model Prune示例

神经网络和卷积神经网络的模型剪枝ModelPrune1，神经网络和卷积神经网络模型剪枝方法。2，可指定剪枝率进行定向剪枝，并输出剪枝后参数统计和finetune。3，支持MLP,Lenet,Alexnet,VGG,GoogleNet系列,Resnet系列，MobileNet系列的剪枝。下载地址：下载地址#!/usr/bin/envpython#coding:utf-8importtorchimpo
踟蹰横渡口,彳亍上滩舟。·2022-03-07 07:34

基于YOLOv5模型压缩、模型量化、模型剪枝

基于YOLOv5模型压缩、模型量化、模型剪枝代码下载地址：下载地址Requirementspipinstall-rrequirements.txtPruningforYOLOsModelmAPmAP&
踟蹰横渡口,彳亍上滩舟。·2022-03-07 07:52

轻量级神经网络：Xception、ShuffleNet、SkipNet、MobileNet、GhostNet、

参考文章：优秀的系列文章https://www.jianshu.com/u/4a95cf020626【模型压缩和加速】inception/mobilenet/squeezenet/shufflehttps
yiyayiya557·2022-03-01 07:13

轻量级深度学习网络——MobileNet & MobileNet v2

MobileNet的主要是在卷积核分解方面做文章，友情提示：MobileNet不是模型压缩技术，而是一种网络形式的优化。下面就进入我们今天的正题——MobileNet&
PRIS-SCMonkey·2022-03-01 07:09

轻量级神经网络总结（1）- SqueezeNet - Xception- MobileNet v1/v2 - ShuffleNet V1/V2 - MixNet

网络优化加速主要包含：1.设计轻量级的网络；2.网络模型压缩剪枝；3.其他的一些量化加速。
chenzy_hust·2022-03-01 07:08

模型压缩综述

一卷积神经网络压缩中的知识蒸馏技术综述1.目前卷积神经网络压缩和加速的方法主要有以下五种：网络剪枝、参数量化、低秩分解、轻量化网络设计、知识蒸馏。2.知识蒸馏技术与其他压缩方法的对比设计思想：知识蒸馏从充分发掘神经网络的性能潜力出发进行研究。作用位置：旨在实现使用层级浅、结构简单的神经网络发挥良好的性能。是否改动网络架构：相比于其他方法压缩出来的杂乱的结构，知识蒸馏可以选择任何一种网络结构整齐简洁
@少帅·2022-02-21 07:54

模型量化与压缩

1.https://blog.csdn.net/weixin_44474718/article/details/90900044（深度学习模型压缩与加速综述）2.https://www.cnblogs.com
wshuping0223·2022-02-18 16:24

深度学习_经典网络_SqueezeNet详解

（Squeezenet比AlexNet参数少50倍，再使用了deepcompression使得模型压缩至原来的510倍）SqueezeNet的核心指导思想是——在保证精度的同时使用最少的参数。
【WeThinkIn】的主理人·2022-02-15 07:59

模型压缩--知识蒸馏Knowledge Distilling

前言目前提高机器学习算法性能的方法几乎都用多模型ensamble，在计算上非常昂贵且难以部署，尤其是大型神经网络，比如bert。知识蒸馏就是希望用小型模型得到跟大型复杂模型一样的性能。人们普遍认为，用于训练的目标函数应尽可能地反映任务的真实目标。在训练过程中，往往以最优化训练集的准确率作为训练目标，但真实目标其实应该是最优化模型的泛化能力。显然如果能直接以提升模型的泛化能力为目标进行训练是最好的，
Johann_Liang·2022-02-14 21:44

（四十八：2021.09.09）《关于模型压缩和加速的调查【2017】》

《关于模型压缩和加速的调查（ASurveyofModelCompressionandAccelerationforDeepNeuralNetworks）》讲在前面摘要一、介绍二、参数修剪和量化A.量化和二值化
花卷汤圆·2022-02-14 07:59

ai人工智能的本质和未来_人工智能的未来在于模型压缩

ai人工智能的本质和未来ThefuturelookstowardsrunningdeeplearningalgorithmsonmorecompactdevicesasanyimprovementsinthisspacemakeforbigleapsintheusabilityofAI.未来的趋势是在更紧凑的设备上运行深度学习算法，因为该领域的任何改进都将使AI的可用性取得重大飞跃。IfaRasp
weixin_26752765·2022-02-10 10:59

N2N Learning: Network To Network Compression via Policy Gradient Reinforcement Learning 笔记

N2NLearning:NetworkToNetworkCompressionviaPolicyGradientReinforcementLearning这篇论文是一篇关于使用增强学习算法来进行模型压缩的论文
Junr_0926·2022-02-07 11:36

阿里云PAI平台模型压缩技术落地淘宝直播双十一应用：一猜到底

简介：随着移动端应用的兴起，模型压缩作为深度学习模型实现轻量化部署的有效手段，备受关注。
阿里云开发者·2022-02-04 15:37
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他