模型压缩

Knowledge Distillation A Survey - 知识蒸馏综述

2020IJCV-KnowledgeDistillationASurvey-arXiv2006.05525文章目录2020IJCV-KnowledgeDistillationASurvey-arXiv2006.05525模型压缩常见方法知识蒸馏主要思想本文贡献知识
亚索不能玩·2022-11-30 00:25

知识蒸馏 | 综述: 知识的类型

作用：可以用于模型压缩和训练加速手段。综述梳理思路：知识蒸馏的种类训练机制教师-学生架构蒸馏算法性能比较实际应用典型的知识蒸馏KD是Hinton于15
zenRRan·2022-11-30 00:24

怎样进行模型压缩？）

文章目录大规模深度学习快速的CPU实现GPU实现大规模的分布式实现模型压缩References内容总结自花书《DeepLearning》。
_SeeUtoday_·2022-11-29 11:39

yolov5--4.0--模型压缩

yolov5的4.0版本也是更新了有一段时间了，具体更新内容如下;nn.SiLU()activationsreplacenn.LeakyReLU(0.1)andnn.Hardswish()activationsthroughoutthemodel,simplifyingthearchitectureaswenowonlyhaveonesingleactivationfunctionusedever
lindsayshuo·2022-11-29 06:20

ACL2022赶会必备，拿来即用之Abstract和Related Work

©作者｜刘沛羽机构｜中国人民大学高瓴人工智能学院研究方向｜自然语言处理，模型压缩来自|RUCAIBox导读：ACL是计算语言学和自然语言处理领域顶级国际会议，本文从ACL2021年发表的主会长文中整理出来了其中涉及的
zenRRan·2022-11-28 07:15

深度学习笔记(九):神经网络剪枝(Neural Network Pruning)详细介绍

文章目录1:Whatispruning2:PruninginMLP(多层感知机)2.2Howtomakemask3.PruninginCNN(卷积神经网络)1:Whatispruning剪枝是一种模型压缩的方法
ZZY_dl·2022-11-28 04:06

论文：无人驾驶深度学习模型组合剪枝算法*笔记模型压缩 剪枝学习 笔记

论文：无人驾驶深度学习模型组合剪枝算法*笔记1、卷积核剪枝侧重于模型加速，权重剪枝侧重于模型压缩，使用了组合剪枝算法2、正则化3、卷积核剪枝，每剪掉一个卷积核之后，相应的输出特征图也会少一个通道，而且还会影响下一个卷积层
qq_39721172·2022-11-28 04:06

【每周CV论文推荐】初学模型蒸馏值得阅读的文章

模型蒸馏是非常重要的模型压缩方法，在学术界研究非常广泛，本次我们来简单给大家推荐一些初入该领域值得阅读的工作。
言有三·2022-11-28 02:36

【每周CV论文推荐】初学模型量化值得阅读的文章

模型量化是非常重要的模型压缩方法，在工业界应用非常广泛，本次我们来简单给大家推荐一些初入该领域值得阅读的工作。
言有三·2022-11-26 23:07

AAAI 2022：基于锚框排序的目标检测知识蒸馏｜AI Drive

知识蒸馏是模型压缩的有效手段，但是目标检测网络的知识蒸馏方法却很少被研究。传统的softlabel蒸馏，在目标检测任务上基本没有提升。基于这个发现，南京理工
数据实战派·2022-11-26 21:59

CVPR2121目标检测 | 少见的知识蒸馏用于目标检测（附论文下载）

欢迎关注“计算机视觉研究院”计算机视觉研究院专栏作者：Edison_G近年来，知识蒸馏已被证明是对模型压缩的一种有效的解决方案。这种方法可以使轻量级的学生模型获得从繁琐的教师模型中提取的知识。
计算机视觉研究院·2022-11-26 21:58

香港大学最新 | 超越PointPillar：通过知识蒸馏实现高效的3D目标检测

作者|王汝嘉编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/573732965点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取后台回复【模型压缩】获取模型压缩
自动驾驶之心·2022-11-26 21:57

目标检测中的知识蒸馏方法

目标检测中的知识蒸馏方法知识蒸馏(KnowledgeDistillationKD)是模型压缩（轻量化）的一种有效的解决方案，这种方法可以使轻量级的学生模型获得繁琐的教师模型中的知识。
Amber亮·2022-11-26 21:27

知识蒸馏(Knowledge Distillation)

0.Introduction知识蒸馏（KnowledgeDistillation，简记为KD）是一种经典的模型压缩方法，核心思想是通过引导轻量化的学生模型“模仿”性能更好、结构更复杂的教师模型（或多模型的
Q&Cui·2022-11-26 17:24

面向大规模神经网络的模型压缩和加速方法【方法介绍】【相关工作】

本文授权转载自学术平台PaperWeekly，公众号ID：paperweekly。这是一个推荐、解读、讨论和报道人工智能前沿论文成果的学术平台，致力于让国内外优秀科研工作得到更为广泛的传播和认可。来源|PaperWeekly作者｜林野单位｜东北大学自然语言处理实验室在神经网络发展的过程中，提高模型的容量往往会对模型性能带来正向效果，在近几年的研究工作中，为了追求性能的提升，神经网络模型规模也确实呈
山科智能信息处理实验室·2022-11-25 23:53

模型压缩——量化

模型压缩——量化量化对称量化和非对称量化矩阵量化卷积网络的量化后训练量化(posttrainingquantization)量化感知训练FoldBN和ReLUBNReLUReLU量化：数学角度和物理含义
入坑&填坑·2022-11-25 07:32

模型压缩——重参数化

模型压缩——重参数化重参数化RepVGG和ACNe的重参数化方法ACNetRepVGGDiverseBranchBlock(DBB)串联1x1Conv和KxKConv融合1x1Conv和AVG(AveragePooling
入坑&填坑·2022-11-25 07:23

淘系端智能技术体系概述

但随着移动设备算力的提升、模型压缩技术的成熟，模型推断在终端设备运行成为可能，端智能（On-DeviceAI）应运而生。端智能是指算法模型在终端设备上运行及其上层应用。
阿里巴巴淘系技术团队官网博客·2022-11-25 06:12

基于动态稀疏和特征学习增强的模型剪枝

文章目录摘要一、介绍二、相关工作介绍三、方法压缩模型学习基准模型特征信息多个压缩模型输出信息互补学习端到端动态学习稀疏的模型压缩框架总的训练损失函数优化基准模型与压缩模型初始化优化过程四、实验与分析实验设置与主流方法比较分析与讨论总结摘要为了减轻深度学习算法在实际应用中庞大的参数量和繁重的计算量
qq_44703968·2022-11-24 09:16

轻量型骨干网络之GhostNet: More Features from Cheap Operations论文学习

作者也用了别的技术来压缩模型：剪枝（神经元）、剪枝（通道）、二值化法、张量分解、知识蒸馏1.模型压缩剪枝连接(
Diros1g·2022-11-24 07:45

ICLR 2021投稿中值得一读的NLP相关论文

理论、模型与经验性分析：38篇问答与阅读理解：4篇知识图谱：4篇文本生成：9篇机器翻译：7篇对抗攻击：4篇文本分类：2篇信息抽取：4篇可解释性：1篇模型压缩与集成：4篇数据增强：2篇向量表示：12篇其他
PaperWeekly·2022-11-24 01:07

A-卷积网络压缩方法总结

按照压缩过程对网络结构的破坏程度，我们将模型压缩技术分为“前端压缩”和“后端压缩”两部分。前端压
qq_1041357701·2022-11-23 23:42

【强烈推荐】YOLOv7部署加速590%，BERT部署加速622%，这款开源自动化压缩工具必须收藏！...

为降低企业成本，工程师们一直在探索各类模型压缩技术，来产出“更准、更小、更快”的AI模型部署落地。
OpenCV中文网公众号·2022-11-23 07:13

模型压缩算法库 MMRazor 全面升级，更灵活、更自动

MMRazor是OpenMMLab开源项目里模型压缩领域的算法工具箱，目前支持了知识蒸馏、模型通道剪枝和模型结构搜索，模型量化部分正在开发中。
OpenMMLab·2022-11-23 05:46

面向AI图形的轻量深度学习推理引擎 ShaderNN

移动平台的深度学习推理涉及硬件平台、驱动、编译优化、模型压缩、算子算法优化以及部署，适合系统业务开发的高效推理框架成为业界迫切需求和开发重点。很多企业都在研发面向移动端的开源深度学习框架。
内核工匠·2022-11-22 23:58

CVPR 2022 | 美团技术团队精选6篇优秀论文解读

CVPR2022|美团技术团队精选论文解读计算机视觉国际顶会CVPR2022近日在美国新奥尔良召开，今年美团技术团队有多篇论文被CVPR2022收录，这些论文涵盖了模型压缩、视频目标分割、3D视觉定位、
海宝7号·2022-11-22 22:14

联邦知识蒸馏概述与思考（续）

关注公众号，发现CV技术之美前文（【科普】联邦知识蒸馏概述与思考）提到知识蒸馏是一种模型压缩方法，通过利用复杂模型（TeacherModel）强大的表征学习能力帮助简单模型（StudentModel）进行训练
我爱计算机视觉·2022-11-22 22:36

【科普】联邦知识蒸馏概述与思考

因此，如何在保证模型性能的前提下减少模型的参数量以及加快模型前向传播效率，这是一个重要的问题，总的来说不同的模型压缩与加速技术具体可以分为以下四类：1）参数剪枝与共享（Parameterpruningands
我爱计算机视觉·2022-11-22 22:35

【模型部署】NNI：剪枝和量化

模型压缩后，模型大小会变小，在不会显著降低模型性能的情况下，能够加速模型的训练/推理。模型压缩技术分类：剪枝（Pruning）和量化（Quantization）。
Jackilina_Stone·2022-11-22 19:04

NNI神经网络模型压缩教程

1.NNI简介NNI是微软发布的一款自动机器学习（AutoML）开源项目，对机器学习生命周期的各个环节做了更加全面的支持，包括特征工程、神经网络架构搜索（NAS）、超参调优和模型压缩在内的步骤，你都能使用自动机器学习算法来完成
AI算法-图哥·2022-11-22 19:02

剪枝框架推荐第二弹，nni：不止是剪枝压缩工具

因此，模型压缩也是一个热门话题。剪枝框架推荐第二弹，今天介绍下微软的开源的工具包：nni。NNI(NeuralNetworkIntelligence)是一个轻量但强大的工
Pou749·2022-11-22 19:01

NNI模型剪枝压缩使用的较详细记录

使用微软nni工具，基于pytorch进行模型压缩记录总结，最后的结论一很久以前实验的，可能会有点误差，或者NNI工具更新了。但是nni模型剪枝压缩的整体流程是这样的，在此简单记录一下。
CaiDou_·2022-11-22 19:27

模型剪枝

模型压缩又可分很多方法，如剪枝（Pruning）、量化（Quantization）、低秩分解（Low-rankfactorization）、知识蒸馏（Knowledgedistillation）。
ab0902cd·2022-11-22 18:53

使用nni对ResNet进行模型剪枝

NeuralNetworkIntelligence)是微软开源的自动机器学习（AutoML）工具包，对机器学习生命周期的各个环节做了更加全面的支持，包括特征工程、神经网络架构搜索（NAS）、超参调优和模型压缩
\lambda·2022-11-22 18:22

nni模型剪枝

NeuralNetworkIntelligenceNNI：NeuralNetworkIntelligence，是一个轻量但强大的自动机器学习工具包，能帮助用户自动进行特征工程、神经网络架构搜索、超参调优以及模型压缩
benben044·2022-11-22 18:21

【CNN优化加速】02轻量化模型：MobileNet v1-v3、ShuffleNet v1-v2、EfficientNet v1-v2简介

前一篇博文介绍了CNN优化加速的一些基础理论，包括卷积相关的基础知识，常见的CNN模型加速策略（知识蒸馏、量化、剪枝以及设计更轻的网络架构等）【CNN优化加速】01模型压缩基础：常见策略、卷积相关概念_
TianleiShi·2022-11-22 16:14

Win10下飞桨PaddlePaddle、Git & PaddleDetection安装教程

PaddleDetection模块化地实现了多种主流目标检测算法，提供了丰富的数据增强策略、网络模块组件（如骨干网络）、损失函数等，并集成了模型压缩和跨平台高性能部署能力。经过长时间
Kevin-Pang·2022-11-22 09:53

阅读笔记——HRank: Filter Pruning using High-Rank Feature Map

因此文章聚焦于通道裁剪达到模型压缩（降低参数量）和加速（减少计算FLOPs）的效果。
哇哇九号·2022-11-22 09:45

即插即用 | 5行代码实现NAM注意力机制让ResNet、MobileNet轻松涨点(超越CBAM)

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达识别不显著特征是模型压缩的关键。然而，这一点在注意力机制中却没有得到研究。
小白学视觉·2022-11-21 11:53

即插即用！5行代码实现NAM注意力机制，让ResNet轻松涨点！

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童识别不显著特征是模型压缩的关键。然而，这一点在注意力机制中却没有得到研究。
Amusi（CVer）·2022-11-21 11:46

模型压缩加速-五种CNN模型的尺寸，计算量和参数数量对比详解

五种CNN模型的尺寸，计算量和参数数量对比详解一、SqueezeNet1.1设计思想1.2网络架构1.3实验结果1.4速度考量二、DeepCompression2.1算法流程2.2模型存储2.3实验结果2.4速度考量三、XNorNet3.1BWN3.2XNOR-Net3.3实验结果四、Distilling4.1基本思想4.2实验结果4.3速度考量五、MobileNet5.1卷积分解5.2模型架构5
香博士·2022-11-21 07:30

模型压缩 方法汇总和梳理

为此，对模型进行时间和空间上的压缩，便谓之曰“模型压缩”。模型压缩技术包括前端压缩和后端压缩这两部分。
持续努力·2022-11-21 07:28

模型压缩剪枝蒸馏量化

开源项目与资源PaddleSlim是百度提出的模型优化工具，包含在PaddlePaddle框架中，支持若干知识蒸馏算法，可以在teacher网络和student网络任意层添加组合loss，包括FSPloss，L2loss，softmaxwithcross-entropyloss等。PaddleSlimGithubPaddleSlimDocsDistiller是Intel基于Pytorch开源的模型
Mr_Troy·2022-11-21 07:46

一种模型压缩技术

为了有效提升深度模型的性能和效率，通过探索模型的可蒸馏性和可稀疏性，本文提出了一种基于“教导主任-教师-学生”模式的统一的模型压缩技术。
tt姐whaosoft·2022-11-21 07:43

BERT部署加速622%，YOLOv7部署加速590%，这款开源压缩神器火了！

为降低企业成本，工程师们一直在探索各类模型压缩技术，来产出“更准、更小、更快”的AI模型部署落地。
夕小瑶·2022-11-21 05:01

【强烈推荐】YOLOv7部署加速590%，BERT部署加速622%，这款开源自动化压缩工具必须收藏！...

为降低企业成本，工程师们一直在探索各类模型压缩技术，来产出“更准、更小、更快”的AI模型部署落地。
woshicver·2022-11-21 05:00

YOLOv7部署加速比5.89，BERT部署加速比6.37，自动化压缩工具实战30+热门AI模型

为降低企业成本，工程师们一直在探索各类模型压缩技术，来产出“更准、更小、更快”的AI模型部署落地。
飞桨PaddlePaddle·2022-11-21 05:39

计算机视觉算法岗面经：商汤/滴滴/腾讯

项目方面主要是图像识别与模型压缩知识蒸馏，一篇1作论文在投。其他专业排名、获奖情况、文体方面不赘述商汤：二面挂。被告知待综合评定，应该就是委婉地挂了5
视学算法·2022-11-20 15:42

模型压缩之Learning Efficient Convolutional Networks through Network Slimming

1.摘要在许多现实应用中，深度神经网络的部署由于其高额的计算成本变得很困难。在这篇论文中，我们提出了一种新颖的CNNs学习方案，它同时满足：减小模型大小；减少运行时的内存占用；在不影响精度的同时，降低计算操作数；利用通道稀疏化这样一个简单但却有效的方法，上面的条件很容易获得。不同于许多已经存在的方法，我们的方法可以直接应用到现代CNN网络架构中，在训练过程引入最小的花销，而且不需要其他特殊的软硬件
AI算法-图哥·2022-11-20 10:58

知识蒸馏、模型剪枝与量化

1.知识蒸馏1.1知识蒸馏简介知识蒸馏是一种模型压缩常见方法，用于模型压缩指的是在teacher-student框架中，将复杂、学习能力强的网络学到的特征表示“知识”蒸馏出来，传递给参数量小、学习能力弱的网络
jefferyqian·2022-11-20 10:21
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他