M_模型压缩

联邦知识蒸馏

知识蒸馏1.概述：2.背景知识蒸馏(KnowledgeDistillation）模型压缩模型增强3.知识蒸馏与迁移学习的差异：(1)数据域不同.(2)网络结构不同.(3)学习方式不同.(4)目的不同.4
咫尺云烟·2022-12-21 07:57

知识蒸馏概述

知识蒸馏（knowledgedistillation）是模型压缩的一种常用的方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度
下雨天吃火锅哩·2022-12-21 07:23

模型压缩----入门（未完待续....）

常见方法：修剪：因为神经网络很多权重几乎为0,这类参数作用不大，部分参数删掉也不影响模型预测效果权重分解：权重矩阵可以进行低秩矩阵分解，从而使得一些参数为0削减精度：能用float32,不用float64;能用int，不用float共享权重：很多layer的参数可以共享，没必要用太多参数
无意识积累中·2022-12-19 18:41

极智AI | 谈谈昇腾CANN量化

昇腾CANN的量化体现在AMCT工具，也即模型压缩工具，后面再来说AMCT，这篇先聊一下昇腾CANN的量化执行流程和原理。
极智视界·2022-12-19 12:37

[模型压缩/加速]-加速卷积计算的三种方法-Depth-wise Conv、Group Conv、Channel-wise Conv

1.概念简介假设输入尺寸大小为aa、通道为n，输出通道数为m，卷积核大小为bb，步长为1.那么计算量为FLOPs=a*a*n*m*b*b参数量为b*b*n*m这就是传统卷积的计算方式，可以看到，当a、b、n、m相对较大的时候，造成的计算量是非常大的，所以就有降低模型大小与计算量的需要。2.Depth-wiseConv出自论文《MobileNets:EfficientConvolutionalNeu
orangezs·2022-12-19 11:26

PaddleDetection环境部署与小组分工

PaddleDetection模块化地实现了多种主流目标检测算法，提供了丰富的数据增强策略、网络模块组件（如骨干网络）、损失函数等，并集成了模型压缩和跨平台高性能部署能力。
无情铁铲·2022-12-18 21:39

小白使用PaddleDetection踩过的坑

该框架中提供了丰富的数据增强、网络组件、损失函数等模块，集成了模型压缩和跨平台高性能部署
szh@bj·2022-12-18 21:09

《Distilling the Knowledge in a Neural Network》知识蒸馏论文解读

解决方法：利用知识蒸馏进行模型压缩，实现轻量级网络。接下来以这篇论文为基础来认识知识蒸馏。1、软标签和硬标签描述：硬标签就是指我们在预测时正确的值为1，错误的值为0。
一瞬にして失う·2022-12-18 14:13

《Distilling the Knowledge in a Neural Network》论文总结

目录零、前言一、模型压缩概述二、知识蒸馏的思想三、知识蒸馏中的知识定义1、基于response/logits的知识2、基于feature的知识3、基于relation的知识四、本文提出的传统基于response
LionelZhao·2022-12-18 14:08

【深度学习技巧】模型压缩（参数修剪、神经元修剪、知识蒸馏、参数量化、结构设计、动态计算）

文章目录1.模型压缩的意义2.模型压缩的几种方法2.1参数修剪（剪掉无用的参数）2.2神经元修剪2.3知识蒸馏2.4参数量化2.5结构设计2.6动态计算3.参考1.模型压缩的意义复杂网络更加简化，仍保持较好的性能
努力的袁·2022-12-18 12:35

使用PyTorch进行知识蒸馏的代码示例

我们将看到如何使用它将一个庞大、笨重的模型压缩成一个更小、更高效的模型，并且仍然保留原始模型的准确性和性能。我们首先定义知识蒸馏要解决的问题。我们训练了一个大型深度神
deephub·2022-12-18 12:00

图文+代码分析：caffe中全连接层、Pooling层、Relu层的反向传播原理和实现

.全连接层反向传播设CC为loss全连接层输入：(bottom_data)aa全连接层输出：(top_data)zz假设aa维度K_，zz维度N_，则权值矩阵维度为N_行*K_列，batchsize=M_
l_____r·2022-12-18 09:56

目标检测论文解读1：（RCNN解读）Rich feature hierarchies for accurate object detection...

此外，对“目标检测/模型压缩/语义分割”感兴趣的小伙伴，欢迎加入QQ群813221712讨论交流，进群请看群公告！
phinoo·2022-12-18 08:50

字节跳动开源GAN模型压缩框架，算力最高节省97.8%丨ICCV 2021

这种模型压缩
字节跳动技术范儿·2022-12-18 00:57

使用PyTorch进行知识蒸馏的代码示例

我们将看到如何使用它将一个庞大、笨重的模型压缩成一个更小、更高效的模型，并且仍然保留原始模型的准确性和性能。我们首先定义知识蒸馏要解决的问题。我们训练了一个大型深度神
·2022-12-17 11:10

weight pruning（权重剪枝）--学习笔记

模型压缩(modelcompress)是提高深度模型推理效率的一种解决方案，它期望在不损失精度或者精度损失可控的范围内，加速推理效率，减低内存开销。
Wsyoneself·2022-12-17 09:34

知识蒸馏论文学习（同济子豪兄）

一.部署工具：MMDeploy二.模型压缩方法：知识蒸馏，权值量化，剪枝（权重剪枝，通道剪枝），注意力迁移三.硬件部署：rensorRT，rensorflow-slim，tensorflow-lite，
Sunt40·2022-12-16 15:40

【Python Sympy】将表达式化为关于x的多项式，求出多项式系数

(x−xi+1)2hi2+mi+1(x−xi)2(x−xi+1)hi2+yi(x−xi+1)2(hi+2x−2xi)hi3+yi+1(x−xi)2(hi−2x+2xi+1)hi3S(x)=\frac{m_
seh_sjlj·2022-12-16 10:28

【经典简读】知识蒸馏(Knowledge Distillation) 经典之作

【经典简读】知识蒸馏(KnowledgeDistillation)经典之作转自：【经典简读】知识蒸馏(KnowledgeDistillation)经典之作作者：潘小小知识蒸馏是一种模型压缩方法，是一种基于
Adenialzz·2022-12-15 22:45

C均值聚类算法及其实现

首先给出聚类准则函数是误差平方和准则：Jc=∑j=1c∑k=1nj∣∣xk−mj∣∣2J_{c}=\sum_{j=1}^{c}\sum_{k=1}^{n_{j}}||x_{k}-m_{j}||^{2}Jc
咸鱼.m·2022-12-14 15:28

【ICLR2021】十三大主题100篇值得一读的NLP论文，还不安排上？

理论、模型与经验性分析：38篇问答与阅读理解：4篇知识图谱：4篇文本生成：9篇机器翻译：7篇对抗攻击：4篇文本分类：2篇信息抽取：4篇可解释性：1篇模型压缩与集成：4篇数据增强：2篇向量表示：12篇其他
zenRRan·2022-12-14 06:49

模型压缩调研

0.前言本文介绍模型压缩所包含的研究方向、现状以及后续研究安排。注意：本文内容仅面向算法层优化，不考虑硬件、框架优化。
清欢守护者·2022-12-13 21:24

ISP自动白平衡：动态阈值算法Opencv C++实现

白点检测：将图像转换到YCrCb颜色空间，然后对图像进行分块，3×43\times43×4共12块；对每块统计Cr,Cb均值Mcr,McbM_{cr},M_{cb}Mcr,Mcb;根据步骤2计算
DU_YULIN·2022-12-12 16:08

NNI 自动调参使用。

NNI(NeuralNetworkIntelligence)是一个轻量而强大的工具，可以帮助用户自动化：超参调优，架构搜索，模型压缩，特征工程。本文只简单介绍如何超参数调优。1原理
JiangHe1997·2022-12-12 16:52

NNI — 微软开源的一个自动帮你做机器学习调参的神器

想要更容易实现或试验新的机器学习算法的研究员或数据科学家，包括：超参调优算法，神经网络搜索算法以及模型压缩算法。它支持的框架有：PyTorchKerasTensorFlowMXNetCa
Python实用宝典·2022-12-12 16:51

最强六大开源轻量级人脸检测项目分析

但基于深度学习的通用目标检测算法（例如Faster-RCNN，SSD，YoloV3、RetinaNet等）的检测效果和鲁棒性，远远的超过基于纹理、边缘、Harr特征、Sift特征的传统计算机视觉方法，而且近几年随着模型压缩
喜欢打酱油的老鸟·2022-12-11 01:40

Make RepVGG Greater Again！揭示重参化量化崩溃根因并解决（美团）

点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型压缩】技术交流群后台回复【RepVGG】获取本文论文！1摘要性能和推理速度之间的权衡对于实际应用至关重要。
自动驾驶之心·2022-12-10 14:41

threejs关于模型的格式介绍,模型转换,模型压缩,模型加载的相关总结

1.ThreejsWebGL相关模型加载性能对比及模型压缩优化详解干货链接1.科普：三维文件格式科普：三维文件格式2.如何在页面极速渲染3D模型如何在页面极速渲染3D模型3.3D性能优化|说一说glTF
红叶920·2022-12-10 09:10

Transformer优化之稀疏注意力

Transformer:Attention集大成者GPT-1&2:预训练+微调带来的奇迹Bert:双向预训练+微调Bert与模型压缩Bert与模型蒸馏：PKD和DistillBertALBert:轻量
张雨石·2022-12-10 06:59

TinyBERT-模型蒸馏

1909.10351代码地址：https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/TinyBERT主要内容目前已经有很多模型压缩的技术
poorlytechnology·2022-12-10 03:36

mobileNet-v1理论分析

1.概述mobileNet是为移动和嵌入式设备提出的高效模型压缩的一种方式，其主要提出了可分离卷积来实现网络的轻量化，该方式的提出使得网络可以在损失较小的情形下，模型得到较大的压缩，从而为在嵌入式端进行实现提供了可能
奔跑熊·2022-12-09 13:15

卷积神经网络特征图可视化及其意义

文章目录特征图可视化方法1.tensor->numpy->plt.save2.register_forward_pre_hook函数实现特征图获取3.反卷积可视化特征图可视化的意义1.改进训练网络结构2.删除冗余节点实现模型压缩特征图可视化方法
Los Merengues·2022-12-09 12:47

剪枝论文一（Network Slimming）

本文介绍一种经典的模型压缩方法NetworkSlimming，可以实现：减小模型大小减少运行时的内存占用在不影响精度的同时，降低计算操作数论文中提供的示意图如下，可以看到左侧BN层中橙色的神经元权重较小
蓝鲸鱼BlueWhale·2022-12-08 09:07

模型剪枝----Learning Efficient Convolutional Networks through Network Slimming

模型剪枝是模型压缩中较为核心的方法，它可以清除网络中冗余的参数与计算量，让模型更加紧凑高效。
小小小绿叶·2022-12-08 08:22

Network slimming，一个比较好用的模型剪枝方法

由于深度学习模型大小以及计算资源的限制，导致将深度学习模型部署到如移动端的时候会受到一定的限制，为了解决这个问题，就形成了一个新的领域：模型压缩，即减少模型的参数以及计算量，并且依然保证模型的精度。
春枫琰玉·2022-12-08 08:49

关于NLP相关技术全部在这里：预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、深度学习、语法分析、文本处理...

大家都知道NLP近几年非常火，而且发展也特别快。那些耳熟的BERT、GPT-3、图神经网络、知识图谱等技术实际上也就是这几年发展起来的，特别像图神经网络在这两年间取得了飞速的发展。我们正处在信息爆炸的时代、面对每天铺天盖地的新的网络资源和论文、很多时候我们面临的问题并不是缺资源，而是找准资源并高效学习。但很多时候你会发现，花费大量的时间在零零散散的内容上，但最后发现效率极低，浪费了很多宝贵的时间。
PaperWeekly·2022-12-08 04:11

文献阅读——神经网络剪枝技术（二）

但可能会因为过分追求模型压缩比导致模型精度的下降。1.3量化量化方法通过降低权重所需要的比
黄小米吖·2022-12-08 02:47

一个知识蒸馏的简单介绍，一看就懂

知识蒸馏指的是模型压缩的思想，通过一步一步地使用一个较大的已经训练好的网络去教导一
ronghuaiyang·2022-12-08 00:45

用python输出当前时间

直接上代码：importtimeprint(time.strftime("%Y-%m-%d-%H_%M_%S",time.localtime()))运行结果：2019-07-1815:25:27分析一下
儿时春天·2022-12-06 23:39

第十一天：PaddleSlim模型压缩实践

**第十一天：PaddleSlim模型压缩实践**小模型的好处•运行时显存/内存占用变小•计算量减少、延时变小、QPS增大•可以移动端及嵌入式端部署怎么产出好用的小模型•将模型的参数量变少•将小模型的精度提高
爱编程的小懒·2022-12-06 13:30

模型压缩 — PaddleSlim

PaddleSlim是一个模型压缩工具库，包含模型剪裁、定点量化、知识蒸馏、超参搜索和模型结构搜索等一系列模型压缩策略。
秋水 墨色·2022-12-06 13:59

paddleSlim（一）剪裁

目录1.简介2.卷积Filter剪裁2.1paddleSlim的API2.2示例2.2.1剪裁前后对比1.简介PaddleSlim是一个专注于深度学习模型压缩的工具库，提供剪裁、量化、蒸馏、和模型结构搜索等模型压缩策略
午夜零时·2022-12-06 13:59

paddleSlim2.0.0使用ERNIE出现的错误

post101paddleslim2.0.0paddle-ernie0.0.4.dev1paddle-propeller0.5.1.dev1paddlelite2.8在使用paddleSlim时，搭建ernie模型压缩的时候出现的错误出现错误
SEREBA·2022-12-06 13:53

137% YOLOv3加速、10倍搜索性能提升！这样的惊喜，最新版PaddleSlim有10个

PaddleSlim是基于飞桨框架、功能完备、完全开源的深度学习模型压缩工具，集深度学习模型压缩中常用的量化
飞桨PaddlePaddle·2022-12-06 13:22

PaddleSlim踩坑记录

问题二问题描述原因分析解决方案问题三问题描述原因分析解决方案问题四问题描述原因分析解决方案项目场景：最近，想用PaddleSlim来对我的efficientnetB0这个分类任务（pytorch模型）进行模型压缩
~啥也不会~·2022-12-06 13:21

飞桨深度学习7日入门CV - Day06 - 初识PaddleSlim

1.PaddleSlim与模型压缩下面是介绍裁剪、量化、蒸馏和NAS四个具体步骤：1.1裁剪1.2量化1.3蒸馏1.4NAS查了NAS是什么，简书上这篇文章写到至少目前我接触不到这个级别的设备，咱普通用户只能先了解其理论层面
华尔街的幻觉·2022-12-06 13:06

小BERT —— ALBERT

ALBERTFactorizedembeddingparameterization【低秩因式分解】Cross-layerparametersharing【跨层参数共享】SentenceOrderPrediction【句子顺序预测】原BERT缺点：内存占用过高功耗过高延迟高Bert模型压缩对比表论文剪枝低秩因式分解知识蒸馏参数共享量化预训练微调
ywm_up·2022-12-05 17:22

卷积神经网络发展历程——轻量级网络模型（自己学习的笔记分享）

SqueezeNet2016https://arxiv.org/abs/1602.07360SqueezeNet的目标就是在保持和AlexNet同样的准确度上，参数比它少50倍，模型文件可比它小510倍（AlexNet共有6千万个参数）模型压缩使用了三个策略
怪人i命·2022-12-05 11:52

轻量化神经网络(移动设备上的神经网络)的整体框架

提示：不断更新中文章目录一、为什么要引入轻量化神经网络二、模型压缩(ModelCompression)参数修建低秩因子分解参数量化知识蒸馏人工神经架构设计三、自动压缩和神经架构搜索(AutomatedCompressionandNeuralArchitectureSearch
我超爱Debug·2022-12-05 11:18

Transformer模型的训练后剪枝方法

https://arxiv.org/abs/2204.09656GitHub链接：https://github.com/WoosukKwon/retraining-free-pruning前言剪枝是一种经典的模型压缩方法
Law-Yao·2022-12-05 09:26
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他