ML&DL-模型压缩

模型压缩-剪枝算法详解

而模型压缩算法可以将一个庞大而复杂的预训练模型转化为一个精简的小模型，从而减少对硬件的存储、带宽和计算需求，以达到加速模型推理和落地的目的。
嵌入式视觉·2023-08-13 16:14

实践教程｜基于 pytorch 实现模型剪枝

PyTorch的剪枝2.1，pytorch剪枝工作原理2.2，局部剪枝2.3，全局非结构化剪枝三，总结参考资料一，剪枝分类所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术
Python数据开发·2023-08-13 16:44

大模型的数据隐私问题有解了，浙江大学提出联邦大语言模型

作者|小戏、Python理想化的Learning的理论方法作用于现实世界总会面临着诸多挑战，从模型部署到模型压缩，从数据的可获取性到数据的隐私问题。
夕小瑶·2023-08-11 19:48

自然语言处理：长文本场景下的关键词抽取实践

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-08-08 14:47

自然语言处理[信息抽取]：MDERank关键词提取方法及其预训练模型----基于嵌入的无监督 KPE 方法 MDERank

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-08-08 14:47

自然语言处理文本分割[Text segmentation]：PoNet算法使用多粒度Pooling结构替代attention的网络

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-08-08 14:46

深度学习实践——模型推理优化练习

裂缝识别深度学习实践——循环神经网络实践深度学习实践——模型部署优化实践深度学习实践——模型推理优化练习深度学习实践——模型推理优化练习模型推理优化练习架构设计练习知识蒸馏练习模型剪枝练习参数量化练习算式检测模型压缩优化未优化前模型的大小与速度算式检测模型剪枝算式检测模型量化算式识别模型压缩优化实验结论源码地址
Asionm·2023-08-01 10:50

【论文笔记】神经网络压缩调研

神经网络压缩调研背景现有的深度模型压缩方法NetWorkPrunning网络剪枝设计结构化矩阵知识蒸馏权值共享ParameterQuantization（参数量化）量化和二进制化伪量化ArchitectureDesign
MoonpieXia·2023-07-31 05:25

简介模型压缩与加速的一些方法

具体方法：ShuffleNet：将featuremap按照channel进行分组。每个卷积核只对某一组进行运算，从而降低了参数量和计算量。为了防止由于分组导致局部特征得不到共享，每经过一次卷积操作，就将channel进行随机打乱。MobileNet:标准的卷积层，参数是KKMN，其中M,N分别是输入和输出的channel数目。采用DepthwiseConv和PointWiseConv相结合的方式，
_xuyue·2023-07-30 03:18

AI模型训练推理一定要知道的事情

例如分布式训练技术（将数据和模型参数分配到多台机器上进行计算）、还可以采用模型压缩技术，将模型的大小压缩到最
河南-殷志强·2023-07-29 10:30

【读点论文】Lightweight Deep Learning: An Overview，性能拉满，速度和精度全都要。但还是有很长的路要走，目前消耗的成本过高，节约环保，低碳炼丹

轻量级深度学习(DL)是指将深度神经网络模型压缩成更紧凑的模型的过程，由于边缘设备的资源和计算能力有限，因此适合在边缘设备上执行，同时保持与原始设备相当的性能。目前，模型压缩的方法包
羞儿·2023-07-28 11:43

基于torch实现模型剪枝

一、剪枝分类所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。
qq_41920323·2023-07-25 09:20

神经网络随记-参数矩阵、剪枝、模型压缩、大小匹配、、

神经网络的参数矩阵在神经网络中，参数矩阵是模型学习的关键部分，它包含了神经网络的权重和偏置项。下面是神经网络中常见的参数矩阵：权重矩阵（WeightMatrix）：权重矩阵用于线性变换操作，将输入数据与神经元的连接权重相乘。对于全连接层或线性层，每个神经元都有一个权重矩阵。权重矩阵的维度取决于输入和输出的大小，通常表示为(input_size,output_size)，其中input_size是输
lxznjw·2023-07-24 23:22

【模型压缩】 LPPN论文阅读笔记

LPPN论文阅读笔记LPPN:ALightweightNetworkforFastPhasePicking背景 深度学习模型的问题在于计算复杂度较高，在实际数据处理中需要面临较高的处理代价，且需要专用的加速处理设备，如GPU。随着数据累积，迫切需要设计一种能够保证精度的轻量化高速震相拾取模型，以提高处理海量数据的效率，这种模型同时可以方便地部署在设备端。具有更少的训练参数和轻量级网络在处理大规模数
MoonpieXia·2023-07-24 18:45

LLM系列 | 02: Vicuna简介及模型部署实测

后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。Vicuna模型Vicuna官方目前(2023年4月)只放出
JasonLiu1919·2023-07-23 09:54

模型压缩-裁剪、量化、蒸馏

模型压缩是一种缩小神经网络结构和参数的技术。
loong_XL·2023-07-16 22:08

搜索语义模型的大规模量化实践

作者|把酒问青天导读经过近几年的技术演进，语义模型在百度搜索场景中被广泛地应用，消耗了大量的GPU资源，模型压缩技术也随之得到大量研究和实践。
百度Geek说·2023-07-14 10:19

深度学习模型压缩方法综述

深度学习因其计算复杂度或参数冗余，在一些场景和设备上限制了相应的模型部署，需要借助模型压缩、系统优化加速等方法突破瓶颈，本文主要介绍模型压缩的各种方法,希望对大家有帮助。
@BangBang·2023-06-24 04:02

干货 | 图文教程 OpenVINO 安装+demo运行 + VS配置

（2）模型优化器：模型转换、模型压缩、32F/16F、模型优化。（3）
OpenVINO 中文社区·2023-06-20 16:04

模型压缩概述

模型压缩大概分为以下几个方向：更精细模型的设计：目前的很多网络都具有模块化的设计，在深度和宽度上都很大，这也造成了参数的冗余很多，因此有很多关于模型设计的研究，如SqueezeNet、MobileNet
April63·2023-06-20 02:43

详解4种模型压缩技术、模型蒸馏算法

摘要：本文主要为大家讲解关于深度学习中几种模型压缩技术、模型蒸馏算法：Patient-KD、DistilBERT、DynaBERT、TinyBERT。
华为云开发者联盟·2023-06-19 11:00

全国大数据与计算智能挑战赛：面向低资源的命名实体识别基线方案，排名13/64，组织单位：国防科技大学系统工程学院（大数据与决策实验室）

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-06-18 23:56

LLM 系列 | 08: 如何用ChatGPT构建点餐机器人？

后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。
JasonLiu1919·2023-06-18 18:40

LLM 系列 | 07：吴恩达ChatGPT Prompt课程实践：以智能客服邮件为例

后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。
JasonLiu1919·2023-06-18 18:10

2023中国高校计算机大数据挑战赛：论文学科分类baseline|清华主办

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-06-17 23:08

深度学习实战——模型推理优化（模型压缩与加速）

https://github.com/yiru1225（转载标明出处勿白嫖starforprojectsthanks）目录系列文章目录一、实验思路综述1.实验工具及内容2.实验数据3.实验目标4.实验步骤二、模型压缩与加速综述
@李忆如·2023-06-17 04:57

【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解

因此，涌现出了大量的模型压缩和加速技术，知识蒸馏是其中的代表，可以有效的从大型的教师模型中学习到小型的学生模型。本
姚路遥遥·2023-06-16 21:33

人工智能领域：面试常见问题超全（深度学习基础、卷积模型、预训练模型、计算机视觉、自然语言处理、推荐系统、）

人工智能领域：面试常见问题超全（深度学习基础、卷积模型、对抗神经网络、预训练模型、计算机视觉、自然语言处理、推荐系统、模型压缩、强化学习、元学习）人工智能领域：面试常见问题1.深度学习基础为什么归一化能够提高求解最优解的速度
·2023-06-16 14:29

深度学习实践篇[17]：模型压缩技术、模型蒸馏算法：DynaBERT、TinyBERT

深度学习实践篇[17]：模型压缩技术、模型蒸馏算法：Patient-KD、DistilBERT、DynaBERT、TinyBERT1.模型压缩概述1.2模型压缩原有理论上来说，深度神经网络模型越深，非线性程度也就越大
·2023-06-16 14:26

人工智能领域：面试常见问题超全（深度学习基础、卷积模型、预训练模型、计算机视觉、自然语言处理、推荐系统、）

人工智能领域：面试常见问题超全（深度学习基础、卷积模型、对抗神经网络、预训练模型、计算机视觉、自然语言处理、推荐系统、模型压缩、强化学习、元学习）人工智能领域：面试常见问题1.深度学习基础为什么归一化能够提高求解最优解的速度
·2023-06-16 14:26

人工智能领域：面试常见问题超全（深度学习基础、卷积模型、对抗神经网络、预训练模型、计算机视觉、自然语言处理、推荐系统、模型压缩、强化学习、元学习）

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。后续会持续把深度学习涉及知识原理分析给大家，让大家在项目实操的同时也能知识储备，知
汀、人工智能·2023-06-16 11:33

深度学习实践篇[17]：模型压缩技术、模型蒸馏算法：Patient-KD、DistilBERT、DynaBERT、TinyBERT

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。后续会持续把深度学习涉及知识原理分析给大家，让大家在项目实操的同时也能知识储备，知
汀、人工智能·2023-06-16 11:31

CVPR 2022 | 美团技术团队精选论文解读

计算机视觉国际顶会CVPR2022近日在美国新奥尔良召开，今年美团技术团队有多篇论文被CVPR2022收录，这些论文涵盖了模型压缩、视频目标分割、3D视觉定位、图像描述、模型安全、跨模态视频内容检索等研究领域
·2023-06-16 11:33

知识蒸馏、轻量化模型架构、剪枝…几种深度学习模型压缩方法

摘要：模型压缩算法旨在将一个大模型转化为一个精简的小模型。工业界的模型压缩方法有：知识蒸馏、轻量化模型架构、剪枝、量化。本文分享自华为云社区《深度学习模型压缩方法综述》，作者：嵌入式视觉。
华为云开发者联盟·2023-06-15 15:40

【知识普及】神经网络架构搜索（Neural Architecture Search，NAS）

2.1.2基于进化算法2.1.3基于梯度的方法2.2NAS加速2.2.1层次化表示2.2.2权值共享2.2.3表现预测2.3NAS变体及扩展2.3.1语义分割2.3.2多目标2.3.3优化器2.3.4模型压缩
^_^ 晅菲·2023-06-15 12:43

加速44%！RT-DETR量化无损压缩优秀实战

在实际部署中，为了追求“更准、更小、更快”的效率能力，本文使用飞桨模型压缩工具PaddleSlim中的自动压缩工具（ACT,AutoCompressionToolkit）将针对RT-DETR进行量化压缩及部署实战
飞桨PaddlePaddle·2023-06-14 21:58

加速44%！RT-DETR量化无损压缩优秀实战

在实际部署中，为了追求“更准、更小、更快”的效率能力，本文使用飞桨模型压缩工具PaddleSlim中的自动压缩工具（ACT,AutoCompressionToolkit）将针对RT-DETR进行量化压缩及部署实战
飞桨PaddlePaddle·2023-06-14 21:28

BERT和GAN咋压缩，且看咱PaddleSlim新利器—— OFA

针对部署难题，可以使用剪枝、量化、蒸馏等传统的模型压缩技术，但是这些模型压缩技术整
·2023-06-14 18:36

加速44%！RT-DETR量化无损压缩优秀实战

在实际部署中，为了追求“更准、更小、更快”的效率能力，本文使用飞桨模型压缩工具PaddleSlim中的自动压缩工具（ACT,AutoCompressionToolkit）将针对RT-DETR进行量化压缩及部署实战
·2023-06-14 18:21

深度学习模型精度与PyTorch模型量化

深度学习的模型压缩的主流方法有基于量化的方法、模型剪枝和知识蒸馏（teacher-student），模型量化，这是最广泛使用的模型压缩形式。
思考实践·2023-06-14 12:48

模型压缩- 剪枝/量化/蒸馏/AutoML

原因深度学习训练得到的网络复杂度高，参数冗余。解决方式（1）线性或非线性量化（2）结构或非结构剪枝（3）网络结构搜索（4）权重矩阵的低秩分解（5）蒸馏目的优化精度、性能、存储……使得可以在一些场景和设备上进行相应模型的部署。剪枝1、剪枝位置的判定一般根据权重。权重越小，证明该神经元的作用越小。2、剪枝的方式：删去网络层上的权重的向量/整个神经元/单个像素（数据）。由于矩阵操作的并行化，减去单个像素
NCU_wander·2023-06-13 16:23

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。后续会持续把深度学习涉及知识原理分析给大家，让大家在项目实操的同时也能知识储备，知
汀、人工智能·2023-06-12 14:18

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：智能标注、多分类算法、文本信息抽取等

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等1.N-GramN-Gram是一种基于统计语言模型的算法
·2023-06-12 11:50

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：智能标注、多分类算法、文本信息抽取等

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等1.N-GramN-Gram是一种基于统计语言模型的算法
·2023-06-12 11:47

深度学习模型压缩与优化加速

1.简介深度学习（DeepLearning）因其计算复杂度或参数冗余，在一些场景和设备上限制了相应的模型部署，需要借助模型压缩、系统优化加速、异构计算等方法突破瓶颈，即分别在算法模型、计算图或算子优化以及硬件加速等层面采取必要的手段
老了敲不动了·2023-06-11 10:59

TimesNet：用于一般时间序列分析的时间二维变化模型（代码解析）

后面会推出自定义项目，以及使用NNI框架对模型关键参数进行调节，也可能会推出模型压缩等相关文章，如
羽星_s·2023-06-07 12:08

基于统计分析的卷积神经网络模型压缩方法

针对卷积神经网络中卷积层参数冗余,运算效率低的问题,从卷积神经网络训练过程中参数的统计特性出发,提出了一种基于统计分析裁剪卷积核的卷积神经网络模型压缩方法,在保证卷积神经网络处理信息能力的前提下,通过裁剪卷积层中对整个模型影响较小的卷积核对已训练好的卷积神经网络模型进行压缩
雪夜的星_e40c·2023-06-07 09:19

算法常用功能收藏夹

可视化绘图工具GitHub-lanpa/tensorboardX:tensorboardforpytorch(andchainer,mxnet,numpy,...)需要注意，cd到模型存储文件夹级路径下2.NN模型压缩框架
默-言·2023-04-20 22:43

CVPR 2023 | DisWOT：给老师找个好学生？KD和NAS的高效组合

©Paperweekly原创·作者|An.单位|中科院自动化所研究方向|计算机视觉、模型压缩动机&背景知识蒸馏（KnowledgeDistillation,KD）可以用大模型指导小模型学习，但大小模型之间的容量差距阻碍了知识的传递
PaperWeekly·2023-04-20 19:55

D.8零样本文本分类应用：基于UTC的医疗意图分类，打通数据标注-模型训练-模型调优-预测部署全流程。

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-04-20 19:04
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他