ML&DL-模型压缩

YOLOv8改进实战 | 更换主干网络Backbone（一）之轻量化模型Ghostnet

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-20 14:55

YOLOv8改进实战 | 更换主干网络Backbone之轻量化模型Efficientvit

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-20 11:03

【量化】量化原理浅析

基本方向为模型压缩和加速，着力于减少网络参数量、降低计算复杂度。
magic_ll·2023-10-18 07:40

知识蒸馏（Knowledge Distillation）简述

KnowledgeDistillation）简述结论Reference：DistillingtheKnowledgeinaNeuralNetwork知识蒸馏（KnowledgeDistillation）简述（一）知识蒸馏被广泛用于模型压缩和迁移学习当中
泠山·2023-10-17 16:06

什么是BIM轻量化

BIM轻量化技术是指工程建筑BIM模型建立后(使用专业)BIM例如，建模软件AutodeskRevit,BentleyMicroStation,DSCatia等)，通过对BIM模型压缩处理等技术手段BIM
波波仔86·2023-10-17 03:57

3500/15 106M1079-01 支持先进和复杂的人工智能计算

耐能NPUIP为edgeAI提供完整的硬件解决方案，包括硬件IP、编译器、模型压缩。
zhang13365909307·2023-10-16 17:50

论文浅尝 | 深度神经网络的模型压缩

笔记整理：闵德海，东南大学硕士，研究方向为知识图谱链接：https://arxiv.org/abs/1412.6550动机提高神经网络的深度通常可以提高网络性能，但它也使基于梯度的训练更加困难，因为更深的网络往往更加强的非线性。最近提出的知识蒸馏方法旨在获得小型和快速执行的模型，它已经表明参数量较小的学生网络可以较好的模仿更大的教师网络或网络集群的SoftOutput。在本文中，我们扩展了这一思想
开放知识图谱·2023-10-15 12:37

Tengine：一款备受国内AI开发者欢迎的边缘AI计算框架

它采用了一系列轻量化的设计策略，包括模型压缩、量化、剪
TvActionscript·2023-10-14 23:35

神经网络模型压缩技术—剪枝

目录1.模型压缩定义2.模型压缩必要性及可行性3.模型压缩分类3.1主流分类3.2前端和后端4.剪枝4.1剪枝定义4.2剪枝分类4.2.1基于粒度4.2.2基于是否结构化4.2.3基于目标5.结构化剪枝和非结构化剪枝
故山月白·2023-10-14 00:50

SS928搭建NNN环境

环境要求：ubuntu18.04参考文件：《ATC工具使用指南》《应用开发指南》《驱动和开发环境安装指南》《昇腾模型压缩工具使用指南（ONNX）》交叉编译器的安装--------------------
warren@伟_·2023-10-12 23:43

F.3【性能优化模型压缩】在数据增强、蒸馏剪枝下ERNIE3.0分类模型性能提升

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-10-12 21:13

读论文：Lightweight Models for Traffic Classification: A Two-Step Distillation Approach

关键词：流量分类、自蒸馏、知识蒸馏、模型压缩、深度学习1、介绍模型压缩技术旨在将大型深度模型压缩成轻量级的小魔仙，以满足资源有限的硬件部署。诸如剪枝、知
不会绑马尾的女孩·2023-10-12 09:37

NLP-预训练模型-2019-NLU：DistilBERT【 BERT模型压缩】【模型大小减小了40%（66M），推断速度提升了60%，但性能只降低了约3%】

《原始论文：DistilBERT,adistilledversionofBERT:smaller,faster,cheaperandlighter》NLP预训练模型随着近几年的发展，参数量越来越大，受限于算力，在实际落地上线带来了困难，针对最近最为流行的BERT预训练模型，提出了DistilBert，在保留97%的性能的前提下，模型大小下降40%，inference运算速度快了60%。Distil
u013250861·2023-10-11 06:59

Roberta: Bert调优

Transformer:Attention集大成者GPT-1&2:预训练+微调带来的奇迹Bert:双向预训练+微调Bert与模型压缩Bert与模型蒸馏：PKD和DistillBertALBert:轻量
张雨石·2023-10-10 19:40

Learning Efficient Convolutional Networks through Network Slimming

该文章是ICCV2017的一篇模型压缩论文，提出了一个针对BN层的剪枝方法，利用BN层的权重（即缩放系数）来评估输入通道的重要程度（score），然后对score对于阈值的通道进行过滤，之后在连接成剪枝后的网络时
hello_dear_you·2023-10-10 12:34

模型压缩-量化-paper list

目录CVPR20192018ECCV2018ICCV2019AAAI20202019ICLR20202019ICML2019CVPR2019LearningtoQuantizeDeepNetworksbyOptimizingQuantizationIntervalsWithTaskLossQuantizationNetworksHAQ:
@匿名用户@·2023-10-07 05:21

知识蒸馏简介（Knowledge Distillation）

做模型压缩的原因：一般情况下，我们在训练模型的时候使用了大量训练数据和计算资源来提取知识，但是大模型不方便部署到服务中去，一是因为大模型的推理速度慢，二是对设备的资源要求高，因此我们希望对训练好的模
滑稽的猴子·2023-10-04 02:50

【模型压缩】模型剪枝模块

模型剪枝模块最基本的基于阈值策略基于分布来选择阈值假定权重是符合一个正太分布正态分布有68%小于标准差将标准差作为阈值卷积层的敏感度要比全连接层更大：导致有些层over-pruning有些层under-pruning设置预期的稀疏率权重值按照绝对值进行排序从最小的权重开始去除，直到得到想要的稀疏率逐渐增加稀疏率AGP一种逐步剪枝方法在n个剪枝步骤中，稀疏度从初始的稀疏度（通常为0）增加到最终的稀疏
luzhoushili·2023-10-01 18:46

【模型压缩】Distiller学习-初认识

Distiller学习-初认识简介IntelAILab的神经网络压缩框架，建立在Pytorch基础上安装压缩方法权重正则化方法权重剪枝方法训练后量化方法训练时量化方法条件计算低质分解方法知识蒸馏方法总体目录核心代码实现所有案例的配置文件举例初始化网络评价网络模型的参数重要性移除不重要的神经元fine-tuning继续剪枝重新训练
luzhoushili·2023-10-01 18:43

问 ChatGPT 关于GPT的事情：压缩篇

要将一个175B的GPT模型压缩成6B的小型模型，可以采取以下具体步骤：1.网络架构优化：可以尝试使用更轻量级的模型架构，如MobileBERT或TinyBERT。
绝不原创的飞龙·2023-09-30 05:24

pytorch中的模型剪枝

剪枝是一种常用的模型压缩策略。通过将模型中不重要的连接失效，实现模型瘦身的效果，并减少计算量。
海棠花不香·2023-09-29 19:39

Talk | ICCV’23 清华赵天辰：Ada3D-基于动态推理的3D感知模型压缩及软硬件协同优化

他与大家分享的主题是:“Ada3D-基于动态推理的3D感知模型压缩及软硬件协同优化”，他介绍了他们提出的动态推理框架Ada3D，并进一步介绍了在硬件测和应用侧利用数据冗余性的方案。
TechBeat人工智能社区·2023-09-29 05:21

面向弹载图像的深度学习网络压缩方法研究

关键词网络模型压缩;轻量化网络;弹
龙腾亚太·2023-09-27 04:22

linux一些常用的下载工具-aria2

从断点续传开始故事的过程是这样的，朋友是搞科研的，需要在一个国外的学术网站下载一个药物的模型压缩包，大概有23g。
·2023-09-26 21:30

强化学习应用到模型压缩

本文介绍几篇自动化模型压缩相关论文的主要思想，包括网络结构搜索及自动化模型压缩压缩一、强化学习基本思想回顾（一）、简介强化学习是一种无监督学习方法，数据集不存在标注信息。
加油11dd23·2023-09-24 17:50

国民级应用，怎么让14亿终端都用上AI？

除了追求大算力带来的智能涌现，如何把AI模型压缩，运用到各种智能终端上，也是工业界不断追求的“极限挑战”。在AI的各种世界顶会中，有一类顶会比赛的项目，就是如何将AI高性能又高效地使用到终端。
光锥智能·2023-09-21 16:55

Three.js模型压缩和拆分加载

只能压缩几何体信息，贴图等材质信息不可压缩。1.gltf格式使用gltf-pipeline和DRACOLoaderhttps://github.com/CesiumGS/gltf-pipeline安装gltf-pipelineInstallNode.jsifyoudon'talreadyhaveit,andthen:npminstall-ggltf-pipeline通过命令行使用gltf-pipe
田苗苗_7785·2023-09-20 04:47

YOLOv5模型压缩：综述

YOLOv5模型压缩：综述AbstractIntroduction剪枝基于ln-范数修剪模型FeaturemapactivationBatchnormalizationscalingfactor(BNSF
桑_榆·2023-09-16 15:57

深度学习之模型压缩、加速模型推理

简介当将一个机器学习模型部署到生产环境中时，通常需要满足一些在模型原型阶段没有考虑到的要求。例如，在生产中使用的模型将不得不处理来自不同用户的大量请求。因此，您将希望进行优化，以获得较低的延迟和/或吞吐量。延迟：是任务完成所需的时间，就像单击链接后加载网页所需的时间。它是开始某项任务和看到结果之间的等待时间。吞吐量：是系统在一定时间内可以处理的请求数。这意味着机器学习模型在进行预测时必须非常快速，
小北的北·2023-09-16 08:10

三维模型3DTile格式轻量化压缩模型变形浅析

这种变形现象多数源于模型压缩过程中信息丢失或误差累积等因素。以下将对此现象进行详细分析。首先，我们需要了解三维模型轻量化压缩的主要方法：几何简化、纹理压缩和数据精度降低等。
3D探路人·2023-09-13 08:16

加速44%！RT-DETR量化无损压缩优秀实战

在实际部署中，为了追求“更准、更小、更快”的效率能力，本文使用飞桨模型压缩工具PaddleSlim中的自动压缩工具（ACT,AutoCompressionToolkit）将针对RT-DETR进行量化压缩及部署实战
·2023-09-11 11:52

inux一些常用的下载工具-aria2

从断点续传开始故事的过程是这样的，朋友是搞科研的，需要在一个国外的学术网站下载一个药物的模型压缩包，大概有23g。
·2023-09-11 11:21

STM32CubeMX X-CUBE-AI更新模型

如题，我采用一个采用stm32CUBEMX生成了工程，工程里面使用了X-CUBE-AI对自定义的模型进行模型压缩，但是我经常要更新模型，那么怎样更新模型了。这里开博客记录一下。
linxizi0622·2023-09-10 11:31

模型压缩-对模型结构进行优化

模型压缩-对模型结构进行优化概述模型压缩通常都是对推断过程而言，训练过程的计算代价通常不考虑，因为GPU可以快速完成任意复杂度模型的训练对于推断过程来说，模型应用才是对于速度敏感的场景多数情况下希望使用尽可能少的能耗完成京可能多的数据处理推断过程不仅仅需要在
luzhoushili·2023-09-09 11:00

3种轻量化框架总结

为了解决这个问题，通常是在训练好的模型上进行优化，如通过对模型压缩减少计算量和存储成本，也可以通过剪枝连接方法去掉了不重要的神经元连接或者通道修剪去掉非必要的通道实现加速，还可以将浮点模型转为定点的量化方法实现模型压缩和计算加速
博观而约取,厚积而薄发·2023-09-08 07:05

视觉大模型高效应用方法盘点（内附论文代码）

为此，可以使用模型压缩、量化、剪枝等技术，减少模型参数量和计算量，从而提高模型推理速度。
PaperWeekly·2023-09-05 23:40

模型转换需要用到的一些基本层的定义

深度学习在计算机视觉等模式识别领域具有强大的能力，但是也遭遇内存占用大、部署环境不友好问题，这里打算写一个专栏，从模型转换到模型压缩，以期可以为深度学习的广泛使用做推广。
HeroFUCKEVERYTHING·2023-09-05 09:52

NLP：长文本场景下段落分割（文本分割、Text segmentation）算法实践----一种结合自适应滑窗的文本分割序列模型

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-09-04 17:47

Pytorch实现一模型压缩算法

网络剪枝个人觉得是一种实用性非常强的网络压缩方法，并且可以和其它模型压缩方法如网络蒸馏、参数位压缩等进行组合，在保留网络识别精度的同时极大幅度的减少网络在使用时的计算量。
帅气滴点C·2023-09-02 13:11

移动边缘网络中联邦学习效率优化综述

联邦学习将模型训练任务部署在移动边缘设备，参与者只需将训练后的本地模型发送到服务器参与全局聚合而无须发送原始数据，提高了数据隐私性．解决效率问题是关键设备与服务器之间的通信消耗——通信——通信具体来说：从边缘协调与模型压缩的角度讨论分析了通信优化方案模型收敛速率
Zh1N1an·2023-08-31 05:04

Yolov8-pose关键点检测：模型轻量化设计 | 模型压缩率从6842降低到1018，GFLOPs从9.6降低至2.2

本文解决什么问题：Yolov8-pose关键点检测轻量级模型设计轻量化模型设计：模型压缩率从6842降低到1018，GFLOPs从9.6降低至2.2，mAP50从0.921变为0.92（几乎不变）Yolov8
AI小怪兽·2023-08-30 18:41

Tensorflow模型压缩及调用

1.使用saver将学习的checkpoint导出成pbimportosos.environ['CUDA_VISIBLE_DEVICES']='0'#设置可用的GPUimporttensorflowastf#model的路径，checkpoint,一般包含三个文件.meta,.index和model.ckpt-10000.data.xxxxx-of-xxxxxmodel_path="pathto/
桃花庵煮·2023-08-29 09:39

自然语言处理长文本场景下的信息结构化实践：文本分割（话题分割、段落分割、Text segmentation、TextTiling算法）标题生成两大任务

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-08-28 10:04

人工智能自然语言处理：抽取式文本分割（Text Segmentation）算法介绍总结，智能断句解决文本过长问题

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-08-28 10:59

深度学习模型优化：提高训练效率和精度的技巧

文章目录1.数据预处理2.批量归一化（BatchNormalization）3.学习率调整4.提前停止（EarlyStopping）5.模型压缩与剪枝6.模型并行与分布式训练7.自动化超参数调整结论欢迎来到
IT·陈寒·2023-08-25 22:03

轻量化模型：MobileNet/SqueezeNet/ShuffleNet

EfficientConvolutionalNeuralNetworksforMobileVisionApplications创新点轻量化体现在：深度可分离卷积（DepthwiseSeparableConvolution）两个模型压缩参数
HRain·2023-08-25 17:27

【论文阅读】2_A Survey on Model Compression and Acceleration for Pretrained Language Models

method：现在常用于模型压缩与加速的方法（列举经典论文和最近的发展）future：面临的挑战和未来发展方向论文信息ASurveyonModelCompressionandAccelerationforPretrainedLanguageModels
zoetu·2023-08-23 03:00

A Survey on Model Compression for Large Language Models

本文是LLM系列文章，关于模型压缩相关综述，针对《ASurveyonModelCompressionforLargeLanguageModels》的翻译。
UnknownBody·2023-08-23 03:28

MATLAB算法实战应用案例精讲-【深度学习】模型压缩

目录模型压缩概述1.为什么需要模型压缩2.模型压缩的基本方法Patient-KD1.Patient-KD简介
林聪木·2023-08-22 07:45

NNI(自动超参数搜索)工具环境配置及使用

NNI简介NNI(NeuralNetworkIntelligence)是一个轻量但强大的工具包，帮助用户自动的进行特征工程，神经网络架构搜索，超参调优以及模型压缩。
SHY_VWind·2023-08-13 19:13
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他