ML&DL-模型压缩

three模型压缩

一、模型压缩通过模型网格压缩，通过gltf配合Draco压缩的方式，可以在视觉效果近乎一致的情况下，让3D模型文件成倍缩小。
良诤·2023-12-17 02:34

GLB/GLTF 模型压缩轻量化

在线工具推荐：3D数字孪生场景编辑器-GLTF/GLB材质纹理编辑器-3D模型在线转换-Three.jsAI自动纹理开发包-YOLO虚幻合成数据生成器-三维模型预览图生成器-3D模型语义搜索引擎1、具有Draco压缩的GLTF和GLB文件格式随着对沉浸式3D体验的需求不断上升，文件格式的效率变得越来越重要。GLTF（图形库传输格式）和GLB（GLTF的二进制表示）已成为存储3D模型的流行选择，因为
ygtu2018·2023-12-15 05:10

14、Numpy字符串函数

此外，对“目标检测/模型压缩/语义分割”感兴趣的小伙伴，欢迎加入QQ群813221712讨论交流，进群请看群公告！（可以点击如下连接直接加入！）
phinoo·2023-12-05 03:00

阅读笔记 | Edge-Cloud Polarization and Collaboration: A Comprehensive Survey for AI

探讨了轻量级网络架构设计、模型压缩等技术来满足边缘计算的限制。边缘
一条独龙·2023-12-03 10:02

A.1[数据标注]：强烈推荐数据标注平台doccano----简介、安装、使用、踩坑记录

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：[NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-12-02 14:30

知识蒸馏（深度学习模型压缩）

模型压缩大体上可以分为5种：模型剪枝：即移除对结果作用较小的组件，如减少head的数量和去除作用较少的层，共享参数等，ALBERT属于这种；量化：比如将float32降到float8；知识蒸馏：将teacher
猿代码_xiao·2023-11-30 21:33

Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT---Q-BERT：基于Hessian的超低精度BERT量化

HessianBasedUltraLowPrecisionQuantizationofBERT---Q-BERT：基于Hessian的超低精度BERT量化Abstract1RelatedWorkModelcompression模型压缩
土豆娃potato·2023-11-30 19:29

用了这个方法，两周没变过的模型精度居然提升了（附资源）

作者|DerrickMwiti译者|刘畅编辑|Jane出品|AI科技大本营（ID：rgznai100）【导语】知识蒸馏是一种模型压缩技术，它利用训练好的大网络（教师网络）去教小网络（学生网络）。
AI科技大本营·2023-11-30 19:57

知识蒸馏—原理+代码实战(Distillation CNN 和 Progressive Distillation Diffusion)

ProgressiveDistillationDiffusion生成代码实战3.1ProgressiveDistillation原理3.2v-parameterization3.2渐进蒸馏cifar代码实战1.Distillation基本概念知识蒸馏被广泛的用于模型压缩和迁移学习
Yuezero_·2023-11-29 09:58

机器学习笔记五—机器学习攻击与防御

系列文章目录机器学习笔记一—机器学习基本知识机器学习笔记二—梯度下降和反向传播机器学习笔记三—卷积神经网络与循环神经网络机器学习笔记四—机器学习可解释性机器学习笔记五—机器学习攻击与防御机器学习笔记六—模型压缩文章目录系列文章目录前言一
江_小_白·2023-11-27 19:03

LLM 系列 | 05：ChatGPT Prompt的迭代优化

后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。
JasonLiu1919·2023-11-22 21:27

深度学习知识点一

5.简单的说一下YOLOV16.MobileNet用到的模型压缩手段是什么？7.简单的说一下注意力机制8.分割和分类的主要区别是什么？
spade_eddie·2023-11-22 14:15

自拍抠图抠到手软？详解如何用深度学习消除背景

哈工大刘挺：从知识图谱到事理图谱|CNCC2017ACL2018组委会名单出炉，多名华人学者入选TFLite只是故事的一部分，谷歌还一并介绍了新的模型压缩方法现场|第一届CoRL的
weixin_30679823·2023-11-21 12:47

A Survey on Model Compression for Large Language Models

关于大型语言模型模型压缩的调研迁移学习  在迁移学习中，子模型和父模型的网络架构可以是相同的，也可以是不同的。这取决于具体的迁移学习策略和任务需求。  
y94688·2023-11-21 10:39

首篇大模型压缩论文综述

首篇大模型压缩综述来啦！！！
卷心菜不卷Iris·2023-11-21 10:01

大模型压缩首篇综述来啦~~

巨大的存储与计算代价让有效的模型压缩成为一个亟待解决的
zenRRan·2023-11-21 10:28

BERT 模型蒸馏 TinyBERT

BERT的效果好，但是模型太大且速度慢，因此需要有一些模型压缩的方法。TinyBERT是一种对BERT压缩后的模型，由华中科技和华为的研究人员提出。
NLP与人工智能·2023-11-19 10:18

多GPU训练大型模型：资源分配与优化技巧 ｜ 英伟达将推出面向中国的改良芯片HGX H20、L20 PCIe、L2 PCIe

★大模型、人工智能；数据并行；模型并行；流水线并行；混合精度训练、梯度累积；模型卸载CPU；重算；模型压缩；内存优化版优化器；Nvidia；A100;H100；A800;H800;L40s；混合专家；910B
高性能服务器·2023-11-16 12:41

面向大规模神经网络的模型压缩和加速方法

©PaperWeekly原创·作者|林野单位|机器翻译学堂▎本文作者介绍：林野，东北大学自然语言处理实验室2019级博士生，研究方向：机器翻译、模型压缩、模型加速。
PaperWeekly·2023-11-15 17:31

视觉算法知识荟萃

文章目录视觉算法知识荟萃视觉算法八股模型压缩量化参数剪枝参数蒸馏可分离卷积在端侧部署时性能不足，如何在不改变网络结构的情况下优化性能FP32转FP8浮点数定点化的方式非对称量化高斯分布ToF相机和结构光相机原理测量原理常见相机针孔相机模型激光雷达投影到
howtoloveyou·2023-11-14 13:27

一文带你读懂非结构化稀疏模型压缩和推理优化技术

非结构化稀疏是一种常见的模型压缩策略。本文中，我们将分享一套基于飞桨（PaddlePaddle）的非结构化稀疏训练和推理的端到端系统，以及为保证训练精度与推理速度而做的优化策略。
飞桨PaddlePaddle·2023-11-14 08:57

【YOLOv5】【模型压缩与加速】【量化】FP32、FP16、INT8

量化是将模型参数的存储类型从高精度存储降到低精度存储，从而达到减小模型体积大小、加快模型推理速度的效果。目录FP32量化FP16量化INT8量化FP32量化这个直接使用yolov5的export导出32位存储的engine格式模型即可pythonexport.py--weightsruns/train/exp4/weights/best.pt--includeonnxengine--device0
Ye-Maolin·2023-11-12 19:35

对知识蒸馏的一些理解

知识蒸馏是一种模型压缩技术，它通过从一个大模型（教师模型）中传输知识到一个小模型（学生模型）中来提高学生模型的性能，知识蒸馏也要用到真实的数据集标签。
重剑DS·2023-11-11 17:38

11、（复现）openvino 扑克检测模型，ssd_mobilenet轻量级模型，ssd+tensorflow，pytorch+yolov5，转openvino加速，onnx使用及网络架构的摘除转化

ssdlite_mobilenet转为openvino、cpu级别的加速、yolov5转为openvino、tensorflow+ssd训练数据、pytorch+yolov5训练数据、yolov5、SSD目标检测模型、模型压缩
金城武555·2023-11-11 07:09

面向深度学习的弹载图像处理异构加速现状分析

源自：航空兵器作者：陈栋,田宗浩摘要本文分析了深度学习算法向工程应用转化存在的问题,结合陆军智能弹药的特点和发展趋势,分别从深度学习模型压缩、量化,硬件平台加速设计以及异构加速框架设计等方面进行研究,提出了面向深度学习的弹载图像处理异构加速体系
renhongxia1·2023-11-06 18:13

量化、蒸馏、分解、剪枝

量化、蒸馏、分解和剪枝都是用于深度学习模型压缩和优化的算法。量化是一种用于减少深度学习模型计算量和内存消耗的技术。
Nancy-sn·2023-11-05 12:23

LLM系列 | 03：实测讯飞星火、文心一言、bing chat和chatgpt

后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。今天这篇小作文主要是为了庆祝网上铺天盖地高呼666和999的讯飞版ChatGPT：星火的诞生。
JasonLiu1919·2023-11-04 18:46

【深度学习】【pytorch】对卷积层置零卷积核进行真实剪枝

深度学习剪枝(Pruning)具有以下几个好处：1.模型压缩和存储节省；2.计算资
牙牙要健康·2023-11-03 07:52

28.深度学习模型压缩方法-2

28.1典型剪枝方法对比剪枝方法修剪对象修剪方式效果DeepCompression权重随机修剪50倍压缩StructuredPruning权重组稀疏+排他性稀疏性能提升NetworkSlimming特征图通道根据尺度因子修剪节省计算资源mProp梯度修剪幅值小的梯度加速28.2网络蒸馏网络精馏是指利用大量未标记的迁移数据(transferdata),让小模型去拟合大模型,从而让小模型学到与大模型相
大勇任卷舒·2023-11-02 22:22

DeepSpeed-MoE:训练更大及更复杂的混合专家网络

所以论文提出了一个端到端的MoE训练和推理解决方案DeepSpeed-MoE：它包括新颖的MoE架构设计和模型压缩技术，可将MoE模型大小减少3.7倍；
数据派THU·2023-11-02 09:36

YOLOv8改进之C2f模块融合CVPR2023 SCConv

虽然过去用于改善网络效率的各种模型压缩策略和网络设计，包括网络剪枝、权重量化、低秩分解和知识蒸馏等。然而，这些方法都被视为后处理步骤，因此它们的性能通常受到给定初始模型的上限约束。而网络设计另辟
山河亦问安·2023-11-01 13:33

GhostNet（CVPR 2020）学习笔记 （附代码）

Ghostmodule是一种模型压缩的方法，它可以在保证网络精度的同时减少网络参数和计算量，从而提升计算速度和降
无妄无望·2023-11-01 10:20

27.深度学习模型压缩方法-1

目前深度学习模型压缩方法主要分为更精细化模型设计、模型裁剪、核的稀疏化、量化、低秩分解、迁移学习等方法，而这些方法又可分为前端压缩和后端压缩27.1前端压缩和后端压缩对比对比项目前端压缩后端压缩含义不会改变原始网络结构的压缩技术会大程度上改变原始网络结构的压缩技术主要方法知识蒸馏
大勇任卷舒·2023-10-29 21:57

专攻yolo目标检测但是创新点缺乏的同学看过来

YOLO的模型压缩方法最新综述18页综述，108篇文献!YOLO使用者和写(shui)论文者必看!
xuxu1116·2023-10-28 11:29

C.3 知识图谱项目实战(一)：瑞金医院MMC人工智能辅助构建知识图谱--初赛实体识别

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：[NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-10-28 04:38

大模型知识蒸馏概述

来自：吃果冻不吐果冻皮进NLP群—>加入NLP交流群近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本
zenRRan·2023-10-28 00:38

CRD3 小陈读paper

这个比较适合看图Experiments我们在三个知识蒸馏任务中评估我们的对比表示蒸馏(CRD)框架：（a）大型网络的模型压缩到较小的网络；(b)跨模态知识转移；(c)从一组教师到单个学生网络的集成蒸馏。
：）�东东要拼命·2023-10-27 09:08

10月26日，每日信息差

据联想介绍，其人工智能个人电脑能够创建个性化的本地知识库，通过模型压缩技术运行个人大模
今日信息差·2023-10-26 17:46

联邦学习笔记（五）：联邦学习模型压缩提升通讯效率

联邦学习模型压缩联邦学习流程数据处理模型构造模型压缩函数模型广播和聚合函数模型训练其他函数结果模型准确率和loss值模型准确率模型loss值联邦学习传输数据量广播时需要传输的数据量聚合时需要传输的数据量实验总结写在前面
young_monkeysun·2023-10-24 11:48

微软开源mlsys库之NNI

一、总览NNI(NeuralNetworkIntelligence)是一个轻量但强大的工具包，帮助用户自动的进行特征工程，神经网络架构搜索，超参调优以及模型压缩。
加油11dd23·2023-10-24 01:43

关于NLP相关技术全部在这里：预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、深度学习、语法分析、文本处理...

NLP近几年非常火，且发展特别快。像BERT、GPT-3、图神经网络、知识图谱等技术应运而生。我们正处在信息爆炸的时代、面对每天铺天盖地的网络资源和论文、很多时候我们面临的问题并不是缺资源，而是找准资源并高效学习。但很多时候你会发现，花费大量的时间在零零散散的内容上，但最后发现效率极低，浪费了很多宝贵的时间。为了迎合大家学习的需求，我们这次重磅推出了《自然语言处理终身升级版》。课程覆盖了从经典的机
Amusi（CVer）·2023-10-23 13:15

BERT 模型蒸馏 Distillation BERT

因此有不少针对BERT模型压缩的研究，其中模型蒸馏Distillation是一种比较好的解决方法，本文介绍两种基于模型蒸馏的BERT模型压缩方法。1.前言各种模型的大小上
NLP与人工智能·2023-10-23 11:24

推理引擎之模型压缩浅析

目录前言1.模型压缩架构和流程介绍2.低比特量化原理2.1量化基础介绍2.2量化方法2.3量化算法原理2.4讨论3.感知量化训练QAT原理3.1QAT原理3.2量化算子插入3.3QAT训练流程3.4QAT
爱听歌的周童鞋·2023-10-22 22:23

知识蒸馏学习

一.知识蒸馏综述1.简介大模型在部署到资源有限的设备上（手机、嵌入式设备等）会遇到体积和速度问题，知识蒸馏作为有代表性的模型压缩和加速的技术之一（其他还有：参数裁剪和共享、低秩分解和Transferredcompactconvolutionalfilters
AKA老实人·2023-10-22 14:15

YOLOv5改进实战 | 更换主干网络Backbone（四）之轻量化模型MobileNetV3

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-22 13:45

YOLOv5改进实战 | GSConv + SlimNeck双剑合璧，进一步提升YOLO！

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-22 13:45

YOLOv8改进实战 | 更换主干网络Backbone（四）之轻量化模型MobileNetV3

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-22 13:44

YOLOv5改进实战 | 更换主干网络Backbone（三）之轻量化模型Shufflenetv2

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-22 13:10

YOLOv8改进实战 | 更换主干网络Backbone（三）之轻量化模型ShuffleNetV2

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-21 06:23

YOLOv8改进实战 | 更换主干网络Backbone（二）之轻量化模型GhostnetV2

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-20 16:09
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他