论文笔记——模型压缩

[论文笔记]MobileBERT

引言今天带来一篇关于量化的论文MobileBERT，题目翻译过来是：一种适用于资源有限设备的紧凑型任务无关BERT模型。模型的简称是MobileBERT，意思是作者的这个BERT模型可以部署到手机端。本篇工作，作者提出了MobileBERT用于压缩和加速BERT模型。与原始BERT一样，MobileBERT也是任务无关的，即它仅需简单的微调就能广泛地应用于不同的下游任务。本质上，MobileBER
愤怒的可乐·2023-10-23 20:25

关于NLP相关技术全部在这里：预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、深度学习、语法分析、文本处理...

NLP近几年非常火，且发展特别快。像BERT、GPT-3、图神经网络、知识图谱等技术应运而生。我们正处在信息爆炸的时代、面对每天铺天盖地的网络资源和论文、很多时候我们面临的问题并不是缺资源，而是找准资源并高效学习。但很多时候你会发现，花费大量的时间在零零散散的内容上，但最后发现效率极低，浪费了很多宝贵的时间。为了迎合大家学习的需求，我们这次重磅推出了《自然语言处理终身升级版》。课程覆盖了从经典的机
Amusi（CVer）·2023-10-23 13:15

BERT 模型蒸馏 Distillation BERT

因此有不少针对BERT模型压缩的研究，其中模型蒸馏Distillation是一种比较好的解决方法，本文介绍两种基于模型蒸馏的BERT模型压缩方法。1.前言各种模型的大小上
NLP与人工智能·2023-10-23 11:24

GLIP & DetCLIP

1GLIP:十分钟解读GLIP：GroundedLanguage-ImagePre-training-知乎GroundedLanguage-ImagePre-training（GLIP）论文笔记-知乎GLIP
qq_478377515·2023-10-23 07:37

论文笔记：Multi-Concept Customization of Text-to-Image Diffusion

0概述论文：Multi-ConceptCustomizationofText-to-ImageDiffusion源代码和数据：https://www.cs.cmu.edu/~custom-diffusion/当生成模型生成从大规模数据库中学习的概念的高质量图像时，用户通常希望合成他们自己的概念的实例(例如，他们的家庭，宠物或物品)。我们能教一个模型快速掌握一个新概念吗，给出几个例子?此外，我们能否
HenrySmale·2023-10-23 00:58

推理引擎之模型压缩浅析

目录前言1.模型压缩架构和流程介绍2.低比特量化原理2.1量化基础介绍2.2量化方法2.3量化算法原理2.4讨论3.感知量化训练QAT原理3.1QAT原理3.2量化算子插入3.3QAT训练流程3.4QAT
爱听歌的周童鞋·2023-10-22 22:23

基于AI恶意软件分类技术（5）

年恶意软件分类综述：Malwareclassificationandcompositionanalysis:Asurveyofrecentdevelopments恶意软件的分类和成分分析：对最新发展的调查阅读论文笔记原文链接
Mo neyking·2023-10-22 22:52

论文笔记 -《REALM: Retrieval-Augmented Language Model Pre-Training》

1、前言2019年可以说是语言模型快速发展的一年，BERT、XLNET、Albert等等模型不断刷新各个NLP榜单。在NLP榜单中比较引人注目的应该属于阅读理解型的任务，例如SQuAD等等。以SQuAD为例，模型需要阅读一段给定的文本，然后回答几个问题，问题如果存在答案，答案一定可以在文章中找到。所以说虽然叫阅读理解，但其实和序列标注有点相像，是在给定序列中标出答案段。而这篇论文针对的问题叫开放领
*Lisen·2023-10-22 20:27

【论文笔记】GPT-2 通用语言模型的一粒飞弹

代码传送带：https://github.com/openai/gpt-2论文传送带：https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf题外话，在机器学习领域，我们经常说的一句话是NOFREELUNCH，意味着在大众认知里所有的TASK都有相应的解决系统，而互相之间不存在一种通用的学习模型能够
Mango_Holi·2023-10-22 16:40

[论文笔记]GPT-2

引言今天继续GPT系列论文，这次是LanguageModelsareUnsupervisedMultitaskLearners，即GPT-2，中文题目的意思是语言模型是无监督多任务学习器。自然语言任务，比如问答、机器翻译、阅读理解和摘要，是在任务相关数据集上利用监督学习的典型方法。作者展示了语言模型在训练名为WebText的新数据集时，即使是无监督，也能开始学习这些任务。基于一个文档和问题的情况下
愤怒的可乐·2023-10-22 16:39

【论文笔记】Bag of Tricks for Efficient Text Classification

这篇文章写的是Facebook推出的FastText，能够快速在海量文本数据上进行分类任务和表示学习，可以用一个普通的多线程CPU在十分钟内训练百万级的语料，一分钟内将五十万文本分类到三十万个类别中。最近几年深度学习在NLP任务上虽取得了显著地成就，但此类模型无论是训练还是测试阶段都因过长的时间消耗很难应用在更大的语料数据上。与此同时一些简单的线性模型在保持速度效率的同时也有不俗的表现，如Word
theoreoeater·2023-10-22 14:34

知识蒸馏学习

一.知识蒸馏综述1.简介大模型在部署到资源有限的设备上（手机、嵌入式设备等）会遇到体积和速度问题，知识蒸馏作为有代表性的模型压缩和加速的技术之一（其他还有：参数裁剪和共享、低秩分解和Transferredcompactconvolutionalfilters
AKA老实人·2023-10-22 14:15

YOLOv5改进实战 | 更换主干网络Backbone（四）之轻量化模型MobileNetV3

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-22 13:45

YOLOv5改进实战 | GSConv + SlimNeck双剑合璧，进一步提升YOLO！

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-22 13:45

YOLOv8改进实战 | 更换主干网络Backbone（四）之轻量化模型MobileNetV3

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-22 13:44

YOLOv5改进实战 | 更换主干网络Backbone（三）之轻量化模型Shufflenetv2

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-22 13:10

【论文笔记】RAFT: Recurrent All-Pairs Field Transforms for Optical Flow（ECCV 2020）

关键词：光流估计、端到端训练、迭代优化、GRU一种新的适用于光流的端到端可训练的模型。独特之处在于它使用大量轻量级、循环更新算子以单一分辨率运行。在各种数据集上实现了最好的精度，强大的跨数据集泛化能力，并且在推断时间、参数总数和训练迭代方面非常有效。创新点：RAFT以高分辨率保持和更新单个固定的光流场；RAFT的更新算子是循环的、轻量级的，并且共享权重；更新算子由一个卷积GRU组成，在4D多尺度相
李加号pluuuus·2023-10-21 18:54

《RAFT：Recurrent All-Pairs Field Transforms for Optical Flow》论文笔记

参考代码：RAFT作者主页：ZacharyTeed1.概述导读：这篇文章提出了一种新的光流估计pipline，与之前介绍的PWC-Net类似其也包含特征抽取/correlationvolume构建操作。在这篇文章中为了优化光流估计，首先在correlationvolume的像素上进行邻域采样得到lookups特征（增强特征相关性，也可以理解为感受野），之后直接使用以CNN-GRU为基础的迭代优化网
m_buddy·2023-10-21 18:20

[论文笔记] MapTR: Structured modeling and learning for online vectorized hd map construction

Liao,Bencheng,etal.“Maptr:Structuredmodelingandlearningforonlinevectorizedhdmapconstruction.”arXivpreprintarXiv:2208.14437(2022).要点总结:MapTR将地图元素(路沿,车道线,人行横道等)分成两类—线和多边形,然后使用DETR策略对每个实例预测出一个数量为N的点集,接着让
zhwangye·2023-10-21 14:30

[论文笔记] SurroundOcc: Multi-Camera 3D Occupancy Prediction for Autonomous Driving

Wei,Yi,etal.“Surroundocc:Multi-camera3doccupancypredictionforautonomousdriving.”ProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision.2023.重点记录将占用网格应用到多个相机构成的3D空间中;使用BEVFormer中的方法获取3D特征,然后使用
zhwangye·2023-10-21 13:26

YOLOv8改进实战 | 更换主干网络Backbone（三）之轻量化模型ShuffleNetV2

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-21 06:23

多源信息融合技术研究综述

多源信息融合技术研究综述论文笔记一、主要内容1.摘要：多源信息融合即基于多种(同类或异类)信息源，根据某个特定标准在空间或时间上进行组合，获得被测对象的一致性解释或者描述，并使得该信息系统具有更好的性能
科研需要动力·2023-10-20 22:43

[论文笔记]GPT1

引言今天带来论文ImprovingLanguageUnderstandingbyGenerativePre-Training的笔记，它的中文题目为：通过生成式预训练改进语言理解。其实就是GPT的论文。自然语言理解可以应用于大量NLP任务上，比如文本蕴含、问答、语义相似和文档分类。虽然无标签文本语料是丰富的，但是用于训练这些特定任务的有标签文本语料是匮乏的，使得区分性训练模型难以表现出足够的性能。作
愤怒的可乐·2023-10-20 21:15

YOLOv8改进实战 | 更换主干网络Backbone（二）之轻量化模型GhostnetV2

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-20 16:09

YOLOv8改进实战 | 更换主干网络Backbone（一）之轻量化模型Ghostnet

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-20 14:55

[论文笔记]Sentence-BERT[v2]

引言本文是SBERT(Sentence-BERT)论文1的笔记。SBERT主要用于解决BERT系列模型无法有效地得到句向量的问题。很久之前写过该篇论文的笔记，但不够详细，今天来重新回顾一下。BERT系列模型基于交互式计算输入两个句子之间的相似度是非常低效的(但效果是很好的)。当然可以通过批数据优化，将query和多个待比较句子分别拼接成批大小内的样子一次输入，是可以同时计算批大小个样本之间的相似度
愤怒的可乐·2023-10-20 13:30

YOLOv8改进实战 | 更换主干网络Backbone之轻量化模型Efficientvit

下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-20 11:03

多标签分类论文笔记 | Combining Metric Learning and Attention Heads...（MLD-TResNet-L-AAM/GAT+AAM）

个人论文精读笔记，主要是翻译+心得，欢迎旁观，如果有兴趣可以在评论区留言，我们一起探讨。Paper:https://arxiv.org/pdf/2209.06585v2.pdfCode:https://github.com/openvinotoolkit/deep-object-reid/tree/multilabel文章目录0.摘要1.介绍2.相关工作3.方法3.1模型架构3.2Transfor
Thomas_Cai·2023-10-20 02:56

多标签分类论文笔记 | CAUSALITY COMPENSATED ATTENTION FOR CONTEXTUAL BIASED VISUAL RECOGNITION

个人论文精读笔记，主要是翻译+心得，欢迎旁观，如果有兴趣可以在评论区留言，我们一起探讨。Paper:https://openreview.net/pdf?id=8XqDnrmZQNFCode:https://github.com/yu-gi-oh-leilei/IDA_2023ICLR文章目录摘要1介绍3.初步结论:语境偏见中的因果关系4.方法4.1类感知层4.2因果关系的干预4.3采样和重加权层
Thomas_Cai·2023-10-20 02:56

linux上在docker中使用anaconda创建虚拟环境

论文笔记参考：多标签分类论文笔记|CombiningMetricLearningandAttentionHeads…MLD-TResNet-L-AAM/GAT+AAM)1.安装anaco
Thomas_Cai·2023-10-20 02:23

Compressed Video Action Recognition论文笔记

该文章是首篇，在行为识别领域中，用压缩视频进行深度网络训练的论文。文中阐述了将压缩视频用于行为识别理由；作者尝试的过程及实验结果。视频压缩感知重构时利用到了帧间的差异。帧间的差异与运动向量以及帧间残差有关，将运动向量及残差作为网络的输入，减少网络建模时序运动信息的难度；同时压缩的视频减少了冗余信息，易于训练。摘要：由于视频的size大及时序信息的冗余，深度的视频学习任务训练要比图像的表示学习要难得
Loopz·2023-10-20 02:13

《Fault Localization with Code Coverage Representation Learning》论文笔记

论文来源：ICSE-2021论文链接：https://arxiv.org/abs/2103.00270论文github：https://github.com/deeprl4fl2021icse/deeprl4fl-2021-icse 第一次看基于测试用例（即基于代码覆盖，突变测试）来定位代码缺陷的方法，下文有些地方是论文里没细讲，我做了些补充，主要说下论文的原理，实验不细讲。⭐主要内容： 主要就是
#苦行僧·2023-10-19 17:47

2019-Photo_Cropping_via_Deep_Reinforcement_Learning论文笔记

2019-Photo_Cropping_via_Deep_Reinforcement_Learning论文笔记摘要1简介现有裁剪方法的介绍和不足本文提出的裁剪方法(DLRL)2相关工作主流的两类自动图像裁剪方法滑动窗口裁剪方法的优化
JBY-ZQ·2023-10-19 04:30

TransE 论文笔记

TranslatingEmbeddingsforModelingMulti-relationalData-Abstract-Background-ALgorithm-Experiment-Conclusion-Abstract在低位向量空间中，嵌入多关系数据的实体与关系。提出一个规范模型，易于训练，包含较少的参数，并且可以扩展到非常大的数据库。TransE就是在低维嵌入中，一种通过对实体进行翻译来
懒狗的救赎·2023-10-19 03:05

类别感知目标计数：Class-aware Object Counting 论文笔记

类别感知目标计数：Class-awareObjectCounting论文笔记一、Abstract二、引言三、相关工作3.1R-CNN3.2Context-awarecrowdcounting3.3CrowdFPN
乄洛尘·2023-10-19 02:17

【论文笔记】Graph WaveNet for Deep Spatial-Temporal Graph Modeling

GraphWaveNetforDeepSpatial-TemporalGraphModeling摘要现有模型大多是基于固定的图结构，但由于数据的损失可能导致某些truedependency丢失。现有方法对捕获时间趋势不是很有效，因为RNN和CNN不能捕获长时间序列。GWN是通过更新一个自适应依赖矩阵，从而来捕获隐藏的空间依赖。GWN使用堆叠的1D卷积分结构，来使接受域不断扩大，从而使得模型可以处理
lokol.·2023-10-19 00:10

论文笔记《Graph WaveNet for Deep Spatial-Temporal Graph Modeling》

Abstract现存问题：在捕获空间依赖性方面。大多在固定图上捕获空间依赖关系，这种固定图结构不一样反映真实依赖关系，而真实依赖关系可能由于不完整的邻接关系而丢失。在捕获时间依赖性方面。RNNs/CNNs等在捕获长程的时间序列时，效果不太好。本文解决方法：提出自适应邻接矩阵，并通过节点嵌入学习它堆叠空洞1D卷积，感受野随着堆叠层数增加而指数级增加，进而捕获长程关系1.Introduction时空图
mintminty·2023-10-19 00:33

论文笔记：DTP: Deadline-aware Transport Protocol

摘要越来越多的应用对数据交付有期限要求，例如360°视频、云VR游戏和自动驾驶。这些应用程序通常非常需要带宽。幸运的是，这些应用程序的数据可以分成多个具有不同优先级的块，从而可以通过优先处理一些块来减少带宽消耗。然而，现有的传输层太原始，无法实现这一点。因此，这些应用程序被迫构建自己定制的复杂轮子。在这项工作中，我们提出了截止日期感知传输协议(DTP)来提供截止日期前交付（deliver-befo
斜渡凛·2023-10-18 23:34

论文笔记：No Provisioned Concurrency: Fast RDMA-codesigned Remote Fork for Serverless Computing 中

论文笔记：NoProvisionedConcurrency:FastRDMA-codesignedRemoteForkforServerlessComputing中接上篇->地址：论文笔记（上）4TheMITOSISOperatingSystemPrimitive
斜渡凛·2023-10-18 23:03

论文笔记：No Provisioned Concurrency: Fast RDMA-codesigned Remote Fork for Serverless Computing 上

Serverless论文笔记——NoProvisionedConcurrency:FastRDMA-codesignedRemoteForkforServerlessComputing上***MITOSIS
斜渡凛·2023-10-18 23:03

论文笔记：No Provisioned Concurrency: Fast RDMA-codesigned Remote Fork for Serverless Computing 下

论文笔记：NoProvisionedConcurrency:FastRDMA-codesignedRemoteForkforServerlessComputing下6BringingMITOSIStoServerlessComputing
斜渡凛·2023-10-18 23:33

【论文笔记】--目标检测算法在交通场景中应用综述

目标检测算法在交通场景中应用综述摘要  总结目标检测算法发展与研究现状，one-step与two-step优缺点对比，以车、人、非机动车为目标，从传统检测方法、目标检测算法、目标检测算法优化、三维目标检测、多模态目标检测、重识别六个方面分别论述和总结。  交通场景是目标检测领域热点，传统方法复杂、精度低，深度学习方法发展。目标检测分为基于候选区域（two-step）和基于回归（one-step）两
~不二~·2023-10-18 21:12

【量化】量化原理浅析

基本方向为模型压缩和加速，着力于减少网络参数量、降低计算复杂度。
magic_ll·2023-10-18 07:40

知识蒸馏（Knowledge Distillation）简述

KnowledgeDistillation）简述结论Reference：DistillingtheKnowledgeinaNeuralNetwork知识蒸馏（KnowledgeDistillation）简述（一）知识蒸馏被广泛用于模型压缩和迁移学习当中
泠山·2023-10-17 16:06

论文笔记[156]PARAFAC. tutorial and applications

原文下载：https://www.sciencedirect.com/science/article/abs/pii/S0169743997000324摘要本文介绍了PARAFAC的多维分解方法及其在化学计量学中的应用。PARAFAC是PCA向高阶数组的推广，但该方法的一些特性与普通的二维情况截然不同。例如，可以从多维光谱数据(multi-wayspectraldata)中恢复出纯光谱（pures
holeer·2023-10-17 06:26

什么是BIM轻量化

BIM轻量化技术是指工程建筑BIM模型建立后(使用专业)BIM例如，建模软件AutodeskRevit,BentleyMicroStation,DSCatia等)，通过对BIM模型压缩处理等技术手段BIM
波波仔86·2023-10-17 03:57

【论文笔记】A Survey of Hallucination in “Large” Foundation Models

总述基础模型（FoundationModels）指的是通过自监督学习在大量未标记数据上训练的大规模AI模型，能够在各种各样的任务中表现出色。在基础模型的背景下,幻觉（Hallucination）是指模型生成的内容不是基于事实或准确信息的情况。当模型生成的文本包括虚构的、误导性的、或完全捏造的细节、事实或主张,而不是提供可靠和真实的信息时,就会发生幻觉。之所以会出现这个问题,是因为模型能够根据它从训
夏离·2023-10-17 03:45

【论文笔记】LLM-Augmenter

github：https://github.com/pengbaolin/LLM-Augmenter（暂无处readme外其他文件）paper：https://arxiv.org/pdf/2302.12813.pdf![在这里插入图片描述](https://img-blog.csdnimg.cn/24cba6213c0f4c00a5646eb9007b3aa2.png#pic_center背景大语
夏离·2023-10-17 03:43

论文笔记 | RecSys2016 | Deep Neural Networks for YouTube Recommendations

youtube-dnn-title.png论文地址：https://research.google.com/pubs/archive/45530.pdf一为什么读这篇其实当年在微博做视频推荐时就这篇刚出来时就看过，只不过那时刚接触深度学习，有好多点也没get到，现在经过一些沉淀，知道dl是怎么玩的了，另外以现在这个时间点看，才知道这篇的工作是非常有影响力的，现在很多上了深度学习推荐系统的公司都参考
ktulu7·2023-10-17 00:39

3500/15 106M1079-01 支持先进和复杂的人工智能计算

耐能NPUIP为edgeAI提供完整的硬件解决方案，包括硬件IP、编译器、模型压缩。
zhang13365909307·2023-10-16 17:50
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他