论文笔记——模型压缩

论文笔记--LIMA: Less Is More for Alignment

论文笔记--LIMA:LessIsMoreforAlignment1.文章简介2.文章概括3文章重点技术3.1表面对齐假设(SuperfacialAlignmentHypothesis)3.2对齐数据3.3
Isawany·2023-06-13 22:16

模型压缩- 剪枝/量化/蒸馏/AutoML

原因深度学习训练得到的网络复杂度高，参数冗余。解决方式（1）线性或非线性量化（2）结构或非结构剪枝（3）网络结构搜索（4）权重矩阵的低秩分解（5）蒸馏目的优化精度、性能、存储……使得可以在一些场景和设备上进行相应模型的部署。剪枝1、剪枝位置的判定一般根据权重。权重越小，证明该神经元的作用越小。2、剪枝的方式：删去网络层上的权重的向量/整个神经元/单个像素（数据）。由于矩阵操作的并行化，减去单个像素
NCU_wander·2023-06-13 16:23

论文笔记：NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction

文章目录idea概述SDF与渲染之间如何建立联系？渲染的数学表述为什么需要更精妙的加权函数？为什么直接使用naivesolution是不行的？因此做了什么样的改进？如何做离散化？小结训练损失函数分层采样实验实验设置数据集baseline实现细节结果对比分析结论论文名称：NeuS:LearningNeuralImplicitSurfacesbyVolumeRenderingforMulti-view
F_L_O_W·2023-06-13 07:03

图像去雨DRD-Net论文笔记

论文题目：DRD-Net:Detail-recoveryImageDerainingviaContextAggregationNetworks发表会议：CVPR2020作者：SenDeng,MingqiangWei,JunWang,LumingLiang,HaoranXie,andMengWang1、目的图像去雨，作者指出现有的去雨的方法在去雨的过程中尤其是暴雨天气会容易将雨纹和图像的细节一同去除
'楓·2023-06-13 05:44

论文笔记--AlpacaFarm: A Simulation Framework for Methods that Learn from Human Feedback

论文笔记--AlpacaFarm:ASimulationFrameworkforMethodsthatLearnfromHumanFeedback1.文章简介2.文章概括3文章重点技术3.1数据集3.2LPF
Isawany·2023-06-12 18:48

论文笔记--SimCSE: Simple Contrastive Learning of Sentence Embeddings

论文笔记--SimCSE:SimpleContrastiveLearningofSentenceEmbeddings1.文章简介2.文章概括3文章重点技术3.1对比学习ContrastiveLearning3.2UnsupervisedSimCSE3.3SupervisedSimCSE3.4Anisotropy3.5AlignmentandUniformity4
Isawany·2023-06-12 18:48

论文笔记--Evaluating Large Language Models Trained on Code

论文笔记--EvaluatingLargeLanguageModelsTrainedonCode1.文章简介2.文章概括3文章重点技术3.1评估3.2模型训练--Codex3.3微调模型--Codex-S3.4
Isawany·2023-06-12 18:47

论文笔记--Training language models to follow instructions with human feedback

论文笔记--Traininglanguagemodelstofollowinstructionswithhumanfeedback1.文章简介2.文章导读2.1概括2.2文章重点技术2.2.1SupervisedFine-Tune
Isawany·2023-06-12 18:17

论文笔记--GPT-4 Technical Report

论文笔记--GPT-4TechnicalReport1.报告简介2.报告概括3报告重点内容3.1PredictableScaling3.2Capabilities3.3limitations3.3Risks
Isawany·2023-06-12 18:44

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。后续会持续把深度学习涉及知识原理分析给大家，让大家在项目实操的同时也能知识储备，知
汀、人工智能·2023-06-12 14:18

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：智能标注、多分类算法、文本信息抽取等

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等1.N-GramN-Gram是一种基于统计语言模型的算法
·2023-06-12 11:50

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：智能标注、多分类算法、文本信息抽取等

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等1.N-GramN-Gram是一种基于统计语言模型的算法
·2023-06-12 11:47

论文笔记_2021_IROS_一种变化环境下的lifelong定位与建图框架

目录基本情况摘要1.引言2.相关工作A.LifelongSLAMB.姿态图稀疏化（PoseGraphSparsification）
惊鸿一博·2023-06-12 04:03

深度学习模型压缩与优化加速

1.简介深度学习（DeepLearning）因其计算复杂度或参数冗余，在一些场景和设备上限制了相应的模型部署，需要借助模型压缩、系统优化加速、异构计算等方法突破瓶颈，即分别在算法模型、计算图或算子优化以及硬件加速等层面采取必要的手段
老了敲不动了·2023-06-11 10:59

论文笔记（三十）：Counter-Hypothetical Particle Filters for Single Object Pose Tracking

Counter-HypotheticalParticleFiltersforSingleObjectPoseTracking文章概括摘要I.简介II.相关工作A.机器人的物体姿态估计和跟踪B.鲁棒性的粒子滤波III.背景：粒子滤波A.粒子滤波B.粒子剥夺和粒子重振IV.反假设粒子滤波A.反假设重取样B.6D姿势估计的反假设可能性V.实验A.基线VI.结果VII.结论文章概括作者：Elizabeth
墨绿色的摆渡人·2023-06-11 02:10

10.14传统电流采样以及PWM占空比更新方式研究

哎，好像又要失业加上失学了~话不多说，开始今天的论文笔记整理：PWM控制技术以其控制简单，灵活和动态响应好的优点而成为电力电子技术最广泛应用的控制方式。
Priscillaaaaa·2023-06-10 11:47

图像降噪网络：KBNet 论文笔记

0前言ZhangY,LiD,ShiX,etal.KBNet:KernelBasisNetworkforImageRestoration[J].arXivpreprintarXiv:2303.02881,2023.https://arxiv.org/abs/2303.02881论文主要提出了KernelBasisAttentionModule注意力模块，称为KBA模块。该模块可以轻松嵌入到现有的网络
峡谷相对论·2023-06-09 23:56

论文笔记: 可解释神经聚类 (鹏鹏专用)

摘要:分享对论文的理解,原文见XiPeng,YunfanLi,IvorW.Tsang,HongyuanZhu,JianchengLv,JoeyTianyiZhou,XAIBeyondClassification:InterpretableNeuralClustering,JournalofMachineLearningResearch22(2021)1–27.1.符号系统符号风格按照本贴作者的习惯
闵帆·2023-06-09 19:13

论文笔记：NetVLAD: CNN architecture for weakly supervised place recognition（转）

原文NetVLAD是一个较早的使用CNN来进行图像检索或者视频检索的工作，后续在此工作的基础上陆续出了很多例如NetRVLAD、NetFV、NetDBoW等等的论文，思想都是大同小异。一、图像检索VLAD和BoW、FisherVector等都是图像检索领域的经典方法，这里仅简介下图像检索和VLAD的基本思想。图像检索（实例搜索）是这样的一个经典问题：1、我们有一个图像数据库IiI_iIi，通过函数
Lavau·2023-06-09 12:59

论文笔记：（CVPR 2022）Local Texture Estimator for Implicit Representation Function

LocalTextureEstimatorforImplicitRepresentationFunction（CVPR2022）Paper：https://link.zhihu.com/?target=https%3A//ipl.dgist.ac.kr/LTE_cvpr.pdfCode:https://link.zhihu.com/?target=https%3A//github.com/jaew
倘若我问心无愧呢丶·2023-06-09 01:46

神经辐射场 (NeRF)

：https://arxiv.org/pdf/2003.08934.pdf代码：https://github.com/bmild/nerf参考文献：NeRF：用深度学习完成3D渲染任务的蹿红【NeRF论文笔记
LevenWang·2023-06-08 19:30

论文笔记--LLaMA: Open and Efficient Foundation Language Models

论文笔记--LLaMA:OpenandEfficientFoundationLanguageModels1.文章简介2.文章概括3文章重点技术3.1数据集3.2模型训练4.数值实验5.文章亮点6.原文传送门
Isawany·2023-06-08 04:52

论文笔记--Efficient Estimation of Word Representations in Vector Space

论文笔记--EfficientEstimationofWordRepresentationsinVectorSpace1.文章简介2.文章概括3文章重点技术3.1NNLM(NeuralNetworkLanguageModel
Isawany·2023-06-08 04:21

论文笔记--PANGU-α

论文笔记--PANGU-α:LARGE-SCALEAUTOREGRESSIVEPRETRAINEDCHINESELANGUAGEMODELSWITHAUTO-PARALLELCOMPUTATION1.文章简介
Isawany·2023-06-08 04:21

论文笔记--Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

论文笔记--Transformer-XL:AttentiveLanguageModelsBeyondaFixed-LengthContext1.文章简介2.文章概括3文章重点技术3.1Segment-LevelRecurrencewithStateReuse3.2
Isawany·2023-06-08 04:50

论文笔记--Deep contextualized word representations

论文笔记--Deepcontextualizedwordrepresentations1.文章简介2.文章概括3文章重点技术3.1BiLM(BidirectionalLanguageModel)3.2ELMo3.3
Isawany·2023-06-08 04:50

CVPR2023（论文笔记）

BoostingVerifiedTrainingforRobustImageClassificationsviaAbstraction基于抽象的鲁棒图像分类模型高效训练与验证方法：针对问题：深度神经网络在面对对抗性攻击时的鲁棒性问题提出了一种基于抽象的、经过认证的训练方法，用于提高深度神经网络对抗性攻击的鲁棒性；提出黑盒验证方法，该方法与神经网络的大小和架构无关，可扩展到任意类型的神经网络。具体方
白兔1205·2023-06-07 15:12

TimesNet：用于一般时间序列分析的时间二维变化模型（代码解析）

后面会推出自定义项目，以及使用NNI框架对模型关键参数进行调节，也可能会推出模型压缩等相关文章，如
羽星_s·2023-06-07 12:08

基于统计分析的卷积神经网络模型压缩方法

针对卷积神经网络中卷积层参数冗余,运算效率低的问题,从卷积神经网络训练过程中参数的统计特性出发,提出了一种基于统计分析裁剪卷积核的卷积神经网络模型压缩方法,在保证卷积神经网络处理信息能力的前提下,通过裁剪卷积层中对整个模型影响较小的卷积核对已训练好的卷积神经网络模型进行压缩
雪夜的星_e40c·2023-06-07 09:19

BERT泛读系列（三）—— ERNIE: Enhanced Language Representation with Informative Entities论文笔记

一、写在前面的话这篇论文发表于2019ACL，其主要思路是在BERT的基础上引入了知识（具体来说是实体向量），并且在预训练任务方面提出了Pre-trainingforInjectingKnowledge。在实验结果方面，ERNIE较bert在部分测评中有所提升，另外ERNIE还加入了EntityTyping和RelationClassification上的fine-tune，取得了不错的效果。二、
DataArk·2023-04-21 21:41

sinGAN论文笔记

BackgroundKnowledge基于推理的视觉理论：只根据图像数据本省不能对相对应的物体空间结构提供充分的约束，也就是说这是一个约束不充分的问题，因此为了理解图像的内容必须要有附加的约束条件（例如知道图中是哪一类物体的知识），利用附加的高层信息等额外信息，可以去除多义性解释的通用约束。图像先验(ImagePrior):就是我们已知的关于图像的各种属性信息，可以用来减少可行解的数量。图像块(I
hohotiger·2023-04-21 19:57

【论文笔记】【Faster Rcnn 优化】《Light-Head R-CNN: In Defense of Two-Stage Object Detector》

论文：https://arxiv.org/abs/1711.07264代码：GitHub-zengarden/light_head_rcnn:Light-HeadR-CNN1.概述我们一般将Objectdetection分为两大系列：一类是two-stagedetector：代表算法有FasterRCNN,MaskRCNN等算法分两阶段进行，第1阶段是生成proposals，第2阶段是对这些pro
硝烟_1994·2023-04-21 18:19

MODRL/D-AM论文笔记

MODRL/D-AM论文总结模型流程图模型训练流程图：结合NSGA-II流程图：一、问题的定义1.VRPTW定义一个vrptw类：classVRPTW(boject)classVRPTW(object):2.问题的状态定义StateVRPTW类classStateVRPTW(NamedTuple):3.问题数据集VRPTWDataSet定义VRPTWDataSet类classVRPTWDatase
Xxwl.·2023-04-21 17:26

舌头语义分割调研

=参考资料基于DCNN和全连接CRF的舌图像分割算法[论文笔记]AutomaticTongueImageMatting-知乎
思考实践·2023-04-21 11:57

DN-DETR 论文笔记

DN-DETR:AccelerateDETRTrainingbyIntroducingQueryDeNoisingDN-DETR:AccelerateDETRTrainingbyIntroducingQueryDeNoisingDN-DETR:AccelerateDETRTrainingbyIntroducingQueryDeNoisingWhyDenoisingacceleratesDETRtr
什度学习·2023-04-21 11:40

【NLP论文笔记】Glove: Global Vectors for Word Representation（Glove词向量理解）

本文主要用于记录斯坦福nlp组发表于2014年的一篇论文（引用量直破5k）。该论文提出的Glove词向量也是自Word2vec推出后另一个比较有影响力的词向量生成方法。本笔记主要为方便初学者快速入门，以及自我回顾。论文链接：https://www.aclweb.org/anthology/D14-1162Github:https://github.com/stanfordnlp/GloVe课程链接
蘑菇轰炸机·2023-04-21 01:52

[目标识别-论文笔记]Object Detection in Videos by Short and Long Range Object Linking

文章标题：2018_Cite=13_Tang——ObjectDetectioninVideosbyShortandLongRangeObjectLinking这篇论文也被叫做“2019_Cite=91_TPAMI_Tang——ObjectDetectioninVideosbyHighQualityObjectLinking”如果这篇博客对你有帮助，希望你点赞、收藏、关注、评论，您的认可将是我创作下
德彪稳坐倒骑驴·2023-04-21 01:26

MAE论文笔记+Pytroch实现

MaskedAutoencodersAreScalableVisionLearners，2021近期在梳理Transformer在CV领域的相关论文，落脚点在于如何去使用Pytroch实现如ViT和MAE等。通过阅读源码，发现不少论文的源码都直接调用timm来实现ViT。故在此需要简单介绍一下timm这个库中ViT相关部分。此外小破站上的李沐大神讲的贼棒，这里也顺带记录一下相关笔记。文章目录Mas
像风一样自由的小周·2023-04-21 01:21

Vision Transformers for Dense Prediction论文笔记

文章目录VisionTransformersforDensePrediction，ICCV，2021一、背景介绍二、网络结构三、实验结果1.语义分割实验2.消融实验VisionTransformersforDensePrediction，ICCV，2021一、背景介绍本篇论文主要提出一种网络，基于Transformer去进行密集预测。众所周知，对于密集预测任务，常见的网络架构为Encoder+De
像风一样自由的小周·2023-04-21 01:21

算法常用功能收藏夹

可视化绘图工具GitHub-lanpa/tensorboardX:tensorboardforpytorch(andchainer,mxnet,numpy,...)需要注意，cd到模型存储文件夹级路径下2.NN模型压缩框架
默-言·2023-04-20 22:43

CVPR 2023 | DisWOT：给老师找个好学生？KD和NAS的高效组合

©Paperweekly原创·作者|An.单位|中科院自动化所研究方向|计算机视觉、模型压缩动机&背景知识蒸馏（KnowledgeDistillation,KD）可以用大模型指导小模型学习，但大小模型之间的容量差距阻碍了知识的传递
PaperWeekly·2023-04-20 19:55

D.8零样本文本分类应用：基于UTC的医疗意图分类，打通数据标注-模型训练-模型调优-预测部署全流程。

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-04-20 19:04

『论文笔记』In Defense of Grid Features for Visual Question Answering

InDefenseofGridFeaturesforVisualQuestionAnswering一句话总结网格特征不仅准确度不输给区域特征，推理速度上又快出一个量级。导论本文主要探讨了在VQA等视觉语言任务中，使用什么类型的图像特征可以达到更好的效果。区域特征(Regions)还是网格特征(Grids)？在以VQA为代表的一系列视觉语言任务中，Bottom-Up注意力方法得到了广泛应用，并取得了
Hoshino Ren·2023-04-20 09:03

论文阅读笔记：StackGAN

前阵子忙着做专业英语的作业…就一直拖着不想更新…最近为了组合又要开始写论文笔记了！
LiBiscuit·2023-04-19 13:46

15个 AI-powered应用，加速学术写作和阅读

文章目录写作方面1.JenniAI（推荐）2.Paperpal阅读方面3.Schoarlcy4.chatpdf5.Casper6.SciSpace（推荐）文献管理/写论文笔记用7.lateral8.ClioVis9
z5z5z5z56·2023-04-19 10:37

结合 Swin-Transformer 的 LAVT: Language-Aware Vision Transformer for Referring Image Segmentation 论文笔记

结合Swin-Transformer的LAVT:Language-AwareVisionTransformerforReferringImageSegmentation论文笔记一、Abstract二、引言三
乄洛尘·2023-04-19 07:41

Weakly-supervised Grounded Visual Question Answering using Capsules论文笔记

Weakly-supervisedGroundedVisualQuestionAnsweringusingCapsules论文笔记一、Abstract二、引言三、相关工作3.1VQA和视觉定位3.2VQA
乄洛尘·2023-04-19 07:40

WeaQA:Weak Supervision via Captions for Visual Question Answering 论文笔记

WeaQA:WeakSupervisionviaCaptionsforVisualQuestionAnswering论文笔记一、Abstract二、引言三、相关工作3.1VQA中的鲁棒性3.2无监督的QA3.3
乄洛尘·2023-04-19 07:10

VQA2021年之后的方向启蒙：Human-Adversarial Visual Question Answering 论文笔记

VQA2021年之后的方向启蒙：Human-AdversarialVisualQuestionAnswering论文笔记一、Abstract二、引言三、相关工作3.1VQA模型加压测试3.2之前达到饱和的模型
乄洛尘·2023-04-19 07:10

Regularizing Attention Networks for Anomaly Detection in Visual Question Answering 论文笔记

RegularizingAttentionNetworksforAnomalyDetectioninVisualQuestionAnswering论文笔记一、Abstract二、Introduction
乄洛尘·2023-04-19 07:09
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他