论文笔记——模型压缩第11页

[论文总结] 农业工程领域中App和Web相关应用论文笔记

文章目录1.Tomatoleafsegmentationalgorithmsformobilephoneapplicationsusingdeeplearning2.InternetofThings(IoT)andMachineLearningbasedLeachingRequirementsEstimationforSalineSoils（IF=9.968,2020）2.1提出的方案2.2材料与

落痕的寒假·2023-10-16 12:42

论文浅尝 | 深度神经网络的模型压缩

笔记整理：闵德海，东南大学硕士，研究方向为知识图谱链接：https://arxiv.org/abs/1412.6550动机提高神经网络的深度通常可以提高网络性能，但它也使基于梯度的训练更加困难，因为更深的网络往往更加强的非线性。最近提出的知识蒸馏方法旨在获得小型和快速执行的模型，它已经表明参数量较小的学生网络可以较好的模仿更大的教师网络或网络集群的SoftOutput。在本文中，我们扩展了这一思想

开放知识图谱·2023-10-15 12:37

论文笔记-A Survey on Vision Transformer

论文原文地址-ASurveyonVisionTransformer|IEEEJournals&Magazine|IEEEXploreTransformer介绍Transformer最早应用于自然语言处理领域，是一种主要基于自注意力机制的深度神经网络。在各种视觉基准测试中，基于Transformers的模型的性能类似于或优于其他类型的网络，例如卷积和循环网络。鉴于其高性能和对视觉特定感应偏置的需求较

荒诞主义·2023-10-15 11:36

【论文笔记】CVPR2022：Anomaly Detection via Reverse Distillation From One-Class Embedding

CVPR2022：AnomalyDetectionviaReverseDistillationFromOne-ClassEmbedding本文提出了一种由教师编码器和学生解码器组成的新颖T-S模型：“逆向蒸馏”（ReverseDistillation）。与之前的知识蒸馏模型不同，学生网络不是直接接收原始图像，而是将教师模型的单类嵌入（OneClassEmbedding）作为输入，并旨在恢复教师的多

yjttjyyy·2023-10-15 07:14

论文笔记：Revisiting Single Image Depth Estimation: Toward Higher Resolution Maps with ...(WACV2019)

以往方法往往深度预测损失了分辨率或者在边界存在扭曲和模糊问题。本文提出2个改进：1.不同尺度下提取特征的策略2.使用3个损失，分别是深度、梯度、法向量c：当前最好模型，存在物体形状扭曲、小物体缺失、马赛克Introduction早期：比如Eigen提出的，直接cnn预测，分辨率很低目前：上投影(up-projection)上采样方法CRF结合CNN，端到端学习联合多任务学习近期：扩张卷积(dila

snoopy_21·2023-10-15 07:41

PixMIM论文笔记

论文名称：PixMIM:RethinkingPixelReconstructioninMaskedImageModeling发表时间：2023年3月4日作者及组织：上海人工智能实验室、西蒙菲莎大学、香港中文大学GitHub：https://github.com/open-mmlab/mmselfsup/tree/dev-1.x/configs/selfsup/pixmim问题与贡献在MIM（Mak

hello_dear_you·2023-10-15 07:41

MFF论文笔记

论文名称：ImprovingPixel-basedMIMbyReducingWastedModelingCapability_发表时间：ICCV2023作者及组织：上海人工智能实验室，西门菲沙大学，香港中文大学问题与贡献MIM(ModelMaksedModel)方法可以分为两部分基于像素的图片掩码学习（pixel-based)和基于高位表征的图片掩码学习（tokenizer-based）。相对于后

hello_dear_you·2023-10-15 07:37

BERT系列经典文章阅读

BERT系列经典文章阅读[1]BERT原文：BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding笔记：论文笔记

Isawany·2023-10-15 06:52

ESimCSE 论文笔记

单位：中国科学院信息工程研究所，中国科学院大学，快手科技时间：2022.09发表：COLING论文链接：https://arxiv.org/abs/2109.04380一、前言1.ESimCSE想做些什么？SimCSE采用两次dropout作为一对正样本来当作数据增强的方法（详细内容可见我的上一篇笔记），但这样有一个不好的地方就是模型会偏向认为具有相同长度的句子彼此之间就更为相似。为了验证这一观点

shuaiZuJiaoFu·2023-10-15 06:21

[论文笔记]SimCSE

引言今天带来一篇当时引起轰动的论文SimCSE笔记，论文题目是语句嵌入的简单对比学习。SimCSE是一个简单的对比学习框架，它可以通过无监督和有监督的方式来训练。对于无监督方式，输入一个句子然后在一个对比目标中预测它自己，仅需要标准的Dropout作为噪声。这种简单的方式效果却惊人地好。将Dropout作为小型数据增强，移除Dropout会导致表示坍塌(representationcollapse

愤怒的可乐·2023-10-15 06:46

零样本图像识别 | Alleviating Feature Confusion for Generative Zero-shot Learning简单论文笔记

提出特征混淆问题，即在GZSL设置中零样本类别实例容易被划分为可见类（因为在训练生成器时使用的是可见类样本，这导致生成的未见类样本与可见类相似）创新点：提出了一种边界损失函数，该损失函数最大程度地减少了已见类别和未见类别的决策边界。此外，提出了一种名为featureconfusionscore（FCS）的新度量标准，以量化特征混淆。1）提出了一种新的生成方法，即通过利用生成对抗网络，对零镜头学习进

熊仔仔zz·2023-10-15 03:11

Tengine：一款备受国内AI开发者欢迎的边缘AI计算框架

它采用了一系列轻量化的设计策略，包括模型压缩、量化、剪

TvActionscript·2023-10-14 23:35

Learning-to-See-in-the-Dark跑通及实现方法（python3.8、及问题）

开源项目：GitHub-lavi135246/pytorch-Learning-to-See-in-the-Dark:LearningtoSeeintheDarkusingPyTorch>=1.0.0论文笔记

zenglongjian·2023-10-14 13:18

Learn to See in the Dark（论文阅读笔记）

LearntoSeeintheDark（论文阅读笔记）最近做项目看了一篇论文《LearntoSeeintheDark》下面是一些论文笔记概括：这篇论文主要介绍的是在低光照的环境下用两个标准的FCN网络，

qq_38277565·2023-10-14 13:13

Dataset Condensation with Distribution Matching论文笔记

摘要最近一个有前途的降低训练成本的方向是数据集浓缩，其目的是在保留原始信息的情况下，用一个小得多的学习合成集来代替原始的大型训练集。虽然在浓缩的小图像集上训练深度模型的速度非常快，但由于复杂的双级优化和二阶导数计算，它们的合成仍然计算昂贵。在这项工作中，我们提出了一种简单而有效的方法，通过匹配合成图像和原始训练图像在许多采样嵌入空间中的特征分布来合成浓缩图像。我们的方法大大降低了合成成本，同时实现

qq_51653288·2023-10-14 13:04

激光雷达与相机在线标定论文笔记1——livox_camera_calib

激光雷达与相机在线标定论文笔记1——livox_camera_calib简介：论文标题：Pixel-levelExtrinsicSelfCalibrationofHighResolutionLiDARandCamerainTargetlessEnvironments

。 7.·2023-10-14 07:30

Video Graph Transformer for Video Question Answering 论文笔记

论文地址：http://arxiv.org/pdf/2207.05342代码地址：https://github.com/sail-sg/VGT摘要本文提出了一种VideoGraphTransformer用于视频问答：1）设计了一个动态图转换器模块，该模块通过显式捕获视觉对象、它们的关系和动态来对视频进行编码，以进行复杂的时空推理；2）利用解耦的视频和文本Transformer进行视频和文本之间的相

魔法少女玛格姬·2023-10-14 07:52

DeepWalk（深度游走）算法

整理自：Deepwalk(深度游走)算法简介_Mr.Cheng1996的博客-CSDN博客【论文笔记】DeepWalk-知乎DeepWalk是一种将随机游走(randomwalk)和word2vec两种算法相结合的图结构数据挖掘算法

嵌入式开发.·2023-10-14 07:03

神经网络模型压缩技术—剪枝

目录1.模型压缩定义2.模型压缩必要性及可行性3.模型压缩分类3.1主流分类3.2前端和后端4.剪枝4.1剪枝定义4.2剪枝分类4.2.1基于粒度4.2.2基于是否结构化4.2.3基于目标5.结构化剪枝和非结构化剪枝

故山月白·2023-10-14 00:50

《多智能体博弈学习研究进展--罗俊仁，张万鹏》论文笔记

目录一、引言二、多智能体学习简介2.1多智能体学习系统组成2.2多智能体学习概述2.3多智能体学习研究方法分类三、多智能体博弈学习框架3.1多智能体博弈基础模型及元博弈3.1.1多智能体博弈基础模型3.1.2元博弈模型3.2均衡解概念与博弈动力学3.2.1均衡解概念3.2.2博弈动力学3.3多智能体博弈学习的挑战3.3.1学习目标多样3.3.2环境(对手)非平稳3.3.3均衡难解且易变四、多智能体

春有百花巨小蟹·2023-10-13 13:45

多标签分类论文笔记 | ML-Decoder: Scalable and Versatile Classification Head

个人论文精读笔记，主要是翻译+心得，欢迎旁观，如果有兴趣可以在评论区留言，我们一起探讨。Paper:https://arxiv.org/pdf/2111.12933.pdfCode:https://github.com/Alibaba-MIIL/ML_Decoder文章目录0.摘要1.介绍2.方法2.1Baseline分类头2.2回顾-AttentionandTransformer-Decoder

Thomas_Cai·2023-10-13 13:33

FTRL论文笔记

AdClickPrediction:aViewFromtheTrenches1简介 FTRL是一种新的参数学习算法，利用它可以对传统的监督学习进行提升，并且利用了特征自适应(per-coordinate)的学习率。作者还探讨了其他非传统机器学习研究的内容，主要包含了内存节省的技巧，性能评估和可视化，预测概率的信心评估的方法，标准化方法以及自动特征管理。另外还列出了作者试验的一些并没有提升的方法。

不将就_215a·2023-10-13 08:52

SS928搭建NNN环境

环境要求：ubuntu18.04参考文件：《ATC工具使用指南》《应用开发指南》《驱动和开发环境安装指南》《昇腾模型压缩工具使用指南（ONNX）》交叉编译器的安装--------------------

warren@伟_·2023-10-12 23:43

F.3【性能优化模型压缩】在数据增强、蒸馏剪枝下ERNIE3.0分类模型性能提升

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法

汀、人工智能·2023-10-12 21:13

论文笔记（综述）——Image fusion meets deep learning: A survey and perspective

文章目录零、摘要（Abstract）一、引言（Introduction）二、方法回顾（Methodreview）1、数字摄影图像融合（Digitalphotographyimagefusion）（1）多曝光图像融合（Multi-exposureimagefusion）a)CNNMethodsb)GANMethods（2）多聚焦图像融合（Multi-focusimagefusion）a)CNNMet

浅若清风cyf·2023-10-12 20:42

【论文笔记】EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

【论文链接】：https://arxiv.org/abs/1905.11946【论文代码】：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet（官方tensorflow版本）https://github.com/lukemelas/EfficientNet-PyTorch（第三方pytorch版本）【

Qn_351c·2023-10-12 18:30

读论文：Lightweight Models for Traffic Classification: A Two-Step Distillation Approach

关键词：流量分类、自蒸馏、知识蒸馏、模型压缩、深度学习1、介绍模型压缩技术旨在将大型深度模型压缩成轻量级的小魔仙，以满足资源有限的硬件部署。诸如剪枝、知

不会绑马尾的女孩·2023-10-12 09:37

[深度学习论文笔记]Hybrid Window Attention Based Transformer Architecture for Brain Tumor Segmentation

HybridWindowAttentionBasedTransformerArchitectureforBrainTumorSegmentation基于混合窗口注意力的Transformer结构脑肿瘤分割Author：HimashiPeiris,MunawarHayat,ZhaolinChen,GaryEgan,MehrtashHarandiUnit：MonashUniversitySubmitt

SerendipityQYK·2023-10-12 06:25

【论文笔记】Deep 3D-to-2D Watermarking == Google ==CVPR‘2022

Deep3D-to-2DWatermarking:EmbeddingMessagesin3DMeshesandExtractingThemfrom2DRenderings本文工作：提出了一个端到端的框架来从2D渲染图像中提取水印信息，且对不同光照和相机位姿的渲染结果具有鲁棒性。1.1本文工作概述核心贡献：本工作对3D网格输入进行隐式编码，然后对渲染得到的2D图像进行解码，提取水印信息。可微渲染保证

Nismilesucc·2023-10-12 02:14

论文笔记(1)：Large Language Models are few(1)-shot Table Reasoners

文章目录AbstractIntroductionRelatedworksMethodExperimentdatasetbaselinesresultsmainresultsanalysisLimitationAbstract已有研究表明，大型语言模型(LLM)在文本的少样本推理中表现excellent，本文证明LLM在表结构的f复杂少样本推理中表现也很competent。Introduction已

我是女生，我不做程序媛·2023-10-11 23:22

基于点云的机器人抓取识别

基于点云的机器人抓取识别综述-3D视觉工坊-博客园(cnblogs.com)械臂论文笔记（三）【抓取检测】机器人抓取检测技术的研究现状刘亚欣_CV-杨帆的博客-CSDN博客

cocapop·2023-10-11 08:35

NLP-预训练模型-2019-NLU：DistilBERT【 BERT模型压缩】【模型大小减小了40%（66M），推断速度提升了60%，但性能只降低了约3%】

《原始论文：DistilBERT,adistilledversionofBERT:smaller,faster,cheaperandlighter》NLP预训练模型随着近几年的发展，参数量越来越大，受限于算力，在实际落地上线带来了困难，针对最近最为流行的BERT预训练模型，提出了DistilBert，在保留97%的性能的前提下，模型大小下降40%，inference运算速度快了60%。Distil

u013250861·2023-10-11 06:59

论文笔记（二十九）：BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects

BundleSDF:Neural6-DoFTrackingand3DReconstructionofUnknownObjects文章概括摘要1.介绍2.相关工作3.方法3.1粗略姿态初始化3.2.内存池3.3.在线姿势图优化3.4.神经对象领域4.实验4.1.数据集4.2.指标4.3基线4.4.HO3D的比较结果4.5.YCBInEOAT的比较结果4.6BEHAVE的比较结果4.7.消融研究5.结

墨绿色的摆渡人·2023-10-11 01:39

论文笔记（三十四）：ORBIT: A Unified Simulation Framework for Interactive Robot Learning Environments

ORBIT:AUnifiedSimulationFrameworkforInteractiveRobotLearningEnvironments文章概括摘要I.介绍II.相关工作III.ORBIT：摘要和界面设计IV.ORBIT:特点V.使用轨道的示范工作流程A.基于GPU的强化学习B.远程操作和模仿学习C.运动规划D.在真实机器人上部署VI.讨论VII.未来工作致谢文章概括作者：MayankMi

墨绿色的摆渡人·2023-10-11 01:08

论文笔记（三十三）：BundleTrack:6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Modes

BundleTrack:6DPoseTrackingforNovelObjectswithoutInstanceorCategory-Level3DModes文章概括摘要I.介绍II.相关工作III.问题的提出IV.方法A.传播物体分割B.关键点检测、匹配和本地注册C.关键帧选择D.在线姿势图优化E.扩充关键帧内存池V.实验A.数据集B.NOCS数据集的结果C.YCBInEOAT数据集的结果D.分

墨绿色的摆渡人·2023-10-11 01:38

Select, Answer and Explain: Interpretable Multi-hop Reading Comprehension over MultipleDocuments论文笔记

Select,AnswerandExplain:InterpretableMulti-hopReadingComprehensionoverMultipleDocuments论文简介引言HotpotQA相关研究局限性创新点SAE系统选择黄金文档ContextualEncoder（文本编码）predictor实验实现细节实验结果Ablationstudies结果分析结论论文链接代码链接这篇文章是发表

谢城·2023-10-11 00:35

Roberta: Bert调优

Transformer:Attention集大成者GPT-1&2:预训练+微调带来的奇迹Bert:双向预训练+微调Bert与模型压缩Bert与模型蒸馏：PKD和DistillBertALBert:轻量

张雨石·2023-10-10 19:40

论文笔记 | RoBERTa: A Robustly Optimized BERT Pretraining Approach

作者：刘锁阵单位：燕山大学论文地址：https://arxiv.org/abs/1907.11692代码地址：https://github.com/pytorch/fairseq文章目录背景介绍实验环境训练过程静态vs动态masking模型输入格式和NSP大批量训练文本编码RoBERTa总结背景介绍因为在预训练过程中，超参数的选择往往对实验结果有着举足轻重的作用。论文作者在仔细地衡量了各种超参数和

期待成功·2023-10-10 19:09

BERT入门体验

可以自己直接百度"bert论文笔记“。

你谷什的·2023-10-10 15:55

论文笔记--Augmenting Pre-trained Language Models with QA-Memory for Open-Domain Question Answering

论文笔记--AugmentingPre-trainedLanguageModelswithQA-MemoryforOpen-DomainQuestionAnswering1.文章简介2.文章概括3文章重点技术

Isawany·2023-10-10 13:52

论文笔记--Enriching Word Vectors with Subword Information

论文笔记--EnrichingWordVectorswithSubwordInformation1.文章简介2.文章概括3文章重点技术3.1FastText模型3.2Subwordunit4.文章亮点5

Isawany·2023-10-10 13:13

Learning Efficient Convolutional Networks through Network Slimming

该文章是ICCV2017的一篇模型压缩论文，提出了一个针对BN层的剪枝方法，利用BN层的权重（即缩放系数）来评估输入通道的重要程度（score），然后对score对于阈值的通道进行过滤，之后在连接成剪枝后的网络时

hello_dear_you·2023-10-10 12:34

自监督DINO论文笔记

论文名称：EmergingPropertiesinSelf-SupervisedVisionTransformers发表时间：CVPR2021作者及组织：FacebookAIResearchGitHub：https://github.com/facebookresearch/dino/tree/main问题与贡献作者认为self-supervisedlearning自监督学习结合visiontra

hello_dear_you·2023-10-10 12:59

Text-to-3D 任务论文笔记： Latent NeRF

FLOWVERSE·2023-10-10 11:14

[论文笔记]Poly-encoder

引言本文是Poly-encoder1的阅读笔记，论文题目为基于预训练模型的快速准确多句评分模型。也是本系列第一篇基于Transformer架构的模型，对于进行句子对之间比较的任务，有两种常用的途经：Cross-encoder在句子对上进行交互完全自注意力；Bi-encoder单独地编码不同的句子。前者通常表现更好，但实际中太慢。本篇工作提出了一种新的Transformer架构，Ploy-encod

愤怒的可乐·2023-10-10 08:56

论文笔记与解读《DRAW: A Recurrent Neural Network for Image Generation》

前言笔者临近硕士毕业，我的硕士毕业项目十分类似一个非常著名的研究工作：DRAW:ARecurrentNeuralNetworkforImageGeneration，该项工作由2015年由GoogleDeepmind发表在ICML并产生了很大的影响力。其核心贡献点在于，通过视觉注意力关注区域序列，并基于变分自动编码器VariationalAutoEncoder(VAEs)，对图像进行生成，而不是将整

Yzy_Carlisle·2023-10-09 14:03

论文笔记：Structured Streaming: A Declarative API for Real-Time Applications in Apache Spark

一、引言早期的流处理系统存在两个问题：(1).系统需要用户去考虑复杂的物理执行概念，比如at-least-oncedelivery、状态存储、触发模式等流处理独有的概念。(2).许多系统只关注流计算这一件事，然而在实际应用场景中，流处理仅仅是一个大型商业应用程序的一部分，该应用程序同时还会包括批处理、静态数据连接和交互式查询等处理流程。论文贡献：为流数据处理描述了一个高层次的API——结构化流媒体

Bamboooooo_Yoo·2023-10-09 07:34

论文笔记：多任务学习在美团推荐中的应用

©NLP论文解读原创•作者|小欣导读本文重点对2021年KDD的一篇关于多任务学习的论文（也是美团在多任务学习领域的一个应用）《ModelingtheSequentialDependenceamongAudienceMulti-stepConversionswithMulti-taskLearninginTargetedDisplayAdvertising》进行解读。在该论文的多任务学习部分，作者

NLP论文解读·2023-10-09 05:08

论文笔记：Representation Learning of Knowledge Graphs with Entity Descriptions

文章目录一、摘要二、简介三、方法词袋模型编码器CNN编码器四、实验结果一、摘要文章提出了一种结合【实体外部描述】和【三元组】的知识图谱表示学习方法。在【知识图谱补全】和【实体分类】两个任务上取得了很大的提升。并且很重要的一点是，该方法能够自然地解决【实体不在图谱中的问题】。二、简介文章使用了两种表示方法进行知识图谱表示：基于结构的表示方法，如Trans-E等。基于描述的表示方法，利用对实体或者关系

无聊的人生事无聊·2023-10-08 18:47

论文笔记 A theory of learning from different domains

domainadaptation领域理论方向的重要论文.这篇笔记主要是推导文章中的定理,还有分析定理的直观解释.笔记中的章节号与论文中的保持一致.1.Introductiondomainadaptation的设定介绍:有两个域,sourcedomain与targetdomain.sourcedomain:一组从sourcedist.采样的带有标签的数据.targetdomain:一组从target

Set_____·2023-10-08 12:25

推荐频道

论文笔记——模型压缩