对抗样本_论文笔记第10页

论文笔记--Augmenting Pre-trained Language Models with QA-Memory for Open-Domain Question Answering

论文笔记--AugmentingPre-trainedLanguageModelswithQA-MemoryforOpen-DomainQuestionAnswering1.文章简介2.文章概括3文章重点技术

Isawany·2023-10-10 13:52

论文笔记--Enriching Word Vectors with Subword Information

论文笔记--EnrichingWordVectorswithSubwordInformation1.文章简介2.文章概括3文章重点技术3.1FastText模型3.2Subwordunit4.文章亮点5

Isawany·2023-10-10 13:13

自监督DINO论文笔记

论文名称：EmergingPropertiesinSelf-SupervisedVisionTransformers发表时间：CVPR2021作者及组织：FacebookAIResearchGitHub：https://github.com/facebookresearch/dino/tree/main问题与贡献作者认为self-supervisedlearning自监督学习结合visiontra

hello_dear_you·2023-10-10 12:59

Text-to-3D 任务论文笔记： Latent NeRF

FLOWVERSE·2023-10-10 11:14

[论文笔记]Poly-encoder

引言本文是Poly-encoder1的阅读笔记，论文题目为基于预训练模型的快速准确多句评分模型。也是本系列第一篇基于Transformer架构的模型，对于进行句子对之间比较的任务，有两种常用的途经：Cross-encoder在句子对上进行交互完全自注意力；Bi-encoder单独地编码不同的句子。前者通常表现更好，但实际中太慢。本篇工作提出了一种新的Transformer架构，Ploy-encod

愤怒的可乐·2023-10-10 08:56

论文笔记与解读《DRAW: A Recurrent Neural Network for Image Generation》

前言笔者临近硕士毕业，我的硕士毕业项目十分类似一个非常著名的研究工作：DRAW:ARecurrentNeuralNetworkforImageGeneration，该项工作由2015年由GoogleDeepmind发表在ICML并产生了很大的影响力。其核心贡献点在于，通过视觉注意力关注区域序列，并基于变分自动编码器VariationalAutoEncoder(VAEs)，对图像进行生成，而不是将整

Yzy_Carlisle·2023-10-09 14:03

论文笔记：Structured Streaming: A Declarative API for Real-Time Applications in Apache Spark

一、引言早期的流处理系统存在两个问题：(1).系统需要用户去考虑复杂的物理执行概念，比如at-least-oncedelivery、状态存储、触发模式等流处理独有的概念。(2).许多系统只关注流计算这一件事，然而在实际应用场景中，流处理仅仅是一个大型商业应用程序的一部分，该应用程序同时还会包括批处理、静态数据连接和交互式查询等处理流程。论文贡献：为流数据处理描述了一个高层次的API——结构化流媒体

Bamboooooo_Yoo·2023-10-09 07:34

论文笔记：多任务学习在美团推荐中的应用

©NLP论文解读原创•作者|小欣导读本文重点对2021年KDD的一篇关于多任务学习的论文（也是美团在多任务学习领域的一个应用）《ModelingtheSequentialDependenceamongAudienceMulti-stepConversionswithMulti-taskLearninginTargetedDisplayAdvertising》进行解读。在该论文的多任务学习部分，作者

NLP论文解读·2023-10-09 05:08

论文笔记：Representation Learning of Knowledge Graphs with Entity Descriptions

文章目录一、摘要二、简介三、方法词袋模型编码器CNN编码器四、实验结果一、摘要文章提出了一种结合【实体外部描述】和【三元组】的知识图谱表示学习方法。在【知识图谱补全】和【实体分类】两个任务上取得了很大的提升。并且很重要的一点是，该方法能够自然地解决【实体不在图谱中的问题】。二、简介文章使用了两种表示方法进行知识图谱表示：基于结构的表示方法，如Trans-E等。基于描述的表示方法，利用对实体或者关系

无聊的人生事无聊·2023-10-08 18:47

论文笔记 A theory of learning from different domains

domainadaptation领域理论方向的重要论文.这篇笔记主要是推导文章中的定理,还有分析定理的直观解释.笔记中的章节号与论文中的保持一致.1.Introductiondomainadaptation的设定介绍:有两个域,sourcedomain与targetdomain.sourcedomain:一组从sourcedist.采样的带有标签的数据.targetdomain:一组从target

Set_____·2023-10-08 12:25

阅读论文笔记：High-Resolution Image Synthesis with Latent Diffusion Models

论文标题：High-ResolutionImageSynthesiswithLatentDiffusionModels翻译：基于潜扩散模型的高分辨率图像合成参考链接：https://zhuanlan.zhihu.com/p/582693939前备知识：首先需要学习扩散模型了解上采样(放大图片)和下采样(缩小图片)下采样目的：1.使得图像符合显示区域的大小2.生成对象图像的缩略图摘要：模型通常直接在

小源0·2023-10-08 07:22

【计算机视觉|人脸建模】学习从图像中回归3D面部形状和表情而无需3D监督

本系列博文为深度学习/计算机视觉论文笔记，转载请注明出处标题：LearningtoRegress3DFaceShapeandExpressionfromanImagewithout3DSupervision

远哥挺乐·2023-10-08 04:49

【论文笔记】—深度残差网络—ResNet—2015-CVPR

论文介绍《用于图像识别的深度残差学习》通过残差模块解决深层网络的退化问题，大大提升神经网络深度，各类计算机视觉任务均从深度模型提取出的特征中获益。ResNet获得2015年ImageNet图像分类、定位、目标检测竞赛冠军，MSCOCO目标检测、图像分割冠军。并在ImageNet图像分类性能上超过人类水平。题目：DeepResidualLearningforImageRecognitionDOI：

chaiky·2023-10-08 00:38

Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning 论文笔记

Abstract近年来，机器视觉图像识别领域取得了很大的突破，非常深的卷积神经网络为此立下首功。一个典型的例子是Inception结构在一个相对较低的计算代价下取得了较好的性能。ILSVRC2015竞赛中残差连接和传统网络结构相结合取得了state-of-the-art的性能，几乎和InceptionV3网络相近。因此我们自然而然的想到，把Inception结构和残差连接进行结合，会不会更好？作者

hrsstudy·2023-10-08 00:07

对抗样本的基本原理

【嵌牛导读】：对抗样本是机器学习模型的一个有趣现象，攻击者通过在源数据上增加人类难以通过感官辨识到的细微改变，但是却可以让机器学习模型接受并做出错误的分类决定。

七七_af9b·2023-10-07 02:38

论文笔记-BOFFIN TTS: FEW-SHOT SPEAKER ADAPTATION BY BAYESIAN OPTIMIZATION

BOFFINTTS:FEW-SHOTSPEAKERADAPTATIONBYBAYESIANOPTIMIZATION链接：https://arxiv.org/abs/2002.01953相关代码：暂无摘要本文提出基于贝叶斯优化的迁移学习TTS方法，简称BOFFINTTS（BayesianOptimizationForFinetuningNeuralTextToSpeech）。本文的目标是使用少量目标

静夜寒风·2023-10-06 21:43

《Attention Is All You Need》论文笔记

下面是对《AttentionIsAllYouNeed》这篇论文的浅读。参考文献：李沐论文带读HarvardNLP《哈工大基于预训练模型的方法》下面是对这篇论文的初步概览：对Seq2Seq模型、Transformer的概括：下面是蒟蒻在阅读完这篇论文后做的一些笔记：为什么会出现“注意力机制”？基于循环神经网络的序列到序列模型有一个基本假设，就是原始序列的最后一个隐含状态（一个向量）包含了该序列的全部

卷心菜不卷Iris·2023-10-06 17:43

【计算机视觉|人脸建模】学习从4D扫描中获取的面部形状和表情的模型

本系列博文为深度学习/计算机视觉论文笔记，转载请注明出处标题：Learningamodeloffacialshapeandexpressionfrom4Dscans链接：Learningamodeloffacialshapeandexpressionfrom4Dscans

远哥挺乐·2023-10-06 11:16

论文笔记：Can Adversarial Training benefit Trajectory Representation? AnInvestigation on Robustness for

CanAdversarialTrainingbenefitTrajectoryRepresentation?AnInvestigationonRobustnessforTrajectorySimilarityComputation22CIKM1intro1.1背景与传统基于成对轨迹点的TSC（trajectorysimilaritycomparison）相比，基于深度学习生成的向量的TSC具有较低

UQI-LIUWJ·2023-10-06 01:17

【论文笔记】Task and Motion Planning with Large Language Models for Object Rearrangement

【论文笔记】TaskandMotionPlanningwithLargeLanguageModelsforObjectRearrangementAbstract研究目标：多目标重排是服务机器人的关键技能

Ctrl+Alt+L·2023-10-04 22:26

【论文笔记】Ground Manipulator Primitive Tasks to Executable Actions using Large Language Models

【论文笔记】GroundManipulatorPrimitiveTaskstoExecutableActionsusingLargeLanguageModelsAbstract研究目标：解决从高层任务到低层机器人执行指令的转换问题

Ctrl+Alt+L·2023-10-04 22:26

High-Resolution Image Synthesis with Latent Diffusion Models 稳定扩散模型论文笔记

一、研究现状早期图像生成方法主要是变分自动编码器（VariationalAutoencoders,VAEs)，该算法利用编码器和解码器以及变分推断的方法学习隐空间到真实图像空间的映射从而完成图像的生成。其优势是特征空间可迁移并且训练较为稳定，但是不容易进行模型评估，当输入的图像数据的分布情况复杂时，其学习到的特征泛化能力不足，而且生成的图像模糊。生成对抗网络(GenerativeAdversari

密涅瓦的鹰头猫·2023-10-04 22:38

【论文笔记】Cross Modal Transformer: Towards Fast and Robust 3D Object Detection

原文链接：https://arxiv.org/abs/2301.012831.引言受到DETR启发，本文提出鲁棒的端到端多模态3D目标检测方法CMT（跨模态Transformer）。首先使用坐标编码模块（CEM），通过将3D点集隐式地编码为多模态token，产生位置感知的特征。对图像分支，从视锥空间采样的3D点用来表达每个像素3D位置的概率；对激光雷达分支，将BEV坐标直接编码为点云token

byzy·2023-10-04 15:34

【论文笔记】SparseFusion: Fusing Multi-Modal Sparse Representations for Multi-Sensor 3D Object Detection

原文链接：https://arxiv.org/abs/2304.143401.引言目前的3D目标检测工作都使用模态的密集表达（如BEV、体素、点云），但由于我们只对实例/物体感兴趣，这种密集表达是冗余的。此外，背景噪声对检测有害，且将多模态对齐到同一空间很耗时。相反，稀疏表达很高效且能达到SotA性能。通常，使用稀疏表达的方法使用物体查询表示物体或实例，并与原始图像和点云特征交互。本文

byzy·2023-10-04 15:33

TransFusion:Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers 论文笔记

原文链接：https://arxiv.org/pdf/2203.11496.pdf1.引言目前的融合方法分为结果级融合、提案级融合以及点级融合。结果级融合在图像上进行2D检测，然后提升到3D空间生成3D提案，再通过PointNet进行边界框估计；提案级融合使用RoI池化操作在共享的提案内融合多模态特征。这些粗粒度的融合方法性能不佳，因为矩形提案内有大量背景噪声。点级融合性能更佳，即通过校准矩阵建立

byzy·2023-10-04 15:03

TransFusion论文笔记

论文名称：TransFusion:RobustLiDAR-CameraFusionfor3DObjectDetectionwithTransformers论文链接：https://arxiv.org/pdf/2203.11496v1.pdf代码链接：https://github.com/xuyangbai/transfusion1引言图1如图1所示，左图是照明较差的例子，右图是由于点云的稀疏性，使

高分锻炼队友·2023-10-04 15:02

【论文笔记】检索还是生成回复？RAG：我都要

目录引言模型结构第一部分：Retriever第二部分：Generator实验结果结果分析总结引言在问答和对话的场景下，通常可以通过检索和生成两种方式得到一个回复。检索式回复是在外部知识库中检索出满意的回复，较为可靠和可控，但回复缺乏多样性；而生成式回复则依赖于强大的语言模型中储存的内部知识，不可控，解释性差，但能生成更丰富的回复。把检索和生成结合起来，FacebookAIresearch联合UCL

iLuz·2023-10-04 13:50

[论文笔记]BitFit

引言今天带来一篇参数高效微调的论文笔记，论文题目为基于Transformer掩码语言模型简单高效的参数微调。BitFit，一种稀疏的微调方法，仅修改模型的偏置项(或它们的子集)。

愤怒的可乐·2023-10-04 05:17

《UNILMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training》论文笔记

UniLMsUniLMs由《UnifiedLanguageModelPre-trainingforNaturalLanguageUnderstandingandGeneration》（2019）提出，其核心是通过不同的注意力机制，在同一模型下进行UnidirectionalLanguageModel，BidirectionalLanguageModel，与SequencetoSequenceLan

凯子要面包·2023-10-04 01:26

【论文笔记】融合标签向量到BERT：对文本分类进行改进

论文简介：融合标签嵌入到BERT：对文本分类进行有效改进论文标题：FusingLabelEmbeddingintoBERT:AnEfficientImprovementforTextClassification论文链接：https://aclanthology.org/2021.findings-acl.152.pdf论文作者：{YijinXiongetc.}论文摘要随着BERT等预先训练模型获得

致Great·2023-10-04 01:26

论文笔记|Unified Language Model Pre-training for Natural Language Understanding and Generation

任@燕山大学论文来源代码地址前言预训练语言模型提高了NLP任务的技术水平。对不同类型的语言模型进行预训练时，使用了不同的预测任务和训练目标，如下表所示。ELMo：学习两个单向LM，正向LM从左到右读取文本，反向LM从右到左编码文本。GPT：使用从左到右的Transformer逐字预测文本序列。BERT：采用双向Transformer编码器，结合左右上下文来预测掩码。BERT显著提高了许多NLP任务

期待成功·2023-10-04 01:56

论文笔记 Unified Language Model Pre-training for Natural Language Understanding and Generation

一、干啥用的？一个新的预训练语言模型(UNILM)，它可以用于自然语言理解NLU和生成任务NLG。UNILM由多个语言建模目标共同预训练，共享相同的参数。二、和别的pre-train模型有啥区别？UNILM是一个多层Transformer网络，使用三种类型的语言建模任务进行预训练:单向(包括l-to-r和r-to-l)、双向和seq2seq预测。该模型在大量文本上联合预训练，针对三种类型的无监督语

RunningQzh·2023-10-04 01:56

论文笔记 -《All NLP Tasks Are Generation Tasks: A General Pre-training Framework》

1、摘要随着NLP技术的发展，越来越多的新的预训练架构不断刷榜，包括自回归模型(例如GPT)、自动编码模型(例如BERT)和编码器-解码器模型(例如T5)。自然语言处理任务在本质可以分为分类、无条件生成和条件生成。但是，目前没有一个预训练框架能够很好地完成所有任务。而在本文中，提出了一种通用语言模型(GeneralLanguageModel，GLM)来解决这个问题。GLM模型结构有三个主要优点

*Lisen·2023-10-04 01:56

预训练模型论文笔记01

一、《Pre-trainedModelsforNaturalLanguageProcessing:ASurvey》1、第一种预训练模型是为了学习更好的wordembedding，例如skip-gram、glove。他们不需要下游任务，也就不需要太大的计算量。尽管可以得到语义信息，但是它们与上下文无关，无法在上下文中捕获更高级别的概念，例如多义词消歧、句法结构、语义角色、回指。2、第二种预训练模型为

爱工作的小小酥·2023-10-04 01:26

【论文笔记】NLP 预训练模型综述

Pre-trainedModelsforNaturalLanguageProcessing:ASurvey花了一上午看完的综述，强烈推荐每个NLPer都读一读，很长一段时间内都能当做工具书来用（下一个break-through来临前）。这篇作为笔记就记录下一些个人认为的重点，方便日后查阅。（不解释基础概念/模型，适合熟悉PTMs的人阅读）先来说说为啥要用预训练模型：在大语料下预训练的模型可以学习到

zenRRan·2023-10-04 01:25

[论文笔记]UNILM

引言今天带来论文UnifiedLanguageModelPre-trainingforNaturalLanguageUnderstandingandGeneration的笔记，论文标题是统一预训练语言模型用于自然语言理解和生成。本篇工作提出了一个新的统一预训练语言模型(Unifieldpre-trainedLanguageModel,UniLM)，可以同时用于自然语言理解和生成任务的微调。该模型基

愤怒的可乐·2023-10-04 01:25

【论文笔记】—— Survey of Deep Reinforcement Learning for Motion Planning of Autonomous Vehicles

文章目录AbstractI.INTRODUCTIONII.MODELINGFORREINFORCEMENTLEARNINGA.VehiclemodelingB.SimulatorsC.ActionSpaceD.RewardingE.ObservationSpaceIII.SCENARIO-BASEDCLASSIFICATIONOFTHEAPPROACHESIV.FUTURECHALLENGESAb

yuan〇·2023-10-04 01:55

论文笔记：TrajGAT: A Graph-based Long-term Dependency ModelingApproach for Trajectory Similarity Computa

2022KDD1intro1.1背景经典相似性度量（DTW,Hausdorff等）复杂度高，限制了它们在大规模轨迹分析中的应用，成为计算轨迹相似性的实际瓶颈。提出了各种近似相似性度量的策略用于Hausdorff的局部敏感哈希(LSH)用于DTW的约束Warping窗口这些技术是为一个特定的度量设计的，不适用于其他度量深度表示学习(DRL)方法近年来已成功应用于轨迹相似性计算用向量表示轨迹并学习一个

UQI-LIUWJ·2023-10-03 14:28

论文笔记_Network in Network

文章目录摘要1.介绍2.卷积神经网络3.NetworkinNetwork3.1MLP卷积层3.2全局平均池化3.3NIN网络架构4.实验4.1实验概述4.2CIFAR-104.3CIFAR-1004.4StreetViewHouseNumbers数据集4.5MNIST4.6全局平均池化作为正则化项4.7NIN的可视化5.总结延伸参考文献：摘要本文提出一个叫做NetworkinNetwork(N

你搁这儿写bug呢？·2023-10-02 16:32

NIN 论文笔记

NIN:NetworkInNetwork摘要：我们提出了一个名为‘NetworkInNetwork(NIN)’的深度网络，去提高模型对于局部感受野的localpathes的判别力。传统的卷积层使用线性filters结构。取而代之，我们构建了一个更复杂的神经网络结构去abstract局部感受野的data。我们使用通用近似模块MLP来构建这个复杂神经网络。改进后的网络的featuremaps的计算方式

黑暗星球·2023-10-02 16:32

Network in Network论文笔记

NetworkinNetworkIntroduction传统卷积：广义线性模型（GeneralizedLinerModel，GLM），提取的浅层特征。只有数据线性可分时可以达到好的效果。NIN：利用非线性模块（micronetwork，本文采用多层感知机——mlpconv）代替GLM。GLM提取局部的线性特征，mlpconv包含多层感知机和全连接层。两者都是滑动窗形式提取局部特征。NIN由mlpc

huhu_hhh·2023-10-02 16:01

论文笔记：Network in Network

1.Motivation:convlayersuseGLM(WX+b)toextractfeatures;thelevelofabstractionislow(latentfeaturesarelinearlyseperable)==>useMLP(canapproximateanyfunctions,whereasmaxoutonlyapproximatesconvexfunctions,and

John2King·2023-10-02 16:01

【论文笔记】Reconstructing Training Data with Informed Adversaries

ReconstructingTrainingDatawithInformedAdversaries摘要&介绍由于机器学习模型可以有“记忆”功能，那么当训练数据涉及隐私信息时，若被攻击者还原出原始训练数据，就会很危险。这个论文就是探讨这样的攻击是否可能。所有的训练数据中，只有一个是未知的。目标就是还原出这一个未知的数据样本，找到攻击的方式、泄露多少信息可以达到被还原、哪些特性会导致可还原、自我检查模

sugar_e·2023-10-02 16:30

[论文笔记]GLM

引言今天带来论文GLM:GeneralLanguageModelPretrainingwithAutoregressiveBlankInfilling的笔记。论文中文标题为通用语言模型预训练与自回归填空。有很多不同类型的预训练架构，包括自编码模型(BERT、RoBERTa、ALBERT)、自回归模型(GPT系列)以及编码器-解码器模型(T5、MASS、BART、PALM)。然而，没有任何预训练框架

愤怒的可乐·2023-10-02 16:00

论文笔记：TMN: Trajectory Matching Networks for PredictingSimilarity

2022ICDE1intro1.1背景轨迹相似度可以划分为：非学习度量方法通常是为一两个特定的轨迹距离度量设计的，因此不能与其他度量一起使用通常需要二次时间（O(n^2)）来计算轨迹之间的精确距离基于学习的度量方法利用机器学习技术学习轨迹的适当表示，用于任何一种距离度量在预处理阶段（训练阶段？）之后，数据库中的每条轨迹都被转换成d维空间中的一个向量然后，两条轨迹之间的相似性可以通过两个相应向量之间

UQI-LIUWJ·2023-10-02 16:55

SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models 论文笔记

前言由于大多数基于卷积神经网络或者Attention机制的超分辨模型大部分都是PSNR主导的，即用PSNR作为损失函数进行训练，这会导致超分辨图像过度平滑的问题，也就是超分辨后的图像高频信息不能很好保留，并且超分辨的图像较为固定，对于超分辨这种不适定问题来说不太合适。另外一种超分辨模型是基于GAN进行图像生成，会存在训练困难、模型不稳定的问题。于是论文提出了基于扩散模型的超分辨模型，具有特点如下：

Unsunshine_Bigboy_?·2023-10-02 15:40

Zero-Shot Learning by Harnessing Adversarial Samples 理论 & 代码解读

《Zero-ShotLearningbyHarnessingAdversarialSamples》基于对抗样本的零样本学习该论文要解决的问题：减轻了传统图像增强技术中固有的语义失真问题。

computer_vision_chen·2023-10-01 21:58

论文笔记：Contrastive Trajectory Similarity Learning withDual-Feature Attention

ICDE20231intro1.1背景轨迹相似性，可以分为两类启发式度量根据手工制定的规则，找到两条轨迹之间基于点的匹配学习式度量通过计算轨迹嵌入之间的距离来预测相似性值上述两种度量的挑战：无效性：具有不同采样率或含有噪声的轨迹会降低现有度量的有效性使用手工制定规则的启发式度量容易受到低质量轨迹的错误影响学习式度量主要采用并非最初为轨迹数据设计的深度学习模型，可能无法捕捉轨迹点之间以及相似轨迹之间

UQI-LIUWJ·2023-10-01 20:45

【论文笔记】SVDM: Single-View Diffusion Model for Pseudo-Stereo 3D Object Detection

原文链接：https://arxiv.org/abs/2307.022701.引言目前的从单目相机生成伪传感器表达的方法依赖预训练的深度估计网络。这些方法需要深度标签来训练深度估计网络，且伪立体方法通过图像正向变形合成立体图像，会导致遮挡区域的像素伪影、扭曲、孔洞。此外，特征级别的伪立体图生成很难直接应用，且适应度有限。那么如何绕过深度估计，在图像层面设计透视图生成器呢？和GAN相比，扩散

byzy·2023-10-01 18:22

【论文笔记】DiffBEV: Conditional Diffusion Model for Bird’s Eye View Perception

原文链接：https://arxiv.org/abs/2303.083331.引言通常，相机参数和激光雷达扫描的噪声会使BEV特征带有有害的噪声。扩散模型有去噪能力，能将有噪声样本还原为理想数据。本文提出DiffBEV，使用条件扩散概率模型（DPM）提高BEV特征的质量。然后，交叉注意力会融合条件扩散模型的输出与原始BEV特征。 DiffBEV可以接入不同的下游任务分支，并进行端到端的训练。

byzy·2023-10-01 18:21

推荐频道

对抗样本_论文笔记