对抗样本_论文笔记第13页

[论文笔记]DSSM

引言这是DSSM论文的阅读笔记，后续会有一篇文章来复现它并在中文数据集上验证效果。本文的标题翻译过来就是利用点击数据学习网页搜索中深层结构化语义模型，这篇论文被归类为信息检索，但也可以用来做文本匹配。这是一篇经典的工作，在DSSM之前，通常使用传统机器学习的方法，比如LSA、LDA来解决。本篇工作使文本匹配进入了深度学习时代。摘要在信息检索中要研究的问题是，给定一个查询(query)和一组文档(d

愤怒的可乐·2023-09-01 14:38

论文笔记: 深度学习速度模型构建的层次迁移学习方法 (未完)

摘要:分享对论文的理解,原文见JéromeSimon,GabrielFabien-Ouellet,ErwanGloaguen,andIshanKhurjekar,Hierarchicaltransferlearningfordeeplearningvelocitymodelbuilding,Geophysics,2003,R79–R93.这次的层次迁移应该指从1D到2D再到3D.摘要深度学习具有使

闵帆·2023-09-01 06:45

大模型综述论文笔记6-15

这里写自定义目录标题KeywordsBackgroudforLLMsTechnicalEvolutionofGPT-seriesModelsResearchofOpenAIonLLMscanberoughlydividedintothefollowingstagesEarlyExplorationsCapacityLeapCapacityEnhancementTheMilestonesofLang

王小燊oom·2023-09-01 06:13

[论文笔记oc-sort] Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking

本文作为OC-SORT的论文阅读记录，中间可能会加入自己的看法，由于是tracking这块的初学者，文中若有错误的认识麻烦读者帮忙修正。1前言OC-SORT是来自CVPR2022的一篇文章，采用的范式是MOT中的TBD（TrackingbyDetection）。虽然学术界中JDE的研究越来越多，2022年开始也有很多基于Transformer的方法效果非常不错，但是目前工业界还是使用TBD这种方式

你的小董_·2023-08-31 10:17

对于论文Semi-Supervised Classification with Graph Convolutional Networks，小白的学习理解

参考笔记：论文笔记：Semi-SupervisedClassificationwithGraphConvolutionalNetworks_hongbin_xu的博客-CSDN博客论文笔记：SEMI-SUPERVISEDCLASSIFICATIONWITHGRAPHCONVOLUTIONALNETWORKS_semisupervisedclassification

顺顺不吃竹笋·2023-08-30 21:07

论文笔记: 循环神经网络进行速度模型反演 (未完)

摘要:分享对论文的理解,原文见GabrielFabien-OuelletandRahulSarkar,Seismicvelocityestimation:Adeeprecurrentneural-networkapproach.Geophysics(2020)U21–U29.作者应该是领域专家,对地球科学的理解胜于深度学习.为方便讨论,等式编号保持与原文一致.1.术语common-midpoint

闵帆·2023-08-30 07:14

大模型综述论文笔记1-5

目录KeywordsIntroductionSLMNLMPLMLLMBackgroudforLLMsScalingLawsforLLMsKMscalinglawChinchillascalinglawEmergentAbilitiesofLLMsIn-contextlearningInstructionfollowingStep-by-stepreasoningKeyTechniquesforLL

王小燊oom·2023-08-30 07:13

论文解读《Adversarial training methods for semi-supervised text classification》

可显著增加机器学习模型所引起的损失对抗性实例的存在暴露了机器学习模型的脆弱性和局限性，也对安全敏感的应用场景带来了潜在的威胁；1.2对抗性训练训练模型正确分类未修改示例和对抗性示例的过程，使分类器对扰动具有鲁棒性目的：正则化手段，提升模型的性能（分类准确率），防止过拟合产生对抗样本

系统免驱动·2023-08-30 05:37

【论文笔记】Optimal Vehicle Path Planning Using Quadratic Optimization for Baidu Apollo Open Platform

yuan〇·2023-08-29 18:49

BEiT: BERT Pre-Training of Image Transformers 论文笔记

BEiT:BERTPre-TrainingofImageTransformers论文笔记论文名称：BEiT:BERTPre-TrainingofImageTransformers论文地址：2106.08254

迪菲赫尔曼·2023-08-28 16:06

【论文笔记】最近看的时空数据挖掘综述整理8.27

DeepLearningforSpatio-TemporalDataMining:ASurvey被引用次数：392[Submittedon11Jun2019(v1),lastrevised24Jun2019(thisversion,v2)]主要内容：该论文是一篇关于深度学习在时空数据挖掘中的应用的综述。论文首先介绍了时空数据挖掘的背景和意义，然后详细介绍了深度学习在时空数据挖掘中的应用，包括卷积神

RWLinno·2023-08-28 09:15

多模态之论文笔记BEiT, BEiT V2, BEiT V3

文章目录OverviewBEiT1.0.Summary1.1.BEiTVSBERT2.1.TwoViews:visualtokens2.1.TwoViews:imagepatches3.ResultsBEiTV21.0.Summary1.1.Motivation2.1.Methods--VQ-KD2.2.Methods--patchaggregation3.1.Results--imageclas

猴猴猪猪·2023-08-28 05:23

【论文笔记】Planning and Decision-Making for Autonomous Vehicles

文章目录Summary1.INTRODUCTION2.MOTIONPLANNINGANDCONTROL2.1.VehicleDynamicsandControl2.2.ParallelAutonomy2.3.MotionPlanningforAutonomousVehicles3.INTEGRATEDPERCEPTIONANDPLANNING3.1.FromClassicalPerceptiont

yuan〇·2023-08-27 08:47

关于credal set和credal decision tree的一点思考（其实就是论文笔记）

阅读Abellán老师的Credal-C4.5时，发现好难。。。然后又额外补充了一些论文，终于稍微懂一点点了，所以记录如下。credalset在DStheory的定义如下[1]：这句话的意思是（证据理论中的）credalset是一个概率的凸集，这里面的概率p(x)受到上界pl函数和下界bel函数的控制（约束），而p(x)是不定的，从而构成了一个集合。这个东西往外推广，得到如下形式：l(x)≤p(x

网绿눈_눈·2023-08-26 08:37

论文笔记-Simple and Deep Graph Convolutional Networks

论文：https://arxiv.org/pdf/2007.02133v1.pdf代码：https://github.com/chennnM/GCNIIGCN大都在模型很浅的情况下有用，层数加深时会发生过平滑，本文作者提出了GCNII，它是普通GCN模型加上两种简单而有效的技术：初始残差和单位映射。作者提供了理论和经验证据，证明这两种技术有效地缓解了过度平滑的问题。1.介绍基于图的模型，如GCN和

升不上三段的大鱼·2023-08-26 08:41

论文笔记：An iterative framework with active learning to match segments in road networks

CARTOGRAPHYANDGEOGRAPHICINFORMATIONSCIENCE20231intro1.1背景当地理实体以不同的方式表示和存储在不同的来源中时，匹配和整合使得可以获得更详细的空间数据。地图匹配的关键是寻找对象之间的匹配对应关系，并建立在不同数据库中表示相同地理实体的对象之间的关联关系传统的匹配方法主要基于利用对象的几何、属性和拓扑信息的相似性来获取匹配结果尽管这些自动匹配算法在

UQI-LIUWJ·2023-08-26 07:04

论文笔记： One Fits All:Power General Time Series Analysis by Pretrained LM

1intro时间序列领域预训练模型/foundation模型的研究还不是很多主要挑战是缺乏大量的数据来训练用于时间序列分析的基础模型——>论文利用预训练的语言模型进行通用的时间序列分析为各种时间序列任务提供了一个统一的框架论文还调查了为什么从语言领域预训练的Transformer几乎不需要任何改动就可以适应时间序列分析—预训练Transformer中的自注意模块通过训练获得了执行某些非数据相关操作

UQI-LIUWJ·2023-08-26 07:30

【计算机视觉|生成对抗】用于高保真自然图像合成的大规模GAN训练用于高保真自然图像合成的大规模GAN训练（BigGAN）

本系列博文为深度学习/计算机视觉论文笔记，转载请注明出处标题：LargeScaleGANTrainingforHighFidelityNaturalImageSynthesis链接：[1809.11096

远哥挺乐·2023-08-25 11:47

论文笔记：When Do Contrastive Learning Signals Help Spatio-TemporalGraph Forecasting?

2022SigSpatial1intro1.1背景论文认为数据稀缺是阻碍时空图（STG）预测的一个关键问题在这一领域的公共数据集通常只包含几个月的数据，限制了可以构建的训练实例数量——>学习模型可能会对训练数据过拟合，导致泛化性能较差自监督学习在graph任务中展现出巨大的潜力从数据本身中获取监督信号，通常利用数据的潜在结构大多数表现最佳的自监督方法都基于对比学习基本思想在具有类似语义（posit

UQI-LIUWJ·2023-08-25 05:57

Grounded Language-Image Pre-training论文笔记

Title：GroundedLanguage-ImagePre-trainingCode文章目录1.背景2.方法（1）UnifiedFormulation传统目标检测grounding目标检测（2）Language-AwareDeepFusion（3）Pre-trainingwithScalableSemantic-RichData3.实验（1）数据集简介（2）GLIP消融实验参考1.背景目前的视

Nick Blog·2023-08-25 05:53

论文笔记：从不平衡数据流中学习的综述: 分类、挑战、实证研究和可重复的实验框架

0摘要论文：Asurveyonlearningfromimbalanceddatastreams:taxonomy,challenges,empiricalstudy,andreproducibleexperimentalframework发表：2023年发表在MachineLearning上。源代码：https://github.com/canoalberto/imbalanced-stream

HenrySmale·2023-08-25 05:22

论文笔记：基于概念漂移的在线类非平衡学习系统研究

0摘要论文：ASystematicStudyofOnlineClassImbalanceLearningWithConceptDrift发表：2018年发表在TNNLS上源代码：？作为一个新兴的研究课题，在线类非平衡学习往往结合了类非平衡和概念漂移的挑战。它处理具有非常倾斜的类分布的数据流，其中可能发生概念漂移。它最近受到越来越多的研究关注;然而，很少有研究解决类失衡和观念漂移并存的综合问题。作为

HenrySmale·2023-08-25 05:22

论文笔记： MOGRIFIER LSTM

2020ICLR修改传统LSTM当前输入和隐藏状态充分交互，从而获得更佳的上下文相关表达1MogrifierLSTMLSTM的输入X和隐藏状态H是完全独立的机器学习笔记：GRU_gruc_UQI-LIUWJ的博客-CSDN博客这篇论文想探索，如果在输入LSTM之前，能让输入X和隐藏状态H做交互，那么性能能不能得到提升？——>论文提出了MogrifierLSTMi=0的时候，就是传统LSTM的输入和

UQI-LIUWJ·2023-08-25 05:22

【论文笔记】段俊张倩：晋察冀根据地《抗敌报》文艺副刊《海燕》研究（2021年6月） - 草稿

《抗敌报》是《晋察冀日报》的前身，出版时间为1937年12月11日至1940年11月7日。随着报社发展，日军暗中作梗…《抗敌报》在撰文揭露敌人阴谋的同时，谋划报纸改进，1940年11月7日，更名为《晋察冀日报》。《抗敌报》文艺副刊《海燕》确立的“改造灵魂的工作”宗旨，奠定了《晋察冀日报》时期文艺副刊的价值取向。学术界对《抗敌报》的研究现状：研究现状作者对研究现状的分析：作者对研究现状的分析（一）《

小靳姐姐要加油丫·2023-08-25 01:16

论文笔记-粗读-8.22~8.29

01-LearningStructuredSparsityinDeepNeuralNetworks原文：https://arxiv.org/pdf/1608.03665.pdf代码：https://github.com/wenwei202/caffe/tree/scnn文章采用结构化稀疏的方法对不同的结构进行修剪。最终将20层的ResNet修剪至18层，同时精度由92.25%提升至92.60%。f

ywsdxxzj·2023-08-24 20:16

论文笔记-精读-8.22-Manifold Regularized Dynamic Network Pruning

目录总结要解决的问题&解决的情况问题方法的优缺点优点缺点实验结果如何有哪些可以提升正文概要先验知识流型动态剪枝-Maniprune复杂性相似性总结关于本篇文所解决问题的总结写在前面，方便一些朋友阅读，也方便自己从具体的方法中跳脱出来，高屋建瓴、理清思路。要解决的问题&解决的情况问题主要是：staticprune达不到高的剪枝率，文章这是因为他们没有充分发掘输入中的信息；方法的优缺点直觉上，这个基于

ywsdxxzj·2023-08-24 20:16

2019-04-23论文笔记---Modelling Ontology Evaluation and Validation

ModellingOntologyEvaluationandValidation摘要：我们提出了一种全面的本体评估和验证方法，这已成为语义技术发展的关键问题。现有的评估方法通过正式模型集成到一个sigle框架中。该模型首先包括一个名为O2的元生物学，它将本体描述为符号学对象。基于O2和现有方法的分析，我们确定了三种主要的评估方法：结构测量，这是典型的本体表示为图形;功能性措施，与本体及其组件的预期

dsemlina·2023-08-24 17:48

攻和防谁更厉害？AI技术在恶意软件检测中的应用和对抗

AI技术的发展为网络安全带来新机遇的同时，黑客也在逐渐利用AI漏洞建立对抗样本以躲避攻击，双方在各自领域的更多尝试也将是AI技术发展的一场新博弈。

软件绿色联盟·2023-08-24 13:35

DETRs with Collaborative Hybrid Assignments Training论文笔记

Title：[DETRswithCollaborativeHybridAssignmentsTrainingCode文章目录1.Motivation2.onetooneVSonetomany3.Method（1）Encoderfeaturelearning（2）Decoderattentionlearning1.Motivation当前的DETR检测器中，为了实现端到端的检测，使用的标签分配策略是

Nick Blog·2023-08-24 06:09

论文笔记----DEPCOMM: Graph Summarization on System Audit Logs for Attack Investigation

本篇文章是最近IEEE的一篇论文-----DEPCOMM:GraphSummarizationonSystemAuditLogsforAttackInvestigation的阅读笔记，其中包含对DEPCOMM的基本介绍以及相关的一些扩展资料，水平有限，仅做学习记载。目录背景介绍高级持续威胁APT攻击的主要特点APT的攻击阶段基本概念介绍系统审计日志溯源图攻击检测攻击溯源依赖爆炸依赖爆炸问题为什么会

Mazeltov&&Iliua·2023-08-22 09:14

《TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image Segmentation》论文笔记

《TernausNet:U-NetwithVGG11EncoderPre-TrainedonImageNetforImageSegmentation》论文笔记论文链接TernausNet:U-NetwithVGG11EncoderPre-TrainedonImageNetforImageSegmentation

一场绮梦泪相似丶·2023-08-21 22:11

攻击AI模型之FGSM算法

【嵌牛正文】：概述在前面文章《对抗样本的基本原

七七_af9b·2023-08-21 02:35

论文笔记_机器学习:A general kernelization framework for learning algorithms based on kernel PCA

Abstract本文提出了一种学习算法的通用内核化框架；通过两个阶段实现，即先通过核主成分分析（KPCA）处理数据，然后直接用转换后的数据执行学习算法；本文会介绍这个核心框架，并证明了在一些条件下，这个框架下的内核化等同于传统的内核方法。实际上，大多数学习算法通常都满足这些温和的条件；因此，大多数学习算法都可以在此框架下进行内核化，而无需重新构造为内积形式——传统内核方法中常见且至关重要的一步；在

Lr_AI·2023-08-21 00:19

[论文笔记]Layer Normalization

引言这是论文神作LayerNormalization的阅读笔记。训练深层神经网络是昂贵的，减少训练时间的一种方法是归一化神经元的激活。批归一化(Batchnormalization,BN)利用小批量的训练样本中神经元累加输入的分布来计算均值和方差，然后用这些统计量来对每个训练样本中神经元的累加输入进行归一化。这种技术显著地减少了前馈网络的训练时间。然而，批归一化的效果依赖于小批量大小，并且效果在R

愤怒的可乐·2023-08-20 14:08

Learning to Super-resolve Dynamic Scenes for Neuromorphic Spike Camera论文笔记

摘要脉冲相机使用了“integrateandfire”机制来生成连续的脉冲流，以极高的时间分辨率来记录动态光照强度。但是极高的时间分辨率导致了受限的空间分辨率，致使重建出的图像无法很好保留原始场景的细节。为了解决这个问题，这篇文章提出了SpikeSR-Net来从低分辨率二进制脉冲流中恢复出高像素图像。Spike-Net基于脉冲相机模型进行设计，融合和基于模型和学习的方法。为了解决二进制数据有限的表

爱嘤嘤的小猪仔·2023-08-20 13:03

【计算机视觉|生成对抗】StackGAN：使用堆叠生成对抗网络进行文本到照片逼真图像合成

本系列博文为深度学习/计算机视觉论文笔记，转载请注明出处标题：StackGAN:TexttoPhoto-realisticImageSynthesiswithStackedGenerativeAdversarialNetworks

远哥挺乐·2023-08-20 10:46

论文笔记之Heterogeneous Graph Attention Network

论文笔记之HeterogeneousGraphAttentionNetwork一、本文贡献提出了一种基于分层注意的异构图神经网络（HAN），包括节点级和语义级注意，同时考虑了节点和元路径的重要性，并具有较高的效率

附子Jun·2023-08-20 08:47

GRAPH ATTENTION NETWORKS ICLR 2018 论文笔记

本文首次提出将Attention机制用于图神经网络，代替之前相关GCN工作中的频域方法：基于谱域的拉普拉斯特征值分解（计算开销大，没有空域意义上的滤波性）；基于空域的方法：直接聚合图节点的邻居节点。以上方法存在的问题是：谱域的方法计算开销大，空域的方法很难在不同数量的邻居节点间像CNN的卷积那样具有权重共享的性质。本文提出的注意力机制结构有三个有点：①计算开销小②可以通过给邻居节点不同的权重来处理

Raining.Chan·2023-08-20 08:47

【论文笔记】GRAPH ATTENTION NETWORKS

本文提出了一种新的在图结构网络中的神经网络结构GATs，利用掩蔽的自我注意层来解决先前基于图卷积或其近似的方法的缺点。通过堆叠层数来使节点可以从其邻居节点聚合特征，一大特点是GATs可以为不同的邻居节点分配不同权重，并且GATs不需要复杂的矩阵运算、不需要事先知道图结构（求拉普拉斯矩阵）1、简介CNNs已经成功应用在很多具有网格结构的数据的问题中,但是有很多任务的数据不能表示成网格结构，例如人际关

WhisperEcho101·2023-08-20 08:46

【GAT】GRAPH ATTENTION NETWORKS论文笔记

GRAPHATTENTIONNETWORKS摘要1Introduction2GAT体系结构2.1GRAPHATTENTIONALLAYER(图注意层)2.2与相关工作的比较3评估3.1数据集3.2最先进的方法3.3实验设置3.4结果4结论摘要GCN将局部的图结构和节点特征结合在节点分类任务中获得好的表现。但GCN及其近似模型有两点不足：一是结合邻近节点特征的方式和图结构相关，限制模型泛化能力；二是

JBY-ZQ·2023-08-20 08:46

论文笔记 Graph Attention Networks

2018ICLR1intro1.1.GCN的不足无法完成inductive任务inductive任务是指：训练阶段与测试阶段需要处理的graph不同。通常是训练阶段只是在子图上进行，测试阶段需要处理未知的顶点。GGN的参数依赖于邻接矩阵A/拉普拉斯矩阵L，所以换了一张图，就会有不同的A和L处理有向图的瓶颈，不容易实现分配不同的学习权重给不同的邻居1.2本文思路引入maskedself-attent

UQI-LIUWJ·2023-08-20 08:14

论文笔记：Continuous Trajectory Generation Based on Two-Stage GAN

2023AAAI1intro1.1背景建模人类个体移动模式并生成接近真实的轨迹在许多应用中至关重要1）生成轨迹方法能够为城市规划、流行病传播分析和交通管控等城市假设分析场景提供仿仿真数据支撑2）生成轨迹方法也是目前促进轨迹数据开源共享与解决轨迹数据隐私问题的可行解决方案在不泄漏移动轨迹数据中个人隐私的情况下实现轨迹数据的开源共享eg，某出行公司A拥有城市内的出租车轨迹数据，而某共享自行车公司B拥有

UQI-LIUWJ·2023-08-20 08:14

【论文笔记】基于指令回译的语言模型自对齐-MetaAI

MetaAI最近发布的Humpback，论文链接：https://arxiv.org/abs/2308.06259解决什么问题？大量高质量的指令微调数据集的生成。思路在这项工作中，我们通过开发迭代自训练算法来利用大量未标记的数据来创建高质量的指令调优数据集。该方法使用模型本身来增强和管理高质量的训练样例，以提高其自身的性能。我们的方法名为指令反翻译(instructionbacktranslati

代码搬运工小菜狗·2023-08-19 09:10

【论文笔记】Attention is all you need

在阅读本文之前，关于self-attention的详细介绍，比较全面的transformer总结看之前copy的这篇文章。有了self-attention的基础之后再看这篇论文，感觉就容易了。论文：Attentionisallyouneed。文章目录1-2Introduction&Background3ModelArchitecture3.1EncoderandDecoderStacks3.2At

changreal·2023-08-19 08:51

[论文笔记]ON LAYER NORMALIZATION IN THE TRANSFORMER ARCHITECTURE

引言这是论文ONLAYERNORMALIZATIONINTHETRANSFORMERARCHITECTURE的阅读笔记。本篇论文提出了通过Pre-LN的方式可以省掉Warm-up环节，并且可以加快Transformer的训练速度。通常训练Transformer需要一个仔细设计的学习率warm-up(预热)阶段：在训练开始阶段学习率需要设成一个极小的值，然后在一些迭代后逐步增加。这个阶段对于Tran

愤怒的可乐·2023-08-19 08:49

【计算机视觉|生成对抗】逐步增长的生成对抗网络（GAN）以提升质量、稳定性和变化

本系列博文为深度学习/计算机视觉论文笔记，转载请注明出处标题：ProgressiveGrowingofGANsforImprovedQuality,Stability,andVariation链接：[1710.10196

远哥挺乐·2023-08-19 06:20

【计算机视觉|生成对抗】非配对图像到图像的翻译：使用循环一致对抗网络（CycleGAN）

本系列博文为深度学习/计算机视觉论文笔记，转载请注明出处标题：UnpairedImage-to-ImageTranslationUsingCycle-ConsistentAdversarialNetworks

远哥挺乐·2023-08-17 18:13

【论文笔记】A survey on security and privacy of federated learning（综述）

我的博客园：https://www.cnblogs.com/MaplesWCT/AsurveyonsecurityandprivacyoffederatedlearningAuthorsViraajiMothukuri,RezaM.Parizi,SeyedaminPouriyeh,YanHuang,AliDehghantanha,GautamSrivastavaKeywordsArtificial

你的莽莽没我的好吃·2023-08-16 18:53

最新论文笔记(+4)：Blockchain-Based Solutions to Security and Privacy Issues in the Internet of Things

Blockchain-BasedSolutionstoSecurityandPrivacyIssuesintheInternetofThings(基于区块链的物联网安全和隐私问题解决方案)这篇论文是基于区块链技术在物联网中解决安全和隐私问题的一个研究综述，可想而知在物联网中解决安全和隐私问题，是两个比较重要的属性。本文提到了物联网已经普遍应用于我们的各个场景，包括在智能家居和智慧城市中的应用，并开

cryptocxf·2023-08-16 18:22

[论文笔记]Glancing Transformer for Non-Autoregressive Neural Machine Translation

引言这是论文GlancingTransformerforNon-AutoregressiveNeuralMachineTranslation的笔记。传统的非自回归文本生成速度较慢，因为需要给定之前的token来预测下一个token。但自回归模型虽然效率高，但性能没那么好。这篇论文提出了GlancingTransformer，可以只需要一次解码，并行地文本生成。并且效率不输于Transformer这

愤怒的可乐·2023-08-16 07:48

推荐频道

对抗样本_论文笔记