kdd论文笔记第11页

阅读论文笔记：High-Resolution Image Synthesis with Latent Diffusion Models

论文标题：High-ResolutionImageSynthesiswithLatentDiffusionModels翻译：基于潜扩散模型的高分辨率图像合成参考链接：https://zhuanlan.zhihu.com/p/582693939前备知识：首先需要学习扩散模型了解上采样(放大图片)和下采样(缩小图片)下采样目的：1.使得图像符合显示区域的大小2.生成对象图像的缩略图摘要：模型通常直接在

小源0·2023-10-08 07:22

【计算机视觉|人脸建模】学习从图像中回归3D面部形状和表情而无需3D监督

本系列博文为深度学习/计算机视觉论文笔记，转载请注明出处标题：LearningtoRegress3DFaceShapeandExpressionfromanImagewithout3DSupervision

远哥挺乐·2023-10-08 04:49

【论文笔记】—深度残差网络—ResNet—2015-CVPR

论文介绍《用于图像识别的深度残差学习》通过残差模块解决深层网络的退化问题，大大提升神经网络深度，各类计算机视觉任务均从深度模型提取出的特征中获益。ResNet获得2015年ImageNet图像分类、定位、目标检测竞赛冠军，MSCOCO目标检测、图像分割冠军。并在ImageNet图像分类性能上超过人类水平。题目：DeepResidualLearningforImageRecognitionDOI：

chaiky·2023-10-08 00:38

Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning 论文笔记

Abstract近年来，机器视觉图像识别领域取得了很大的突破，非常深的卷积神经网络为此立下首功。一个典型的例子是Inception结构在一个相对较低的计算代价下取得了较好的性能。ILSVRC2015竞赛中残差连接和传统网络结构相结合取得了state-of-the-art的性能，几乎和InceptionV3网络相近。因此我们自然而然的想到，把Inception结构和残差连接进行结合，会不会更好？作者

hrsstudy·2023-10-08 00:07

论文笔记-BOFFIN TTS: FEW-SHOT SPEAKER ADAPTATION BY BAYESIAN OPTIMIZATION

BOFFINTTS:FEW-SHOTSPEAKERADAPTATIONBYBAYESIANOPTIMIZATION链接：https://arxiv.org/abs/2002.01953相关代码：暂无摘要本文提出基于贝叶斯优化的迁移学习TTS方法，简称BOFFINTTS（BayesianOptimizationForFinetuningNeuralTextToSpeech）。本文的目标是使用少量目标

静夜寒风·2023-10-06 21:43

《Attention Is All You Need》论文笔记

下面是对《AttentionIsAllYouNeed》这篇论文的浅读。参考文献：李沐论文带读HarvardNLP《哈工大基于预训练模型的方法》下面是对这篇论文的初步概览：对Seq2Seq模型、Transformer的概括：下面是蒟蒻在阅读完这篇论文后做的一些笔记：为什么会出现“注意力机制”？基于循环神经网络的序列到序列模型有一个基本假设，就是原始序列的最后一个隐含状态（一个向量）包含了该序列的全部

卷心菜不卷Iris·2023-10-06 17:43

数智交蓉聚变启航 — KDD China 2023数智未来高峰论坛暨KDD China 2023 Summer School会议笔记

PPT截图版权来自微信公众号言十爱，西南交通大学计算机与人工智能学院官号笔记按照报告类别划分而非报告时间划分，且笔记和感想仅为个人浅见可能存在分类分得比较抓马的情况，主要是初学者搞不清细类别目录1.联邦学习1.1.可信联邦学习和联邦大模型-杨强1.2.时空大数据联邦计算-童咏昕1.3.可信联邦学习的多目标优化-范力欣1.4.基于知识流动的联邦学习-刘洋2.城市2.1.城市计算：从理论体系到产业实践

夏莉莉iy·2023-10-06 13:38

【计算机视觉|人脸建模】学习从4D扫描中获取的面部形状和表情的模型

本系列博文为深度学习/计算机视觉论文笔记，转载请注明出处标题：Learningamodeloffacialshapeandexpressionfrom4Dscans链接：Learningamodeloffacialshapeandexpressionfrom4Dscans

远哥挺乐·2023-10-06 11:16

论文笔记：Can Adversarial Training benefit Trajectory Representation? AnInvestigation on Robustness for

CanAdversarialTrainingbenefitTrajectoryRepresentation?AnInvestigationonRobustnessforTrajectorySimilarityComputation22CIKM1intro1.1背景与传统基于成对轨迹点的TSC（trajectorysimilaritycomparison）相比，基于深度学习生成的向量的TSC具有较低

UQI-LIUWJ·2023-10-06 01:17

【论文笔记】Task and Motion Planning with Large Language Models for Object Rearrangement

【论文笔记】TaskandMotionPlanningwithLargeLanguageModelsforObjectRearrangementAbstract研究目标：多目标重排是服务机器人的关键技能

Ctrl+Alt+L·2023-10-04 22:26

【论文笔记】Ground Manipulator Primitive Tasks to Executable Actions using Large Language Models

【论文笔记】GroundManipulatorPrimitiveTaskstoExecutableActionsusingLargeLanguageModelsAbstract研究目标：解决从高层任务到低层机器人执行指令的转换问题

Ctrl+Alt+L·2023-10-04 22:26

High-Resolution Image Synthesis with Latent Diffusion Models 稳定扩散模型论文笔记

一、研究现状早期图像生成方法主要是变分自动编码器（VariationalAutoencoders,VAEs)，该算法利用编码器和解码器以及变分推断的方法学习隐空间到真实图像空间的映射从而完成图像的生成。其优势是特征空间可迁移并且训练较为稳定，但是不容易进行模型评估，当输入的图像数据的分布情况复杂时，其学习到的特征泛化能力不足，而且生成的图像模糊。生成对抗网络(GenerativeAdversari

密涅瓦的鹰头猫·2023-10-04 22:38

【论文笔记】Cross Modal Transformer: Towards Fast and Robust 3D Object Detection

原文链接：https://arxiv.org/abs/2301.012831.引言受到DETR启发，本文提出鲁棒的端到端多模态3D目标检测方法CMT（跨模态Transformer）。首先使用坐标编码模块（CEM），通过将3D点集隐式地编码为多模态token，产生位置感知的特征。对图像分支，从视锥空间采样的3D点用来表达每个像素3D位置的概率；对激光雷达分支，将BEV坐标直接编码为点云token

byzy·2023-10-04 15:34

【论文笔记】SparseFusion: Fusing Multi-Modal Sparse Representations for Multi-Sensor 3D Object Detection

原文链接：https://arxiv.org/abs/2304.143401.引言目前的3D目标检测工作都使用模态的密集表达（如BEV、体素、点云），但由于我们只对实例/物体感兴趣，这种密集表达是冗余的。此外，背景噪声对检测有害，且将多模态对齐到同一空间很耗时。相反，稀疏表达很高效且能达到SotA性能。通常，使用稀疏表达的方法使用物体查询表示物体或实例，并与原始图像和点云特征交互。本文

byzy·2023-10-04 15:33

TransFusion:Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers 论文笔记

原文链接：https://arxiv.org/pdf/2203.11496.pdf1.引言目前的融合方法分为结果级融合、提案级融合以及点级融合。结果级融合在图像上进行2D检测，然后提升到3D空间生成3D提案，再通过PointNet进行边界框估计；提案级融合使用RoI池化操作在共享的提案内融合多模态特征。这些粗粒度的融合方法性能不佳，因为矩形提案内有大量背景噪声。点级融合性能更佳，即通过校准矩阵建立

byzy·2023-10-04 15:03

TransFusion论文笔记

论文名称：TransFusion:RobustLiDAR-CameraFusionfor3DObjectDetectionwithTransformers论文链接：https://arxiv.org/pdf/2203.11496v1.pdf代码链接：https://github.com/xuyangbai/transfusion1引言图1如图1所示，左图是照明较差的例子，右图是由于点云的稀疏性，使

高分锻炼队友·2023-10-04 15:02

【论文笔记】检索还是生成回复？RAG：我都要

目录引言模型结构第一部分：Retriever第二部分：Generator实验结果结果分析总结引言在问答和对话的场景下，通常可以通过检索和生成两种方式得到一个回复。检索式回复是在外部知识库中检索出满意的回复，较为可靠和可控，但回复缺乏多样性；而生成式回复则依赖于强大的语言模型中储存的内部知识，不可控，解释性差，但能生成更丰富的回复。把检索和生成结合起来，FacebookAIresearch联合UCL

iLuz·2023-10-04 13:50

[论文笔记]BitFit

引言今天带来一篇参数高效微调的论文笔记，论文题目为基于Transformer掩码语言模型简单高效的参数微调。BitFit，一种稀疏的微调方法，仅修改模型的偏置项(或它们的子集)。

愤怒的可乐·2023-10-04 05:17

《UNILMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training》论文笔记

UniLMsUniLMs由《UnifiedLanguageModelPre-trainingforNaturalLanguageUnderstandingandGeneration》（2019）提出，其核心是通过不同的注意力机制，在同一模型下进行UnidirectionalLanguageModel，BidirectionalLanguageModel，与SequencetoSequenceLan

凯子要面包·2023-10-04 01:26

【论文笔记】融合标签向量到BERT：对文本分类进行改进

论文简介：融合标签嵌入到BERT：对文本分类进行有效改进论文标题：FusingLabelEmbeddingintoBERT:AnEfficientImprovementforTextClassification论文链接：https://aclanthology.org/2021.findings-acl.152.pdf论文作者：{YijinXiongetc.}论文摘要随着BERT等预先训练模型获得

致Great·2023-10-04 01:26

论文笔记|Unified Language Model Pre-training for Natural Language Understanding and Generation

任@燕山大学论文来源代码地址前言预训练语言模型提高了NLP任务的技术水平。对不同类型的语言模型进行预训练时，使用了不同的预测任务和训练目标，如下表所示。ELMo：学习两个单向LM，正向LM从左到右读取文本，反向LM从右到左编码文本。GPT：使用从左到右的Transformer逐字预测文本序列。BERT：采用双向Transformer编码器，结合左右上下文来预测掩码。BERT显著提高了许多NLP任务

期待成功·2023-10-04 01:56

论文笔记 Unified Language Model Pre-training for Natural Language Understanding and Generation

一、干啥用的？一个新的预训练语言模型(UNILM)，它可以用于自然语言理解NLU和生成任务NLG。UNILM由多个语言建模目标共同预训练，共享相同的参数。二、和别的pre-train模型有啥区别？UNILM是一个多层Transformer网络，使用三种类型的语言建模任务进行预训练:单向(包括l-to-r和r-to-l)、双向和seq2seq预测。该模型在大量文本上联合预训练，针对三种类型的无监督语

RunningQzh·2023-10-04 01:56

论文笔记 -《All NLP Tasks Are Generation Tasks: A General Pre-training Framework》

1、摘要随着NLP技术的发展，越来越多的新的预训练架构不断刷榜，包括自回归模型(例如GPT)、自动编码模型(例如BERT)和编码器-解码器模型(例如T5)。自然语言处理任务在本质可以分为分类、无条件生成和条件生成。但是，目前没有一个预训练框架能够很好地完成所有任务。而在本文中，提出了一种通用语言模型(GeneralLanguageModel，GLM)来解决这个问题。GLM模型结构有三个主要优点

*Lisen·2023-10-04 01:56

预训练模型论文笔记01

一、《Pre-trainedModelsforNaturalLanguageProcessing:ASurvey》1、第一种预训练模型是为了学习更好的wordembedding，例如skip-gram、glove。他们不需要下游任务，也就不需要太大的计算量。尽管可以得到语义信息，但是它们与上下文无关，无法在上下文中捕获更高级别的概念，例如多义词消歧、句法结构、语义角色、回指。2、第二种预训练模型为

爱工作的小小酥·2023-10-04 01:26

【论文笔记】NLP 预训练模型综述

Pre-trainedModelsforNaturalLanguageProcessing:ASurvey花了一上午看完的综述，强烈推荐每个NLPer都读一读，很长一段时间内都能当做工具书来用（下一个break-through来临前）。这篇作为笔记就记录下一些个人认为的重点，方便日后查阅。（不解释基础概念/模型，适合熟悉PTMs的人阅读）先来说说为啥要用预训练模型：在大语料下预训练的模型可以学习到

zenRRan·2023-10-04 01:25

[论文笔记]UNILM

引言今天带来论文UnifiedLanguageModelPre-trainingforNaturalLanguageUnderstandingandGeneration的笔记，论文标题是统一预训练语言模型用于自然语言理解和生成。本篇工作提出了一个新的统一预训练语言模型(Unifieldpre-trainedLanguageModel,UniLM)，可以同时用于自然语言理解和生成任务的微调。该模型基

愤怒的可乐·2023-10-04 01:25

【论文笔记】—— Survey of Deep Reinforcement Learning for Motion Planning of Autonomous Vehicles

文章目录AbstractI.INTRODUCTIONII.MODELINGFORREINFORCEMENTLEARNINGA.VehiclemodelingB.SimulatorsC.ActionSpaceD.RewardingE.ObservationSpaceIII.SCENARIO-BASEDCLASSIFICATIONOFTHEAPPROACHESIV.FUTURECHALLENGESAb

yuan〇·2023-10-04 01:55

论文笔记：TrajGAT: A Graph-based Long-term Dependency ModelingApproach for Trajectory Similarity Computa

2022KDD1intro1.1背景经典相似性度量（DTW,Hausdorff等）复杂度高，限制了它们在大规模轨迹分析中的应用，成为计算轨迹相似性的实际瓶颈。

UQI-LIUWJ·2023-10-03 14:28

论文笔记_Network in Network

文章目录摘要1.介绍2.卷积神经网络3.NetworkinNetwork3.1MLP卷积层3.2全局平均池化3.3NIN网络架构4.实验4.1实验概述4.2CIFAR-104.3CIFAR-1004.4StreetViewHouseNumbers数据集4.5MNIST4.6全局平均池化作为正则化项4.7NIN的可视化5.总结延伸参考文献：摘要本文提出一个叫做NetworkinNetwork(N

你搁这儿写bug呢？·2023-10-02 16:32

NIN 论文笔记

NIN:NetworkInNetwork摘要：我们提出了一个名为‘NetworkInNetwork(NIN)’的深度网络，去提高模型对于局部感受野的localpathes的判别力。传统的卷积层使用线性filters结构。取而代之，我们构建了一个更复杂的神经网络结构去abstract局部感受野的data。我们使用通用近似模块MLP来构建这个复杂神经网络。改进后的网络的featuremaps的计算方式

黑暗星球·2023-10-02 16:32

Network in Network论文笔记

NetworkinNetworkIntroduction传统卷积：广义线性模型（GeneralizedLinerModel，GLM），提取的浅层特征。只有数据线性可分时可以达到好的效果。NIN：利用非线性模块（micronetwork，本文采用多层感知机——mlpconv）代替GLM。GLM提取局部的线性特征，mlpconv包含多层感知机和全连接层。两者都是滑动窗形式提取局部特征。NIN由mlpc

huhu_hhh·2023-10-02 16:01

论文笔记：Network in Network

1.Motivation:convlayersuseGLM(WX+b)toextractfeatures;thelevelofabstractionislow(latentfeaturesarelinearlyseperable)==>useMLP(canapproximateanyfunctions,whereasmaxoutonlyapproximatesconvexfunctions,and

John2King·2023-10-02 16:01

【论文笔记】Reconstructing Training Data with Informed Adversaries

ReconstructingTrainingDatawithInformedAdversaries摘要&介绍由于机器学习模型可以有“记忆”功能，那么当训练数据涉及隐私信息时，若被攻击者还原出原始训练数据，就会很危险。这个论文就是探讨这样的攻击是否可能。所有的训练数据中，只有一个是未知的。目标就是还原出这一个未知的数据样本，找到攻击的方式、泄露多少信息可以达到被还原、哪些特性会导致可还原、自我检查模

sugar_e·2023-10-02 16:30

[论文笔记]GLM

引言今天带来论文GLM:GeneralLanguageModelPretrainingwithAutoregressiveBlankInfilling的笔记。论文中文标题为通用语言模型预训练与自回归填空。有很多不同类型的预训练架构，包括自编码模型(BERT、RoBERTa、ALBERT)、自回归模型(GPT系列)以及编码器-解码器模型(T5、MASS、BART、PALM)。然而，没有任何预训练框架

愤怒的可乐·2023-10-02 16:00

论文笔记：TMN: Trajectory Matching Networks for PredictingSimilarity

2022ICDE1intro1.1背景轨迹相似度可以划分为：非学习度量方法通常是为一两个特定的轨迹距离度量设计的，因此不能与其他度量一起使用通常需要二次时间（O(n^2)）来计算轨迹之间的精确距离基于学习的度量方法利用机器学习技术学习轨迹的适当表示，用于任何一种距离度量在预处理阶段（训练阶段？）之后，数据库中的每条轨迹都被转换成d维空间中的一个向量然后，两条轨迹之间的相似性可以通过两个相应向量之间

UQI-LIUWJ·2023-10-02 16:55

SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models 论文笔记

前言由于大多数基于卷积神经网络或者Attention机制的超分辨模型大部分都是PSNR主导的，即用PSNR作为损失函数进行训练，这会导致超分辨图像过度平滑的问题，也就是超分辨后的图像高频信息不能很好保留，并且超分辨的图像较为固定，对于超分辨这种不适定问题来说不太合适。另外一种超分辨模型是基于GAN进行图像生成，会存在训练困难、模型不稳定的问题。于是论文提出了基于扩散模型的超分辨模型，具有特点如下：

Unsunshine_Bigboy_?·2023-10-02 15:40

KDD 2019论文解读：多分类下的模型可解释性

日前，由阿里巴巴研究型实习生张雪舟、蚂蚁金服高级算法专家娄寅撰写的论文《AxiomaticInterpretabilityforMulticlassAdditiveModels》入选全球数据挖掘顶级会议KDD2019

婉妃·2023-10-02 03:40

论文笔记：Contrastive Trajectory Similarity Learning withDual-Feature Attention

ICDE20231intro1.1背景轨迹相似性，可以分为两类启发式度量根据手工制定的规则，找到两条轨迹之间基于点的匹配学习式度量通过计算轨迹嵌入之间的距离来预测相似性值上述两种度量的挑战：无效性：具有不同采样率或含有噪声的轨迹会降低现有度量的有效性使用手工制定规则的启发式度量容易受到低质量轨迹的错误影响学习式度量主要采用并非最初为轨迹数据设计的深度学习模型，可能无法捕捉轨迹点之间以及相似轨迹之间

UQI-LIUWJ·2023-10-01 20:45

【论文笔记】SVDM: Single-View Diffusion Model for Pseudo-Stereo 3D Object Detection

原文链接：https://arxiv.org/abs/2307.022701.引言目前的从单目相机生成伪传感器表达的方法依赖预训练的深度估计网络。这些方法需要深度标签来训练深度估计网络，且伪立体方法通过图像正向变形合成立体图像，会导致遮挡区域的像素伪影、扭曲、孔洞。此外，特征级别的伪立体图生成很难直接应用，且适应度有限。那么如何绕过深度估计，在图像层面设计透视图生成器呢？和GAN相比，扩散

byzy·2023-10-01 18:22

【论文笔记】DiffBEV: Conditional Diffusion Model for Bird’s Eye View Perception

原文链接：https://arxiv.org/abs/2303.083331.引言通常，相机参数和激光雷达扫描的噪声会使BEV特征带有有害的噪声。扩散模型有去噪能力，能将有噪声样本还原为理想数据。本文提出DiffBEV，使用条件扩散概率模型（DPM）提高BEV特征的质量。然后，交叉注意力会融合条件扩散模型的输出与原始BEV特征。 DiffBEV可以接入不同的下游任务分支，并进行端到端的训练。

byzy·2023-10-01 18:21

【论文笔记】DiffusionTrack: Diffusion Model For Multi-Object Tracking

原文链接：https://arxiv.org/abs/2308.099051.引言多目标跟踪通常分为两阶段的检测后跟踪（TBD）和一阶段的联合检测跟踪（JDT）。TBD对单帧进行目标检测后，使用跟踪器跨帧关联相同物体。使用的跟踪器包括使用卡尔曼滤波器的基于运动的跟踪、使用重新识别技术关联物体、基于图的跟踪器（将关联过程建模为最小代价流问题）。 JDT方法统一处理跟踪与检测，可分为3类：基于查

byzy·2023-10-01 18:20

1 论文笔记：Efficient Trajectory Similarity Computation with ContrastiveLearning

2022CIKM1intro1.1背景轨迹相似度计算是轨迹分析任务（相似子轨迹搜索、轨迹预测和轨迹聚类）最基础的组件之一现有的关于轨迹相似度计算的研究主要可以分为两大类：传统方法DTW、EDR、EDwP等二次计算复杂度O(n^2)缺乏稳健性会受到非均匀采样、噪点的影响基于学习的方法旨在减少计算复杂度和/或提高稳健性根据它们的目的将它们分为两个方向神经逼近方法利用强大的神经网络在隐藏空间中逼近任何现

UQI-LIUWJ·2023-10-01 06:49

A Simple Baseline for multi-object Tracking(FairMOT)论文阅读笔记

FairMOT论文笔记（一）Title（二）Summary（三）ResearchObejct（四）ProblemStatement（五）Method5.1backbone5.2ObjectDetectionBranch5.3IdentityEmbeddingBranch5.4LossFunctions5.5

不知道叫啥好一点·2023-09-30 18:18

[论文笔记]MacBERT

引言今天带来MacBERT的阅读笔记。论文题目是重新审视中文自然语言处理的预训练模型。本篇主要是探讨中文预训练语言模型在非英文语言中的有效性，然后提出了一种简单而有效的模型，称为MacBERT，它在多个方面改进了RoBERTa，特别是采用纠错型掩码语言模型(MLMascorrection,Mac)的掩码策略。通过实验表明MacBERT在很多NLP任务中能取得SOTA结果。总体介绍BERT已经变成N

愤怒的可乐·2023-09-30 10:15

对比学习算法在转转的实践

ContrastiveLearning,CL）是近年来AI领域的热门研究方向，吸引了众多研究学者的关注，其所属的自监督学习方式，更是在ICLR2020被Bengio和LeCun等大佬点名称为AI的未来，后陆续登陆NIPS,ACL,KDD

转转技术团队·2023-09-30 08:08

CRS(3)阅读笔记：2020KDD - Interactive Path Reasoning on Graph for Conversational Recommendation

阿瑟_TJRS·2023-09-29 23:18

论文笔记----MEAL V2

MEALV2:BoostingVanillaResNet-50to80%+Top-1AccuracyonImageNetwithoutTricks∗原文链接：https://arxiv.org/pdf/2009.08453v1.pdf代码：https://github.com/szq0214/MEAL-V2简介作者提出了一种非常简单高效的提升ResNet网络性能的方案。即：多老师版的知识蒸馏模型加

静夜寒风·2023-09-29 22:42

论文笔记 Inference in Deep Gaussian Processes using Stochastic Gradient Hamiltonia使用随机梯度哈密顿量蒙特卡罗推理深度高斯过程

使用随机梯度哈密顿量蒙特卡罗推理深度高斯过程0.摘要深度高斯过程(DGP)是高斯过程的层次概括，它将经过良好校准的不确定性估计与多层模型的高度灵活性相结合。这些模型的最大挑战之一是精确推断是难以处理的。当前最先进的推理方法变分推理(VI)对后验分布采用高斯近似。这可能是一般多峰后验的潜在较差的单峰近似。在这项工作中，我们为后验的非高斯性质提供了证据，并且我们应用随机梯度哈密顿蒙特卡罗方法来生成样本

风尘23187·2023-09-29 17:31

【多模态】AIGC论文笔记整理（持续更新）

AIGCDiffusionModels【202012】DenoisingDiffusionProbabilisticModels（DDPM）【202102】ImprovedDenoisingDiffusionProbabilisticModels（ImprovedDDPM）【202103】LearningTransferableVisualModelsFromNaturalLanguageSupe

Carl39·2023-09-29 17:31

KDD 2020捷报 | 第四范式斩获KDD Cup全球冠军 AutoML挑战赛圆满落幕

近日，一年一度的国际数据挖掘顶级会议KDD正在如火如荼的进行。

weixin_43798812·2023-09-29 15:38

推荐频道

kdd论文笔记