KBQA论文笔记第12页

Ensemble distillation for robust model fusion in federated learning论文笔记

本文将集成蒸馏运用在联邦学习的模型融合中，并且可以通过未标记的数据或者生成器生成的数据（例如gan）来进行进行模型融合。这让不同客户端的模型异构的前提下，降低了数据隐私泄露的程度。同时实验表明，本文提出的方法练速度更快，比任何现有的FL技术所需的通信轮数更少。论文地址：ENSEMBLEDISTILLATIONFORROBUSTMODELFUSIONINFEDERATEDLEARNING2020

Zoran_卓·2023-09-11 06:04

论文笔记-Masked Autoencoders Are Scalable Vision Learners

论文地址：https://arxiv.org/pdf/2111.06377.pdf代码：https://github.com/lucidrains/vit-pytorch#masked-autoencoder一句话简介：随机mask掉高比例imagepatch，输入一个非对称的autoencoder，encoder是ViT，decoder是Transformer，效果好。1.介绍现在的深度学习模型

升不上三段的大鱼·2023-09-10 13:22

[论文笔记] 损失函数整理

[论文笔记]损失函数整理损失函数集合损失函数对于机器学习，就像一把尺子，用来度量模型，指导模型训练用，因此损失函数的设计和模型结构设计一样重要。

LittleStudent12·2023-09-09 19:26

论文笔记：CVPR2023 IRRA—隐式推理细粒度对齐模型，语言行人检索任务新SOTA，CUHK-PEDES数据集Rank-1可达73.38%！

目录论文基本信息引言模型模态编码器ImplicitRelationReasoning模块与MLM任务SimilarityDistributionMatching结果论文基本信息论文：Cross-ModalImplicitRelationReasoningandAligningforText-to-ImagePersonRetrieval代码：https://github.com/anosorae/

酥三苹·2023-09-09 11:22

"Deep Facial Expression Recognition: A Survey"论文笔记

introductionFERsystemscanbedividedintotwomaincategoriesaccordingtothefeaturerepresentations:staticimageFERanddynamicsequenceFER.（时空信息）Themajorityofthetraditionalmethodshaveusedhandcraftedfeaturesorsha

我写代码像cxk·2023-09-09 07:01

[论文笔记] uGrapher: High-Performance Graph Operator Computation via Unified Abstraction for GNN

uGrapher:High-PerformanceGraphOperatorComputationviaUnifiedAbstractionforGraphNeuralNetworksuGraper:通过图神经网络的统一抽象实现高性能图算子计算[Paper][Presentation]ASPLOS’23摘要提出了uGrapher,一个为不同图算子和数据集实现通用高性能的统一接口.现有GNN框架易集

PeakCrosser·2023-09-09 07:49

[论文笔记] Gemini: A Computation-Centric Distributed Graph Processing System

Gemini:AComputation-CentricDistributedGraphProcessingSystemGemini:以计算为中心的分布式图处理系统[Paper][Slides][Code]OSDI’16摘要提出了Gemini,一个分布式图处理系统,应用了多种针对计算性能的优化以在效率之上构建可扩展性.Gemini采用:稀疏-稠密信号槽抽象,将混合推拉计算模型扩展到分布式场景基于分块

PeakCrosser·2023-09-09 07:49

[论文笔记] Atos: A Task-Parallel GPU Scheduler for Graph Analytics

Atos:ATask-ParallelGPUSchedulerforGraphAnalyticsAtos:用于图分析的任务并行GPU调度程序[Paper][Slides]ICPP’22摘要提出了Atos,一个特别针对动态不规则应用的任务并行GPU动态调度框架.支持消除依赖关系的应用的任务并行公式来暴露额外的并发性除了数据并行负载平衡之外,提供隐式任务并行负载均衡允许用户控制内核策略和任务并行粒度来

PeakCrosser·2023-09-09 07:19

[论文笔记] Gunrock: A High-Performance Graph Processing Library on the GPU

Gunrock:AHigh-PerformanceGraphProcessingLibraryontheGPUGunrock:GPU上的高性能图处理库[Paper][Code]PPoPP’16摘要Gunrock,针对GPU的高层次批量同步图处理系统.采用了一种新方法抽象GPU图分析:实现了以数据为中心(data-centric)的抽象,以在结点或边的边界(frontier)上的操作为中心.将高性能

PeakCrosser·2023-09-09 07:16

BERT 论文笔记

BERT：Pre-trainingofDeepBidirectionalTransformerforLanguageUnderstanding谷歌AI团队发布，在机器阅读理解SQuAD1.1跑出的成绩，在两个指标上全面超越人类。GLUE基准80.04%（7.6%绝对提升），MultiNLI准确率86.7%（5.6%绝对提升）BERT=BidirectionalEncoderRepresentati

EdwardLee·2023-09-09 05:07

论文笔记：一分类及其在大数据中的潜在应用综述

0概述论文：Aliteraturereviewonone‑classclassificationanditspotentialapplicationsinbigdata发表：JournalofBigData在严重不平衡的数据集中，使用传统的二分类或多分类通常会导致对具有大量实例的类的偏见。在这种情况下，对少数类实例的建模和检测是非常困难的。一分类(OCC)是一种检测与已知类实例相比较的异常数据点的

HenrySmale·2023-09-08 06:36

论文笔记_21范数:Efficient and Robust Feature Selection via Joint 2,1-Norms Minimization

Abstract特征选择在机器学习中非常重要，尤其是在生物信息学任务中。本文提出一种新的鲁棒特征选择方法，这一方法核心在于在损失函数核正则化项中联合使用21范数。基于21范数的损失函数对于数据点中的异常值具有较好的鲁棒性，而基于21范数的正则化项则可以选择所有数据点稀疏的特征。本文证明了算法的收敛性。同时通过实验结果证明了方法的性能。Introduction一般来说，特征选择有三种模型：1.滤波方

Lr_AI·2023-09-08 01:27

3D异常检测论文笔记 | Shape-Guided Dual-Memory Learning for 3D Anomaly Detection

文章目录摘要一、介绍三、方法3.1.形状引导专家学习3.2.Shape-Guided推理摘要我们提出了一个形状引导的专家学习框架来解决无监督的三维异常检测问题。我们的方法是建立在两个专门的专家模型的有效性和他们的协同从颜色和形状模态定位异常区域。第一个专家利用几何信息通过对局部形状周围的隐式距离场建模来探测三维结构异常。第二个专家考虑与第一个专家相关联的二维RGB特征来识别局部形状上的颜色外观不规

Thomas_Cai·2023-09-07 10:31

论文笔记：《Time Series Generative Adversrial Networks》（TimeGAN，时间序列GAN)

论文：https://papers.nips.cc/paper/2019/file/c9efe5f26cd17ba6216bbe2a7d26d490-Paper.pdf代码：https://github.com/jsyoon0823/TimeGAN视频讲解：参考资料TimeGAN_Time-seriesgenerativeadversarialnetworks_MaoziShan的博客-CSDN博

思考实践·2023-09-07 03:51

论文笔记（一）——TextBoxes

论文标题：TextBoxes:AFastTextDetectorwithaSingleDeepNeuralNetwork作者：MinghuiLiao,BaoguangShi,XiangBai,XinggangWang,WenyuLiuIntroduction场景文字识别与传统OCR有区别，场景文字识别需要区别文字与背景的关系，同时光照条件也会影响识别效果。传统的场景文字识别方法步骤多，很麻烦，Te

陌上疏影凉·2023-09-07 00:56

R 笔记 prophet

0理论部分论文笔记：ForecastingatScale（Prophet）_UQI-LIUWJ的博客-CSDN博客Prophet是一种基于加法模型预测时间序列数据的程序，其中非线性趋势、季节性以及假日效应相匹配

UQI-LIUWJ·2023-09-07 00:55

论文笔记Monocular Depth Estimation through Virtual-world Supervision and Real-world SfM Self-Supervision

ProblemFormulationMDEonCNN:Ψ(θ;x)→d\Psi(\theta;x)\rightarrowdΨ(θ;x)→dθ∗=min⁡θL(θ;Xr,Xs.Ys)\theta^*=\min_{\theta}\mathcal{L}(\theta;X^r,X^s.Y^s)θ∗=minθL(θ;Xr,Xs.Ys).ContributionsACNNarchitecturetrainin

BlueagleAI·2023-09-06 21:27

[论文笔记]ESIM

引言这是经典论文EnhancedLSTMforNaturalLanguageInference的笔记。本篇论文文是建立在自然语言推理(NaturalLanguageInference,NLI)任务上的。提出了简单的通过基于LSTM的序列推理模型效果到达了当时的SOTA水平。同时基于该模型，在局部推理建模层和推理组合层使用了递归结构(树形LSTM)使得模型效果进一步提升。NLI任务的目的是判断一个自

愤怒的可乐·2023-09-06 16:19

机器学习笔记：node2vec（论文笔记：node2vec: Scalable Feature Learning for Networks）

2016KDD1intro利用graph上的节点相似性，对这些节点进行embedding同质性：节点和其周围节点的embedding比较相似蓝色节点和其周围的节点结构等价性结构相近的点embedding相近比如蓝色节点，都处于多个簇的连接处2随机游走2.1介绍随机游走是一种自监督学习的embedding方法，不需要利用节点标签也不需要节点的特征，训练出来的embedding也不依赖于任何的特定任务

UQI-LIUWJ·2023-09-06 15:36

【论文笔记】色素性皮肤病图像预处理与内容检索研究

识别对象：常见色素性皮肤病图像（如黑色素瘤、色素痣、脂溢性角化病、基底细胞癌等）核心算法：基于深层卷积神经网络的深度语义Hash编码+基于Hash-AP分层次深度排序算法算法过程：预处理去噪小波阈值去噪：利用图像小波分解后，根据不同子图像不同特性选取不同阈值，从而去除噪声在这里插入图片描述增强（提高高频信息）需要先去噪达到高信噪比直方图均衡化：微分，拉普拉斯图像和原图叠加毛发消除在这里插入图片描述

饭团_zz·2023-09-05 09:04

论文笔记：Spatio-Temporal Trajectory Similarity Measures: AComprehensive Survey and Quantitative Study

1intro1.1背景轨迹相似度测量在很多应用中都起着基础性的作用不同的测量选择可能导致完全不同的结果和质量以轨迹聚类为例，聚类旨在将相似的轨迹分组到集群中，其中相似度计算是聚类的基础任务DTW和EDR聚类的效果千差万别1.1.1轨迹相似度需要考量的四个轨迹特性与孤立的空间点或一维时间序列不同（这些距离定义是直接了当的）定义连续二维轨迹之间的距离并非易事。还需要考虑以下四个轨迹特性不同的数据源（自

UQI-LIUWJ·2023-09-04 21:23

[论文笔记]A COMPARE-AGGREGATE MODEL FOR MATCHING TEXT SEQUENCES

引言今天带来论文ACOMPARE-AGGREGATEMODELFORMATCHINGTEXTSEQUENCES的阅读笔记。很多NLP任务，包括阅读理解、文本蕴含和问答任务，都需要在序列之间进行比较。匹配序列间重要的单位是这些解决这些任务的关键。本篇工作提出了一个通用的比较聚合(compare-aggragate)框架执行单词级匹配，然后使用CNN进行聚合。比较聚合网络并不是作者首先提出来的，但作者

愤怒的可乐·2023-09-04 15:46

论文笔记：Integrating Semantic Segmentation and Retinex Model for Low Light Image Enhancement

来源：Proceedingsofthe28thACMInternationalConferenceonMultimedia(2020)目录ContributionsMothologyArchitectureInformationExtractionImageDecompositionSemanticSegmentationReflectanceEnhancementIlluminationAdju

Wenretium·2023-09-04 13:30

论文笔记：Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement

来源：CVPR2020提出背景：UnsupervisedGAN-basedmethodshavetheadvantageofeliminatingpaireddatafortraining.EnlightenGAN[12],anunsupervisedGAN-basedandpioneermethodthatlearnstoenhancelow-lightimagesusingunpairedlo

Wenretium·2023-09-04 13:00

论文笔记：Underexposed Photo Enhancement using Deep Illumination Estimation

UnderexposedPhotoEnhancementusingDeepIlluminationEstimation来源：CVPR2019目录UnderexposedPhotoEnhancementusingDeepIlluminationEstimation优点：提出背景：Methodology：ImageEnhancementModelNetworkArchitectureLossFunct

Wenretium·2023-09-04 13:30

[论文笔记]SiameseNet

引言这是LearningTextSimilaritywithSiameseRecurrentNetworks的论文笔记。论文标题意思是利用孪生循环神经网络学习文本相似性。什么是孪生神经网络呢？

愤怒的可乐·2023-09-03 23:40

论文笔记-GAN-Guided Deformable Attention Network for Identifying Thyroid Nodules in Ultrasound Images

论文地址：https://ieeexplore.ieee.org/stampPDF/getPDF.jsp?tp=&arnumber=9720140&ref=aHR0cHM6Ly9zY2hvbGFyLmdvb2dsZS5jb20v一句话简介：利用CAM注意力和GAN引导的可变性卷积实现甲状腺结节的特征捕获，提供良恶性分类精度。数据：甲状腺结节超声图像任务：分类（良性、恶性）困难：只利用图像分类较困难

升不上三段的大鱼·2023-09-03 23:39

AdaAffoord论文笔记

论文链接：https://arxiv.org/pdf/2112.00246.pdf应用背景：通过增加少量的机器臂和物体的快速交换，使得家庭辅助机器人知道如何正确打开关闭抽屉、柜子、开关等。现有问题：现有的方法没有发掘隐藏的运动学细节，如下图所示，当没有明确的门把手信息时，现有的方法会将可能的开启位置均匀化（图中（b）列的第一行所示，柜子的边缘的一周都标上差不多颜色，表示都有可能是开启的位置），但这

爱嘤嘤的小猪仔·2023-09-03 06:31

Super Resolve Dynamic Scene from Continuous Spike Streams论文笔记

摘要近期，脉冲相机在记录高动态场景中展示了其优越的潜力。不像传统相机将一个曝光时间内的视觉信息进行压缩成像，脉冲相机连续地输出二的脉冲流来记录动态场景，因此拥有极高的时间分辨率。而现有的脉冲相机重建方法主要集中在重建和脉冲相机相同分辨率的图像上。然而，作为高时间分辨率的权衡，脉冲相机的空间分辨率是有限的。为了处理这一问题，我们设计了一种脉冲相机超分辨率框架，旨在从低分辨率的二值脉冲流中得到超分辨率

爱嘤嘤的小猪仔·2023-09-03 06:28

论文笔记：DEEP DECLARATIVE DYNAMIC TIME WARPING FOREND-TO-END LEARNING OF ALIGNMENT PATHS

个人感觉，可微DTW的主要优点作为一个损失函数，可以进行梯度反向传播，如果目标只是两个时间序列的相似度，可能不太需要？1Intro1.1背景DTW笔记：DynamicTimeWarping动态时间规整（&DTW的python实现）【DDTW，WDTW】_UQI-LIUWJ的博客-CSDN博客近年来，可微DTW被广泛地研究Soft-DTW使用技巧替代min，使之可微机器学习笔记soft-DTW（论文

UQI-LIUWJ·2023-09-02 05:53

[论文笔记]DSSM

引言这是DSSM论文的阅读笔记，后续会有一篇文章来复现它并在中文数据集上验证效果。本文的标题翻译过来就是利用点击数据学习网页搜索中深层结构化语义模型，这篇论文被归类为信息检索，但也可以用来做文本匹配。这是一篇经典的工作，在DSSM之前，通常使用传统机器学习的方法，比如LSA、LDA来解决。本篇工作使文本匹配进入了深度学习时代。摘要在信息检索中要研究的问题是，给定一个查询(query)和一组文档(d

愤怒的可乐·2023-09-01 14:38

论文笔记: 深度学习速度模型构建的层次迁移学习方法 (未完)

摘要:分享对论文的理解,原文见JéromeSimon,GabrielFabien-Ouellet,ErwanGloaguen,andIshanKhurjekar,Hierarchicaltransferlearningfordeeplearningvelocitymodelbuilding,Geophysics,2003,R79–R93.这次的层次迁移应该指从1D到2D再到3D.摘要深度学习具有使

闵帆·2023-09-01 06:45

大模型综述论文笔记6-15

这里写自定义目录标题KeywordsBackgroudforLLMsTechnicalEvolutionofGPT-seriesModelsResearchofOpenAIonLLMscanberoughlydividedintothefollowingstagesEarlyExplorationsCapacityLeapCapacityEnhancementTheMilestonesofLang

王小燊oom·2023-09-01 06:13

[论文笔记oc-sort] Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking

本文作为OC-SORT的论文阅读记录，中间可能会加入自己的看法，由于是tracking这块的初学者，文中若有错误的认识麻烦读者帮忙修正。1前言OC-SORT是来自CVPR2022的一篇文章，采用的范式是MOT中的TBD（TrackingbyDetection）。虽然学术界中JDE的研究越来越多，2022年开始也有很多基于Transformer的方法效果非常不错，但是目前工业界还是使用TBD这种方式

你的小董_·2023-08-31 10:17

对于论文Semi-Supervised Classification with Graph Convolutional Networks，小白的学习理解

参考笔记：论文笔记：Semi-SupervisedClassificationwithGraphConvolutionalNetworks_hongbin_xu的博客-CSDN博客论文笔记：SEMI-SUPERVISEDCLASSIFICATIONWITHGRAPHCONVOLUTIONALNETWORKS_semisupervisedclassification

顺顺不吃竹笋·2023-08-30 21:07

论文笔记: 循环神经网络进行速度模型反演 (未完)

摘要:分享对论文的理解,原文见GabrielFabien-OuelletandRahulSarkar,Seismicvelocityestimation:Adeeprecurrentneural-networkapproach.Geophysics(2020)U21–U29.作者应该是领域专家,对地球科学的理解胜于深度学习.为方便讨论,等式编号保持与原文一致.1.术语common-midpoint

闵帆·2023-08-30 07:14

大模型综述论文笔记1-5

目录KeywordsIntroductionSLMNLMPLMLLMBackgroudforLLMsScalingLawsforLLMsKMscalinglawChinchillascalinglawEmergentAbilitiesofLLMsIn-contextlearningInstructionfollowingStep-by-stepreasoningKeyTechniquesforLL

王小燊oom·2023-08-30 07:13

【论文笔记】Optimal Vehicle Path Planning Using Quadratic Optimization for Baidu Apollo Open Platform

yuan〇·2023-08-29 18:49

BEiT: BERT Pre-Training of Image Transformers 论文笔记

BEiT:BERTPre-TrainingofImageTransformers论文笔记论文名称：BEiT:BERTPre-TrainingofImageTransformers论文地址：2106.08254

迪菲赫尔曼·2023-08-28 16:06

【论文笔记】最近看的时空数据挖掘综述整理8.27

DeepLearningforSpatio-TemporalDataMining:ASurvey被引用次数：392[Submittedon11Jun2019(v1),lastrevised24Jun2019(thisversion,v2)]主要内容：该论文是一篇关于深度学习在时空数据挖掘中的应用的综述。论文首先介绍了时空数据挖掘的背景和意义，然后详细介绍了深度学习在时空数据挖掘中的应用，包括卷积神

RWLinno·2023-08-28 09:15

多模态之论文笔记BEiT, BEiT V2, BEiT V3

文章目录OverviewBEiT1.0.Summary1.1.BEiTVSBERT2.1.TwoViews:visualtokens2.1.TwoViews:imagepatches3.ResultsBEiTV21.0.Summary1.1.Motivation2.1.Methods--VQ-KD2.2.Methods--patchaggregation3.1.Results--imageclas

猴猴猪猪·2023-08-28 05:23

【论文笔记】Planning and Decision-Making for Autonomous Vehicles

文章目录Summary1.INTRODUCTION2.MOTIONPLANNINGANDCONTROL2.1.VehicleDynamicsandControl2.2.ParallelAutonomy2.3.MotionPlanningforAutonomousVehicles3.INTEGRATEDPERCEPTIONANDPLANNING3.1.FromClassicalPerceptiont

yuan〇·2023-08-27 08:47

关于credal set和credal decision tree的一点思考（其实就是论文笔记）

阅读Abellán老师的Credal-C4.5时，发现好难。。。然后又额外补充了一些论文，终于稍微懂一点点了，所以记录如下。credalset在DStheory的定义如下[1]：这句话的意思是（证据理论中的）credalset是一个概率的凸集，这里面的概率p(x)受到上界pl函数和下界bel函数的控制（约束），而p(x)是不定的，从而构成了一个集合。这个东西往外推广，得到如下形式：l(x)≤p(x

网绿눈_눈·2023-08-26 08:37

论文笔记-Simple and Deep Graph Convolutional Networks

论文：https://arxiv.org/pdf/2007.02133v1.pdf代码：https://github.com/chennnM/GCNIIGCN大都在模型很浅的情况下有用，层数加深时会发生过平滑，本文作者提出了GCNII，它是普通GCN模型加上两种简单而有效的技术：初始残差和单位映射。作者提供了理论和经验证据，证明这两种技术有效地缓解了过度平滑的问题。1.介绍基于图的模型，如GCN和

升不上三段的大鱼·2023-08-26 08:41

论文笔记：An iterative framework with active learning to match segments in road networks

CARTOGRAPHYANDGEOGRAPHICINFORMATIONSCIENCE20231intro1.1背景当地理实体以不同的方式表示和存储在不同的来源中时，匹配和整合使得可以获得更详细的空间数据。地图匹配的关键是寻找对象之间的匹配对应关系，并建立在不同数据库中表示相同地理实体的对象之间的关联关系传统的匹配方法主要基于利用对象的几何、属性和拓扑信息的相似性来获取匹配结果尽管这些自动匹配算法在

UQI-LIUWJ·2023-08-26 07:04

论文笔记： One Fits All:Power General Time Series Analysis by Pretrained LM

1intro时间序列领域预训练模型/foundation模型的研究还不是很多主要挑战是缺乏大量的数据来训练用于时间序列分析的基础模型——>论文利用预训练的语言模型进行通用的时间序列分析为各种时间序列任务提供了一个统一的框架论文还调查了为什么从语言领域预训练的Transformer几乎不需要任何改动就可以适应时间序列分析—预训练Transformer中的自注意模块通过训练获得了执行某些非数据相关操作

UQI-LIUWJ·2023-08-26 07:30

【计算机视觉|生成对抗】用于高保真自然图像合成的大规模GAN训练用于高保真自然图像合成的大规模GAN训练（BigGAN）

本系列博文为深度学习/计算机视觉论文笔记，转载请注明出处标题：LargeScaleGANTrainingforHighFidelityNaturalImageSynthesis链接：[1809.11096

远哥挺乐·2023-08-25 11:47

论文笔记：When Do Contrastive Learning Signals Help Spatio-TemporalGraph Forecasting?

2022SigSpatial1intro1.1背景论文认为数据稀缺是阻碍时空图（STG）预测的一个关键问题在这一领域的公共数据集通常只包含几个月的数据，限制了可以构建的训练实例数量——>学习模型可能会对训练数据过拟合，导致泛化性能较差自监督学习在graph任务中展现出巨大的潜力从数据本身中获取监督信号，通常利用数据的潜在结构大多数表现最佳的自监督方法都基于对比学习基本思想在具有类似语义（posit

UQI-LIUWJ·2023-08-25 05:57

Grounded Language-Image Pre-training论文笔记

Title：GroundedLanguage-ImagePre-trainingCode文章目录1.背景2.方法（1）UnifiedFormulation传统目标检测grounding目标检测（2）Language-AwareDeepFusion（3）Pre-trainingwithScalableSemantic-RichData3.实验（1）数据集简介（2）GLIP消融实验参考1.背景目前的视

Nick Blog·2023-08-25 05:53

论文笔记：从不平衡数据流中学习的综述: 分类、挑战、实证研究和可重复的实验框架

0摘要论文：Asurveyonlearningfromimbalanceddatastreams:taxonomy,challenges,empiricalstudy,andreproducibleexperimentalframework发表：2023年发表在MachineLearning上。源代码：https://github.com/canoalberto/imbalanced-stream

HenrySmale·2023-08-25 05:22

推荐频道

KBQA论文笔记