KBQA论文笔记第8页

论文笔记Dory:Arguments for Inner Products and Polynomial Commitments

Lee,J.(2021).Dory:Efficient,TransparentArgumentsforGeneralisedInnerProductsandPolynomialCommitments.TCC2021https://link.springer.com/chapter/10.1007/978-3-030-90453-1_1DualDory中降低DualRing验证复杂度的主要工具是Do

yixvxi·2023-10-30 03:39

【论文笔记】【cnn】ResNeXt详解

ResNeXt解决的问题：传统的要提高模型的准确率，都是加深或加宽网络，但是随着超参数数量的增加（channels，filtersize等），网络设计的难度和计算开销也会增加。本文提出的ResNeXt结构可以在不增加参数复杂度的情况下提高准确率，同时还减少了超参数的数量。ResNeXt乍一看很像inception，作者也在论文中提到了vgg相关。VGG和resnet主要采用堆叠网络来实现，ince

Chen_Swan·2023-10-29 19:42

Attention Is All You Need 论文笔记

2017年，Google机器翻译团队发表的《AttentionisAllYouNeed》中，完全抛弃了RNN和CNN等网络结构，而仅仅采用Attention机制来进行机器翻译任务，并且取得了很好的效果，注意力机制也成为了大家近期的研究热点。该论文发表在2017年的NIPS上。1、Attention机制Attention用于计算“相关程度”，他考虑的是随意线索，而CNN，RNN考虑的是不随意线索。A

墨鱼mo·2023-10-29 18:26

课题学习(九)----阅读《导向钻井工具姿态动态测量的自适应滤波方法》论文笔记

一、引言引言直接从原论文复制，大概看一下论文的关键点：垂直导向钻井工具在近钻头振动和工具旋转的钻井工作状态下，工具姿态参数的动态测量精度不高。为此，通过理论分析和数值仿真，提出了转速补偿的算法以消除工具旋转对测量的影响;采用最小均方算法(LeastMeanSquare—LMS)自适应滤波算法，可以有效滤除近钻头振动对测量的影响。数值仿真表明，经过转速补偿和LMS自适应滤波后的井斜角测量误差可小

致虚守静~归根复命·2023-10-29 14:35

大规模多语言嵌入零样本跨语言迁移及更多

花开见藕·2023-10-29 06:11

论文笔记-Deep Learning on Graphs: A Survey（上）

论文链接：https://arxiv.org/pdf/1812.04202.pdf深度学习在许多领域都取得了成功，在图上也有许多研究工作。在这篇文章中，作者根据模型架构和训练策略将现有方法分为五类：图循环神经网络、图卷积网络、图自动编码器、图强化学习和图对抗方法，并以系统的方式全面概述这些方法。最后，作者简要概述了它们的应用，并讨论了未来潜在的研究方向。1.介绍传统的深度学习架构应用于图存在一些挑

升不上三段的大鱼·2023-10-29 04:34

[论文笔记]GTE

引言今天带来今年的一篇文本嵌入论文GTE，中文题目是多阶段对比学习的通用文本嵌入。作者提出了GTE，一个使用对阶段对比学习的通用文本嵌入。使用对比学习在多个来源的混合数据集上训练了一个统一的文本嵌入模型，通过在无监督预训练阶段和有监督微调阶段显著增加训练数据量，可以在现有的嵌入模型上取得显著的性能提升。总体介绍最近大语言模型(LLM)的兴起引发了对基于文本嵌入模型的检索增强系统的广泛关注。这些模型

愤怒的可乐·2023-10-28 09:07

Point Density-Aware Voxels for LiDAR 3D Object Detection 论文笔记

原文链接：https://arxiv.org/abs/2203.056621引言激光雷达的一个问题是产生的点云随距离变远而变得稀疏。基于体素的方法忽略了点的密度，使用体素中心特征（左图）；但对于大范围的输入，内存限制了体素的分辨率，点与体素的不对齐问题导致丢失物体细节，从而导致性能下降。基于点的方法使用最远点采样（中图），但计算复杂度随采样点的数量增大而增大，限制了细化阶段采样点的数量。此外由于行

byzy·2023-10-27 07:11

[论文笔记]NEZHA

引言今天带来华为诺亚方舟实验室提出的论文NEZHA，题目是针对中文中文语言理解神经网络上下文表示(NEuralcontextualiZedrepresentationforCHineselAnguageunderstanding)，为了拼出哪吒。预训练语言模型由于具有通过对大型语料库进行预训练来捕获文本中深层上下文信息的人能力，因此在各种自然语言理解任务中均取得了巨大成功。然而，对中文预训练模型B

愤怒的可乐·2023-10-27 01:01

论文笔记：5-2022-Ruoli Yang-Hindawi-Fruit Target Detection Based on BCo-YOLOv5 Model

摘要：深度学习诞生后，人工智能进入了蓬勃发展的蓬勃时期。在这个上升和成长的过程中，我们取得了一项又一项的成就。将深度学习应用于水果目标检测时，由于识别背景复杂、模型间相似度大、纹理干扰严重、水果部分遮挡等问题，基于传统方法的水果目标检测率较低。为了解决这些问题，提出了一种BCo-YOLOv5网络模型来识别和检测果园中的水果目标。我们使用YOLOv5s作为特征图像提取和目标检测的基本模型。本文将BC

qq_35821503·2023-10-26 12:47

论文笔记：CNN经典结构2（WideResNet，FractalNet，DenseNet，ResNeXt，DPN，SENet）

前言在论文笔记：CNN经典结构1中主要讲了2012-2015年的一些经典CNN结构。本文主要讲解2016-2017年的一些经典CNN结构。

weixin_30607659·2023-10-26 08:13

论文笔记Densely Connected Convolutional Networks

论文笔记DenselyConnectedConvolutionalNetworks1.标题及来源2.阅读目的3.领域4.拟解决的问题5.提出的方法5.1整体网络结构5.2DenseBlock5.3版本对比

YSQ是我的·2023-10-26 08:12

《How Does Batch Normalization Help Optimization》论文笔记

《HowDoesBatchNormalizationHelpOptimization》论文初略论文地址：https://arxiv.org/...该论文推翻了BN原论文认为BN是因为减少了InternalCovariateShift(ICS)的推论，给出了一个新的解释，而是因为每层的标准化使得最后的loss函数变成了一个光滑的曲面而造成的最后性能提优。ICS即由于之前网络层参数的更新，当前从的输入

CapsulE_07·2023-10-26 07:55

【论文笔记】Social Role-Aware Emotion Contagion in Image Social Networks

SocialRole-AwareEmotionContagioninImageSocialNetworks社会角色意识情绪在形象社交网络中的传染1、摘要：心理学理论认为，情绪代表了一个人的认知系统(1927年)的精神状态和本能反应。情绪是一种复杂的情绪状态，它会导致影响我们行为的生理和心理变化。本文研究了社交网络中情绪感染的一个有趣问题。特别地，通过使用图像社交网络(Flickr)作为我们研究的基

weixin_33932129·2023-10-25 19:54

【AI隐私保护.论文笔记】CrypTFlow2: Practical 2-Party Secure Inference，CrypTFlow2：实用的安全两方推理

这篇文章提出了实用的安全两方推理，能够实现安全神经网络的推理，发表在2020年安全类顶会CSS，由微软研究院的印度研究组完成。他们基于以前的密码学工作，衡量了安全和效率等多方面的问题，提出了一个叫做CrypTFlow2安全两方计算的机器学习框架。以前的激活层，Relu，Sigmoid函数大部分是采用GC，或者近似函数的方式。GC的开销比较大，而近似函数都有精度损失。比如CryptoNets中使用的

火锅配咖啡·2023-10-25 19:16

【论文笔记】Anchor-free目标检测论文推荐

前言Anchor-free目标检测是目标检测近几年的主流趋势之一，本文分享一个汇总了最近几年Anchor-free论文的github项目。Anchor-free目标检测项目作者：XinZhang,XuesongWang,nuoxu地址：https://github.com/XinZhangNLPR/awesome-anchor-free-object-detection本项目共计涵盖24篇anch

m0_61899108·2023-10-25 19:46

【PointNet—论文笔记分享】

第一个直接基于原始点云数据进行分割、分类的模型，之前都是基于多视图或者体素的方式。论文:PointNet:DeepLearningonPointSetsfor3DClassificationandSegmentation代码:TensorFlow版Pytorch版基本模型架构：分别对每个点进行特征提取(卷积或者全连接)，再MAX得到全局特征进行输出基于以下PropertiesofPointSets

~海棠树下~·2023-10-25 19:11

R-C3D论文笔记

R-C3D:RegionConvolutional3DNetworkforTemporalActivityDetection论文地址:https://arxiv.org/pdf/1703.07814.pdf刚看完论文，先总结一下论文的创新点:1.推广faster-RCNN的RegionProposalNetwork到时域2.推广faster-RCNN的ROIPooling算法到时域3.端到端的训练

義傑·2023-10-23 23:18

[论文笔记]MobileBERT

引言今天带来一篇关于量化的论文MobileBERT，题目翻译过来是：一种适用于资源有限设备的紧凑型任务无关BERT模型。模型的简称是MobileBERT，意思是作者的这个BERT模型可以部署到手机端。本篇工作，作者提出了MobileBERT用于压缩和加速BERT模型。与原始BERT一样，MobileBERT也是任务无关的，即它仅需简单的微调就能广泛地应用于不同的下游任务。本质上，MobileBER

愤怒的可乐·2023-10-23 20:25

GLIP & DetCLIP

1GLIP:十分钟解读GLIP：GroundedLanguage-ImagePre-training-知乎GroundedLanguage-ImagePre-training（GLIP）论文笔记-知乎GLIP

qq_478377515·2023-10-23 07:37

论文笔记：Multi-Concept Customization of Text-to-Image Diffusion

0概述论文：Multi-ConceptCustomizationofText-to-ImageDiffusion源代码和数据：https://www.cs.cmu.edu/~custom-diffusion/当生成模型生成从大规模数据库中学习的概念的高质量图像时，用户通常希望合成他们自己的概念的实例(例如，他们的家庭，宠物或物品)。我们能教一个模型快速掌握一个新概念吗，给出几个例子?此外，我们能否

HenrySmale·2023-10-23 00:58

基于AI恶意软件分类技术（5）

年恶意软件分类综述：Malwareclassificationandcompositionanalysis:Asurveyofrecentdevelopments恶意软件的分类和成分分析：对最新发展的调查阅读论文笔记原文链接

Mo neyking·2023-10-22 22:52

论文笔记 -《REALM: Retrieval-Augmented Language Model Pre-Training》

1、前言2019年可以说是语言模型快速发展的一年，BERT、XLNET、Albert等等模型不断刷新各个NLP榜单。在NLP榜单中比较引人注目的应该属于阅读理解型的任务，例如SQuAD等等。以SQuAD为例，模型需要阅读一段给定的文本，然后回答几个问题，问题如果存在答案，答案一定可以在文章中找到。所以说虽然叫阅读理解，但其实和序列标注有点相像，是在给定序列中标出答案段。而这篇论文针对的问题叫开放领

*Lisen·2023-10-22 20:27

【论文笔记】GPT-2 通用语言模型的一粒飞弹

代码传送带：https://github.com/openai/gpt-2论文传送带：https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf题外话，在机器学习领域，我们经常说的一句话是NOFREELUNCH，意味着在大众认知里所有的TASK都有相应的解决系统，而互相之间不存在一种通用的学习模型能够

Mango_Holi·2023-10-22 16:40

[论文笔记]GPT-2

引言今天继续GPT系列论文，这次是LanguageModelsareUnsupervisedMultitaskLearners，即GPT-2，中文题目的意思是语言模型是无监督多任务学习器。自然语言任务，比如问答、机器翻译、阅读理解和摘要，是在任务相关数据集上利用监督学习的典型方法。作者展示了语言模型在训练名为WebText的新数据集时，即使是无监督，也能开始学习这些任务。基于一个文档和问题的情况下

愤怒的可乐·2023-10-22 16:39

【论文笔记】Bag of Tricks for Efficient Text Classification

这篇文章写的是Facebook推出的FastText，能够快速在海量文本数据上进行分类任务和表示学习，可以用一个普通的多线程CPU在十分钟内训练百万级的语料，一分钟内将五十万文本分类到三十万个类别中。最近几年深度学习在NLP任务上虽取得了显著地成就，但此类模型无论是训练还是测试阶段都因过长的时间消耗很难应用在更大的语料数据上。与此同时一些简单的线性模型在保持速度效率的同时也有不俗的表现，如Word

theoreoeater·2023-10-22 14:34

【论文笔记】RAFT: Recurrent All-Pairs Field Transforms for Optical Flow（ECCV 2020）

关键词：光流估计、端到端训练、迭代优化、GRU一种新的适用于光流的端到端可训练的模型。独特之处在于它使用大量轻量级、循环更新算子以单一分辨率运行。在各种数据集上实现了最好的精度，强大的跨数据集泛化能力，并且在推断时间、参数总数和训练迭代方面非常有效。创新点：RAFT以高分辨率保持和更新单个固定的光流场；RAFT的更新算子是循环的、轻量级的，并且共享权重；更新算子由一个卷积GRU组成，在4D多尺度相

李加号pluuuus·2023-10-21 18:54

《RAFT：Recurrent All-Pairs Field Transforms for Optical Flow》论文笔记

参考代码：RAFT作者主页：ZacharyTeed1.概述导读：这篇文章提出了一种新的光流估计pipline，与之前介绍的PWC-Net类似其也包含特征抽取/correlationvolume构建操作。在这篇文章中为了优化光流估计，首先在correlationvolume的像素上进行邻域采样得到lookups特征（增强特征相关性，也可以理解为感受野），之后直接使用以CNN-GRU为基础的迭代优化网

m_buddy·2023-10-21 18:20

[论文笔记] MapTR: Structured modeling and learning for online vectorized hd map construction

Liao,Bencheng,etal.“Maptr:Structuredmodelingandlearningforonlinevectorizedhdmapconstruction.”arXivpreprintarXiv:2208.14437(2022).要点总结:MapTR将地图元素(路沿,车道线,人行横道等)分成两类—线和多边形,然后使用DETR策略对每个实例预测出一个数量为N的点集,接着让

zhwangye·2023-10-21 14:30

[论文笔记] SurroundOcc: Multi-Camera 3D Occupancy Prediction for Autonomous Driving

Wei,Yi,etal.“Surroundocc:Multi-camera3doccupancypredictionforautonomousdriving.”ProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision.2023.重点记录将占用网格应用到多个相机构成的3D空间中;使用BEVFormer中的方法获取3D特征,然后使用

zhwangye·2023-10-21 13:26

大语言模型面试心路历程【0 offer版】

北银金科1.InstructGPT的训练过程2.critic网络的作用3.LSTM的原理，GRU与LSTM有什么不同4.讲一下Bert的结构5.讲一下自己的论文【KBQA相关】6.GLM的结构和微调了哪些参数

抓个马尾女孩·2023-10-20 23:40

多源信息融合技术研究综述

多源信息融合技术研究综述论文笔记一、主要内容1.摘要：多源信息融合即基于多种(同类或异类)信息源，根据某个特定标准在空间或时间上进行组合，获得被测对象的一致性解释或者描述，并使得该信息系统具有更好的性能

科研需要动力·2023-10-20 22:43

[论文笔记]GPT1

引言今天带来论文ImprovingLanguageUnderstandingbyGenerativePre-Training的笔记，它的中文题目为：通过生成式预训练改进语言理解。其实就是GPT的论文。自然语言理解可以应用于大量NLP任务上，比如文本蕴含、问答、语义相似和文档分类。虽然无标签文本语料是丰富的，但是用于训练这些特定任务的有标签文本语料是匮乏的，使得区分性训练模型难以表现出足够的性能。作

愤怒的可乐·2023-10-20 21:15

[论文笔记]Sentence-BERT[v2]

引言本文是SBERT(Sentence-BERT)论文1的笔记。SBERT主要用于解决BERT系列模型无法有效地得到句向量的问题。很久之前写过该篇论文的笔记，但不够详细，今天来重新回顾一下。BERT系列模型基于交互式计算输入两个句子之间的相似度是非常低效的(但效果是很好的)。当然可以通过批数据优化，将query和多个待比较句子分别拼接成批大小内的样子一次输入，是可以同时计算批大小个样本之间的相似度

愤怒的可乐·2023-10-20 13:30

多标签分类论文笔记 | Combining Metric Learning and Attention Heads...（MLD-TResNet-L-AAM/GAT+AAM）

个人论文精读笔记，主要是翻译+心得，欢迎旁观，如果有兴趣可以在评论区留言，我们一起探讨。Paper:https://arxiv.org/pdf/2209.06585v2.pdfCode:https://github.com/openvinotoolkit/deep-object-reid/tree/multilabel文章目录0.摘要1.介绍2.相关工作3.方法3.1模型架构3.2Transfor

Thomas_Cai·2023-10-20 02:56

多标签分类论文笔记 | CAUSALITY COMPENSATED ATTENTION FOR CONTEXTUAL BIASED VISUAL RECOGNITION

个人论文精读笔记，主要是翻译+心得，欢迎旁观，如果有兴趣可以在评论区留言，我们一起探讨。Paper:https://openreview.net/pdf?id=8XqDnrmZQNFCode:https://github.com/yu-gi-oh-leilei/IDA_2023ICLR文章目录摘要1介绍3.初步结论:语境偏见中的因果关系4.方法4.1类感知层4.2因果关系的干预4.3采样和重加权层

Thomas_Cai·2023-10-20 02:56

linux上在docker中使用anaconda创建虚拟环境

论文笔记参考：多标签分类论文笔记|CombiningMetricLearningandAttentionHeads…MLD-TResNet-L-AAM/GAT+AAM)1.安装anaco

Thomas_Cai·2023-10-20 02:23

Compressed Video Action Recognition论文笔记

该文章是首篇，在行为识别领域中，用压缩视频进行深度网络训练的论文。文中阐述了将压缩视频用于行为识别理由；作者尝试的过程及实验结果。视频压缩感知重构时利用到了帧间的差异。帧间的差异与运动向量以及帧间残差有关，将运动向量及残差作为网络的输入，减少网络建模时序运动信息的难度；同时压缩的视频减少了冗余信息，易于训练。摘要：由于视频的size大及时序信息的冗余，深度的视频学习任务训练要比图像的表示学习要难得

Loopz·2023-10-20 02:13

《Fault Localization with Code Coverage Representation Learning》论文笔记

论文来源：ICSE-2021论文链接：https://arxiv.org/abs/2103.00270论文github：https://github.com/deeprl4fl2021icse/deeprl4fl-2021-icse 第一次看基于测试用例（即基于代码覆盖，突变测试）来定位代码缺陷的方法，下文有些地方是论文里没细讲，我做了些补充，主要说下论文的原理，实验不细讲。⭐主要内容：主要就是

#苦行僧·2023-10-19 17:47

2019-Photo_Cropping_via_Deep_Reinforcement_Learning论文笔记

2019-Photo_Cropping_via_Deep_Reinforcement_Learning论文笔记摘要1简介现有裁剪方法的介绍和不足本文提出的裁剪方法(DLRL)2相关工作主流的两类自动图像裁剪方法滑动窗口裁剪方法的优化

JBY-ZQ·2023-10-19 04:30

TransE 论文笔记

TranslatingEmbeddingsforModelingMulti-relationalData-Abstract-Background-ALgorithm-Experiment-Conclusion-Abstract在低位向量空间中，嵌入多关系数据的实体与关系。提出一个规范模型，易于训练，包含较少的参数，并且可以扩展到非常大的数据库。TransE就是在低维嵌入中，一种通过对实体进行翻译来

懒狗的救赎·2023-10-19 03:05

类别感知目标计数：Class-aware Object Counting 论文笔记

类别感知目标计数：Class-awareObjectCounting论文笔记一、Abstract二、引言三、相关工作3.1R-CNN3.2Context-awarecrowdcounting3.3CrowdFPN

乄洛尘·2023-10-19 02:17

【论文笔记】Graph WaveNet for Deep Spatial-Temporal Graph Modeling

GraphWaveNetforDeepSpatial-TemporalGraphModeling摘要现有模型大多是基于固定的图结构，但由于数据的损失可能导致某些truedependency丢失。现有方法对捕获时间趋势不是很有效，因为RNN和CNN不能捕获长时间序列。GWN是通过更新一个自适应依赖矩阵，从而来捕获隐藏的空间依赖。GWN使用堆叠的1D卷积分结构，来使接受域不断扩大，从而使得模型可以处理

lokol.·2023-10-19 00:10

论文笔记《Graph WaveNet for Deep Spatial-Temporal Graph Modeling》

Abstract现存问题：在捕获空间依赖性方面。大多在固定图上捕获空间依赖关系，这种固定图结构不一样反映真实依赖关系，而真实依赖关系可能由于不完整的邻接关系而丢失。在捕获时间依赖性方面。RNNs/CNNs等在捕获长程的时间序列时，效果不太好。本文解决方法：提出自适应邻接矩阵，并通过节点嵌入学习它堆叠空洞1D卷积，感受野随着堆叠层数增加而指数级增加，进而捕获长程关系1.Introduction时空图

mintminty·2023-10-19 00:33

论文笔记：DTP: Deadline-aware Transport Protocol

摘要越来越多的应用对数据交付有期限要求，例如360°视频、云VR游戏和自动驾驶。这些应用程序通常非常需要带宽。幸运的是，这些应用程序的数据可以分成多个具有不同优先级的块，从而可以通过优先处理一些块来减少带宽消耗。然而，现有的传输层太原始，无法实现这一点。因此，这些应用程序被迫构建自己定制的复杂轮子。在这项工作中，我们提出了截止日期感知传输协议(DTP)来提供截止日期前交付（deliver-befo

斜渡凛·2023-10-18 23:34

论文笔记：No Provisioned Concurrency: Fast RDMA-codesigned Remote Fork for Serverless Computing 中

论文笔记：NoProvisionedConcurrency:FastRDMA-codesignedRemoteForkforServerlessComputing中接上篇->地址：论文笔记（上）4TheMITOSISOperatingSystemPrimitive

斜渡凛·2023-10-18 23:03

论文笔记：No Provisioned Concurrency: Fast RDMA-codesigned Remote Fork for Serverless Computing 上

Serverless论文笔记——NoProvisionedConcurrency:FastRDMA-codesignedRemoteForkforServerlessComputing上***MITOSIS