（后续更新完善）2.KG-ENHANCEDLLMS2.1KG-enhancedLLMPre-training以往将KGs集成到大型语言模型的工作主要分为三个部分:1)将KGs集成到训练目标中，2)将KGs集成到LLM输入中，3)将KGs集成到附加的融合模块中。2.1.1IntegratingKGsintoTrainingObjective这一类的研究工作集中在设计新的知识感知训练目标，一个直观的想

文章目录1简介1.1动机1.2创新2方法2.1事件抽取转换为结构生成2.2Sequence-to-Structure结构：2.3模型学习3实验1简介论文题目：TEXT2EVENT:ControllableSequence-to-StructureGenerationforEnd-to-endEventExtraction论文来源：ACL2021论文链接：https://arxiv.org/pdf/

https://ash-icon-968.notion.site/a7baf2af8362493f9379a9c471d15bf6

引言RetroMAE，中文题目为通过掩码自编码器预训练面向检索的语言模型。尽管现在已经在许多重要的自然语言处理任务上进行了预训练，但对于密集检索来说，仍然需要探索有效的预训练策略。本篇工作，作者提出RetroMAE，一个新的基于掩码自编码器(MaskedAuto-Encoder,MAE)的面向检索的预训练范式。主要有三个关键设计：一个新颖的MAE工作流，其中输入句子用不同的掩码进行了编码器和解码器

论文地址，点这里源码地址，点这里参考：softQ-learning-v1softQ-learning-v2softQ-learning-v3本人阅读目的：这篇文章是SoftActor-Critic的基础，建议在阅读SAC之前，先读懂这篇文章。（2017年发表于顶会ICML）文章核心：证明Energy-basedpolicy是Maximum-entropy强化目标函数的最优解。这篇文章在我们通常的强

一种采用主动安全策略的蜜网系统示例：监控主机和陷阱主机分离分为三部分：系统管理模块+重定向程序+日志审计与查看模块。系统管理模块：陷阱主机上开放的web站点，和ftp站点上放置带蜜文件，并对主机进行配置。重定向程序：运行在服务器组上，将可疑的访问重定向到陷阱主机，发送日志到分析审计主机。日志分析审计主机：对监控信息进行分析，获取黑客的行为。系统管理模块设计：1、陷阱主机的安全性配置：更改所提供服务

论文地址：https://arxiv.org/abs/2307.10953代码地址：GitHub-XiangchenYin/PE-YOLO摘要（Abstract）：当前，目标检测模型在许多基准数据集上取得了良好的结果，但是在暗光条件下检测物体仍然是一大挑战。为解决这一问题，我们提出了一个金字塔增强网络（pyramidenhancednetwork,PENet），将其与YOLOv3结合，建立了一个名

六月北京|高性能计算之GPUCUDA培训6月22-24日三天密集式学习快速带你入门阅读全文>正文共1856个字，8张图，预计阅读时间12分钟。摘要：这篇论文提出了一种基于FCNN和深度监督网络的新的边缘检测算法HED，它解决了两个重要的问题，1）整体图片的训练和预测，2）多尺度多层级的特征学习。HED能实现端到端的训练，输入一个图片，输出对应的边缘图片。下图中的图c即为HED输出的边缘检测结果，d

基本信息标题：ESRGAN:EnhancedSuper-ResolutionGenerativeAdversarialNetworks简称：ESRGAN时间：2018年初版，1Sep2018,ECCV2018PIRMWorkshop作者：XintaoWang,KeYu,ShixiangWu,JinjinGu,YihaoLiu,ChaoDong,ChenChangeLoy,YuQiao,Xiaoou

LearningtoRepresentKnowledgeGraphswithGaussianEmbedding-预备知识-Abstract-background-Algorithm-Experiment-ConclusionShizhuHe,KangLiu,JunZhao.ACM(2015).-预备知识多元高斯分布https://www.cnblogs.com/bingjianing/p/9117

AThree-WayModelforCollectiveLearningonMulti-RelationalData-预备知识-Abstract-Background-Algorithm-Experment-Conclusion-预备知识克罗内克积（Kroneckerproduct）https://baike.baidu.com/item/%E5%85%8B%E7%BD%97%E5%86%85%E

引言今天又带来一篇文本匹配/文本嵌入的笔记：TextEmbeddingsbyWeakly-SupervisedContrastivePre-training。中文题目是基于弱监督对比预训练计算文本嵌入。本篇工作提出了E5模型(EmbEddingsfrombidirEctionalEncoderrEpresentations)。该模型以带弱监督信号的对比学习方式训练的。总体介绍文本嵌入是任意长度文本

Lee,J.(2021).Dory:Efficient,TransparentArgumentsforGeneralisedInnerProductsandPolynomialCommitments.TCC2021https://link.springer.com/chapter/10.1007/978-3-030-90453-1_1DualDory中降低DualRing验证复杂度的主要工具是Do

ResNeXt解决的问题：传统的要提高模型的准确率，都是加深或加宽网络，但是随着超参数数量的增加（channels，filtersize等），网络设计的难度和计算开销也会增加。本文提出的ResNeXt结构可以在不增加参数复杂度的情况下提高准确率，同时还减少了超参数的数量。ResNeXt乍一看很像inception，作者也在论文中提到了vgg相关。VGG和resnet主要采用堆叠网络来实现，ince

2017年，Google机器翻译团队发表的《AttentionisAllYouNeed》中，完全抛弃了RNN和CNN等网络结构，而仅仅采用Attention机制来进行机器翻译任务，并且取得了很好的效果，注意力机制也成为了大家近期的研究热点。该论文发表在2017年的NIPS上。1、Attention机制Attention用于计算“相关程度”，他考虑的是随意线索，而CNN，RNN考虑的是不随意线索。A

一、引言  引言直接从原论文复制，大概看一下论文的关键点：垂直导向钻井工具在近钻头振动和工具旋转的钻井工作状态下，工具姿态参数的动态测量精度不高。为此，通过理论分析和数值仿真，提出了转速补偿的算法以消除工具旋转对测量的影响;采用最小均方算法(LeastMeanSquare—LMS)自适应滤波算法，可以有效滤除近钻头振动对测量的影响。数值仿真表明，经过转速补偿和LMS自适应滤波后的井斜角测量误差可小

大规模多语言嵌入零样本跨语言迁移及更多看论文笔记这篇文章提出了一种横跨93种语言的联合多语言句子表示形式模型,这个系统使用单一的BiLSTMencoder和所有语言的共享BPE词汇表，并与辅助解码器结合并在公开可用的平行语料库上进行训练

论文链接：https://arxiv.org/pdf/1812.04202.pdf深度学习在许多领域都取得了成功，在图上也有许多研究工作。在这篇文章中，作者根据模型架构和训练策略将现有方法分为五类：图循环神经网络、图卷积网络、图自动编码器、图强化学习和图对抗方法，并以系统的方式全面概述这些方法。最后，作者简要概述了它们的应用，并讨论了未来潜在的研究方向。1.介绍传统的深度学习架构应用于图存在一些挑

引言今天带来今年的一篇文本嵌入论文GTE，中文题目是多阶段对比学习的通用文本嵌入。作者提出了GTE，一个使用对阶段对比学习的通用文本嵌入。使用对比学习在多个来源的混合数据集上训练了一个统一的文本嵌入模型，通过在无监督预训练阶段和有监督微调阶段显著增加训练数据量，可以在现有的嵌入模型上取得显著的性能提升。总体介绍最近大语言模型(LLM)的兴起引发了对基于文本嵌入模型的检索增强系统的广泛关注。这些模型

原文链接：https://arxiv.org/abs/2203.056621引言激光雷达的一个问题是产生的点云随距离变远而变得稀疏。基于体素的方法忽略了点的密度，使用体素中心特征（左图）；但对于大范围的输入，内存限制了体素的分辨率，点与体素的不对齐问题导致丢失物体细节，从而导致性能下降。基于点的方法使用最远点采样（中图），但计算复杂度随采样点的数量增大而增大，限制了细化阶段采样点的数量。此外由于行

引言今天带来华为诺亚方舟实验室提出的论文NEZHA，题目是针对中文中文语言理解神经网络上下文表示(NEuralcontextualiZedrepresentationforCHineselAnguageunderstanding)，为了拼出哪吒。预训练语言模型由于具有通过对大型语料库进行预训练来捕获文本中深层上下文信息的人能力，因此在各种自然语言理解任务中均取得了巨大成功。然而，对中文预训练模型B

摘要：深度学习诞生后，人工智能进入了蓬勃发展的蓬勃时期。在这个上升和成长的过程中，我们取得了一项又一项的成就。将深度学习应用于水果目标检测时，由于识别背景复杂、模型间相似度大、纹理干扰严重、水果部分遮挡等问题，基于传统方法的水果目标检测率较低。为了解决这些问题，提出了一种BCo-YOLOv5网络模型来识别和检测果园中的水果目标。我们使用YOLOv5s作为特征图像提取和目标检测的基本模型。本文将BC

前言在论文笔记：CNN经典结构1中主要讲了2012-2015年的一些经典CNN结构。本文主要讲解2016-2017年的一些经典CNN结构。

论文笔记DenselyConnectedConvolutionalNetworks1.标题及来源2.阅读目的3.领域4.拟解决的问题5.提出的方法5.1整体网络结构5.2DenseBlock5.3版本对比

《HowDoesBatchNormalizationHelpOptimization》论文初略论文地址：https://arxiv.org/...该论文推翻了BN原论文认为BN是因为减少了InternalCovariateShift(ICS)的推论，给出了一个新的解释，而是因为每层的标准化使得最后的loss函数变成了一个光滑的曲面而造成的最后性能提优。ICS即由于之前网络层参数的更新，当前从的输入

摘要：在之前的博客中介绍了三种对抗样本的生成算法，分别是FGSM、DeepFool和UniversalPerturbation。

SocialRole-AwareEmotionContagioninImageSocialNetworks社会角色意识情绪在形象社交网络中的传染1、摘要：心理学理论认为，情绪代表了一个人的认知系统(1927年)的精神状态和本能反应。情绪是一种复杂的情绪状态，它会导致影响我们行为的生理和心理变化。本文研究了社交网络中情绪感染的一个有趣问题。特别地，通过使用图像社交网络(Flickr)作为我们研究的基

这篇文章提出了实用的安全两方推理，能够实现安全神经网络的推理，发表在2020年安全类顶会CSS，由微软研究院的印度研究组完成。他们基于以前的密码学工作，衡量了安全和效率等多方面的问题，提出了一个叫做CrypTFlow2安全两方计算的机器学习框架。以前的激活层，Relu，Sigmoid函数大部分是采用GC，或者近似函数的方式。GC的开销比较大，而近似函数都有精度损失。比如CryptoNets中使用的

前言Anchor-free目标检测是目标检测近几年的主流趋势之一，本文分享一个汇总了最近几年Anchor-free论文的github项目。Anchor-free目标检测项目作者：XinZhang,XuesongWang,nuoxu地址：https://github.com/XinZhangNLPR/awesome-anchor-free-object-detection本项目共计涵盖24篇anch

第一个直接基于原始点云数据进行分割、分类的模型，之前都是基于多视图或者体素的方式。论文:PointNet:DeepLearningonPointSetsfor3DClassificationandSegmentation代码:TensorFlow版Pytorch版基本模型架构：分别对每个点进行特征提取(卷积或者全连接)，再MAX得到全局特征进行输出基于以下PropertiesofPointSets

R-C3D:RegionConvolutional3DNetworkforTemporalActivityDetection论文地址:https://arxiv.org/pdf/1703.07814.pdf刚看完论文，先总结一下论文的创新点:1.推广faster-RCNN的RegionProposalNetwork到时域2.推广faster-RCNN的ROIPooling算法到时域3.端到端的训练

引言今天带来一篇关于量化的论文MobileBERT，题目翻译过来是：一种适用于资源有限设备的紧凑型任务无关BERT模型。模型的简称是MobileBERT，意思是作者的这个BERT模型可以部署到手机端。本篇工作，作者提出了MobileBERT用于压缩和加速BERT模型。与原始BERT一样，MobileBERT也是任务无关的，即它仅需简单的微调就能广泛地应用于不同的下游任务。本质上，MobileBER

1GLIP:十分钟解读GLIP：GroundedLanguage-ImagePre-training-知乎GroundedLanguage-ImagePre-training（GLIP）论文笔记-知乎GLIP

0概述论文：Multi-ConceptCustomizationofText-to-ImageDiffusion源代码和数据：https://www.cs.cmu.edu/~custom-diffusion/当生成模型生成从大规模数据库中学习的概念的高质量图像时，用户通常希望合成他们自己的概念的实例(例如，他们的家庭，宠物或物品)。我们能教一个模型快速掌握一个新概念吗，给出几个例子?此外，我们能否

年恶意软件分类综述：Malwareclassificationandcompositionanalysis:Asurveyofrecentdevelopments恶意软件的分类和成分分析：对最新发展的调查阅读论文笔记原文链接

1、前言2019年可以说是语言模型快速发展的一年，BERT、XLNET、Albert等等模型不断刷新各个NLP榜单。在NLP榜单中比较引人注目的应该属于阅读理解型的任务，例如SQuAD等等。以SQuAD为例，模型需要阅读一段给定的文本，然后回答几个问题，问题如果存在答案，答案一定可以在文章中找到。所以说虽然叫阅读理解，但其实和序列标注有点相像，是在给定序列中标出答案段。而这篇论文针对的问题叫开放领

代码传送带：https://github.com/openai/gpt-2论文传送带：https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf题外话，在机器学习领域，我们经常说的一句话是NOFREELUNCH，意味着在大众认知里所有的TASK都有相应的解决系统，而互相之间不存在一种通用的学习模型能够

引言今天继续GPT系列论文，这次是LanguageModelsareUnsupervisedMultitaskLearners，即GPT-2，中文题目的意思是语言模型是无监督多任务学习器。自然语言任务，比如问答、机器翻译、阅读理解和摘要，是在任务相关数据集上利用监督学习的典型方法。作者展示了语言模型在训练名为WebText的新数据集时，即使是无监督，也能开始学习这些任务。基于一个文档和问题的情况下

这篇文章写的是Facebook推出的FastText，能够快速在海量文本数据上进行分类任务和表示学习，可以用一个普通的多线程CPU在十分钟内训练百万级的语料，一分钟内将五十万文本分类到三十万个类别中。最近几年深度学习在NLP任务上虽取得了显著地成就，但此类模型无论是训练还是测试阶段都因过长的时间消耗很难应用在更大的语料数据上。与此同时一些简单的线性模型在保持速度效率的同时也有不俗的表现，如Word

什么是对抗样本AdversarialExamples(对抗样本)：对输入样本故意添加一些人无法察觉的细微的干扰，导致模型以高置信度给出一个错误的输出。对抗样本与对抗学习（GAN）不同。

关键词：光流估计、端到端训练、迭代优化、GRU一种新的适用于光流的端到端可训练的模型。独特之处在于它使用大量轻量级、循环更新算子以单一分辨率运行。在各种数据集上实现了最好的精度，强大的跨数据集泛化能力，并且在推断时间、参数总数和训练迭代方面非常有效。创新点：RAFT以高分辨率保持和更新单个固定的光流场；RAFT的更新算子是循环的、轻量级的，并且共享权重；更新算子由一个卷积GRU组成，在4D多尺度相

参考代码：RAFT作者主页：ZacharyTeed1.概述导读：这篇文章提出了一种新的光流估计pipline，与之前介绍的PWC-Net类似其也包含特征抽取/correlationvolume构建操作。在这篇文章中为了优化光流估计，首先在correlationvolume的像素上进行邻域采样得到lookups特征（增强特征相关性，也可以理解为感受野），之后直接使用以CNN-GRU为基础的迭代优化网

Liao,Bencheng,etal.“Maptr:Structuredmodelingandlearningforonlinevectorizedhdmapconstruction.”arXivpreprintarXiv:2208.14437(2022).要点总结:MapTR将地图元素(路沿,车道线,人行横道等)分成两类—线和多边形,然后使用DETR策略对每个实例预测出一个数量为N的点集,接着让

Wei,Yi,etal.“Surroundocc:Multi-camera3doccupancypredictionforautonomousdriving.”ProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision.2023.重点记录将占用网格应用到多个相机构成的3D空间中;使用BEVFormer中的方法获取3D特征,然后使用

多源信息融合技术研究综述论文笔记一、主要内容1.摘要：多源信息融合即基于多种(同类或异类)信息源，根据某个特定标准在空间或时间上进行组合，获得被测对象的一致性解释或者描述，并使得该信息系统具有更好的性能

引言今天带来论文ImprovingLanguageUnderstandingbyGenerativePre-Training的笔记，它的中文题目为：通过生成式预训练改进语言理解。其实就是GPT的论文。自然语言理解可以应用于大量NLP任务上，比如文本蕴含、问答、语义相似和文档分类。虽然无标签文本语料是丰富的，但是用于训练这些特定任务的有标签文本语料是匮乏的，使得区分性训练模型难以表现出足够的性能。作

引言本文是SBERT(Sentence-BERT)论文1的笔记。SBERT主要用于解决BERT系列模型无法有效地得到句向量的问题。很久之前写过该篇论文的笔记，但不够详细，今天来重新回顾一下。BERT系列模型基于交互式计算输入两个句子之间的相似度是非常低效的(但效果是很好的)。当然可以通过批数据优化，将query和多个待比较句子分别拼接成批大小内的样子一次输入，是可以同时计算批大小个样本之间的相似度

个人论文精读笔记，主要是翻译+心得，欢迎旁观，如果有兴趣可以在评论区留言，我们一起探讨。Paper:https://arxiv.org/pdf/2209.06585v2.pdfCode:https://github.com/openvinotoolkit/deep-object-reid/tree/multilabel文章目录0.摘要1.介绍2.相关工作3.方法3.1模型架构3.2Transfor

个人论文精读笔记，主要是翻译+心得，欢迎旁观，如果有兴趣可以在评论区留言，我们一起探讨。Paper:https://openreview.net/pdf?id=8XqDnrmZQNFCode:https://github.com/yu-gi-oh-leilei/IDA_2023ICLR文章目录摘要1介绍3.初步结论:语境偏见中的因果关系4.方法4.1类感知层4.2因果关系的干预4.3采样和重加权层

论文笔记参考：多标签分类论文笔记|CombiningMetricLearningandAttentionHeads…MLD-TResNet-L-AAM/GAT+AAM)1.安装anaco