【论文笔记】

Exploring the Limits of Masked Visual Representation Learning at Scale论文笔记

论文名称：EVA:ExploringtheLimitsofMaskedVisualRepresentationLearningatScale发表时间：CVPR2023作者及组织：北京人工智能研究院；华中科技大学；浙江大学；北京理工大学GitHub：https://github.com/baaivision/EVA问题与贡献本文中，作者提出了一个以视觉为中心的基础模型，EVA，来探索大规模maske
hello_dear_you·2023-12-26 13:03

论文笔记_Generic_InP-Based_Integration_Technology:_Present_and_Prospects

GenericInP-BasedIntegrationTechnology:PresentandProspects2014年摘要：综述了当前基于InP的光子芯片代工厂的技术，并进行了展望光子集成电路也有类似的摩尔定律，但是仍处在摩尔定律的早期想要发展集成光学，需要借鉴集成电路发展过程中fabless与foundry模式及其一系列降低研发成本的方式集成光芯片需要类似集成电路中三极管、二极管、电阻、电
i写作业·2023-12-25 14:39

论文笔记_Fundamental Performance Limits and Scaling of a CMOS Passive Double-Balanced Mixer

FundamentalPerformanceLimitsandScalingofaCMOSPassiveDouble-BalancedMixer时间：2008年6月作者：KrenarKomoni,SameerSonkusale,GeoffDawe文章目录FundamentalPerformanceLimitsandScalingofaCMOSPassiveDouble-BalancedMixer省
i写作业·2023-12-25 14:09

[论文笔记] PiPAD: Pipelined and Parallel Dynamic GNN Training on GPUs

PiPAD:PipelinedandParallelDynamicGNNTrainingonGPUsPiPAD:基于GPU的流水线并行动态GNN训练[Paper]PPoPP’23摘要提出了PiPAD,一个流水线并行的DGNN训练框架,用于GPU上的端到端性能优化.从算法和运行时层面重构了整体训练范式.1介绍动态图表示分类:连续时间动态图(ContinuousTimeDynamicGraphs,CT
PeakCrosser·2023-12-25 09:16

【最优传输论文笔记一】Optimal Transport for Domain Adaptation

前言在本文中，提出了一个正则化的无监督最优传输模型来执行源域和目标域的表示对齐。学习了一个匹配两个概率密度函数（PDF）的传输计划，它约束源域中同一类的标记样本在传输过程中保持接近。这样，我们同时利用源中的标记样本和在两个域中观察到的分布。1.introduce一些理论工作强调了域的数据概率分布函数之间的散度所起的作用。因此文章提出了符合最少努力原则的源数据转换，即相对于转换成本或度量的影响最小。
羊驼不驼a·2023-12-24 16:43

【基础论文笔记二】Transfer Learning with Dynamic AdversarialAdaptation Network(2019 ICDM)动态对抗适应网络的迁移学习论文笔记

背景现有的对抗性领域自适应方法要么学习单个领域鉴别器来对齐全局源和目标分布，要么关注基于多个鉴别器的子域对齐。然而，在实际应用中，域之间的边际（全局）分布和条件（局部）分布对适应的贡献往往不同。在本文中，作者提出了一种新的动态对抗性自适应网络（DAAN）来动态学习域不变表示，同时定量评估全局和局部域分布的相对重要性。DAAN架构在DAAN中，高级特征f由特征提取器（Gf，蓝色部分）提取。然后，分别
羊驼不驼a·2023-12-24 16:43

【论文笔记四2019 CVPR】Domain-Symmetric Networks for Adversarial Domain Adaptation (SymNets) 用于对抗域自适应的域对称网络

摘要深度网络通过对抗训练学习域不变性特征，但域自适应技术在源域和目标域实现类别层级的对齐仍然是有限的。本文提出了SymNets模型在对齐源域和目标域的边缘分布的同时也增强了对两个域中条件分布的对齐，从而实现类别层级的对齐。在领域自适应中源域和目标域上的任务是一致的，为此SymNets设计了一个对称的任务分类器结构，也就是说传统的分类器是有K个神经元对应K个类别，而SymNets为源域和目标域分别设
羊驼不驼a·2023-12-24 16:43

【基础论文笔记一】(2018 NIPS)Conditional Adversarial Domain Adaptation CDAN条件对抗域适应

目录一、CDAN结构二、多线性调整三、熵调整四、总体优化目标前言对抗性学习已被嵌入到深层网络中，用于学习解纠缠和可转移的领域适应表示。在分类问题中，现有的对抗性域自适应方法可能无法有效地对齐多模态分布的不同域。作者指出当前一些对抗域适应方法仍存在三个问题：1.只考虑了特征对齐，没有考虑标签对齐。2.当数据分布体现出复杂的多模态结构时，对抗性自适应方法可能无法捕获这种多模态结构，也就是说即使判别器完
羊驼不驼a·2023-12-24 16:13

UFO论文笔记

1TitleAUnifiedTransformerFrameworkforGroup-basedSegmentation:Co-Segmentation,Co-SaliencyDetectionandVideoSalientObjectDetection（YukunSu,JingliangDeng,RuizhouSun,GuoshengLin,andQingyaoWu）【ransactionsOn
umbrellazg·2023-12-24 06:52

论文笔记--Gemini: A Family of Highly Capable Multimodal Models

论文笔记--1.文章简介2.文章概括3文章重点技术3.1模型架构3.2训练数据3.3模型评估3.3.1文本3.3.1.1Science3.3.1.2Modelsizes3.3.1.3Multilingual3.3.1.4LongContext3.3.1.5Humanpreference3.3.2
Isawany·2023-12-24 03:36

论文笔记--A Fine-grained Interpretability Evaluation Benchmark for Neural NLP

论文笔记--AFine-grainedInterpretabilityEvaluationBenchmarkforNeuralNLP1.文章简介2.文章概括3文章重点技术3.1数据收集3.2数据扰动3.3
Isawany·2023-12-24 03:35

论文笔记--InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning

论文笔记--InstructBLIP:TowardsGeneral-purposeVision-LanguageModelswithInstructionTuning1.文章简介2.文章概括3文章重点技术
Isawany·2023-12-24 03:35

论文笔记--Learning Political Polarization on Social Media Using Neural Networks

论文笔记--LearningPoliticalPolarizationonSocialMediaUsingNeuralNetworks1.文章简介2.文章概括3.相关工作4.文章重点技术4.1Collectionofposts4.1.1
Isawany·2023-12-24 03:04

DyNet论文笔记 华为动态卷积核的论文解读

文章目录*KeyPoint*为什么要这么干？*Keywords*摘要引言相关工作高效卷积神经网络设计模型的压缩动态卷积核CNN中的动态卷积动机动态卷积系数预测模块(Coefficientpredictionmodule)动态生成模块(Dynamicgenerationmodule)训练算法动态卷积神经网络评估实验设置及比较方法实验结果与分析消融研究结论附录DYNET:DYNAMICCONVOLUT
晓梦清尘·2023-12-24 02:15

《基于非连续路径可靠性排序的快速二维相位展开算法》论文笔记

基于非连续路径可靠性排序的快速二维相位展开算法Fasttwo-dimensionalphase-unwrappingalgorithmbasedonsortingbyreliabilityfollowinganoncontinuouspath.DOI:10.1364/AO.41.0074371、介绍相位解包裹中的不连续性、局部区域的欠采样、信噪比的高局部变化和掩蔽区域是解包裹算法必须克服的一些问题
桐秋廿·2023-12-23 23:00

【论文笔记】Scene Reconstruction From 4D Radar Data with GAN and Diffusion

原文链接：https://kth.diva-portal.org/smash/get/diva2:1799731/FULLTEXT01.pdf1.引言本文使用深度生成模型（DGM）实现以4D雷达为条件的图像生成，以提供雷达数据的另一可视化方法并增强可解释性。实验中的雷达和RGB相机固定在路面上方并经过时空同步。雷达和图像的数据对会作为网络的训练数据。网络使用深度生成模型将雷达数据转化为RGB图像。
byzy·2023-12-23 15:31

【论文笔记】3D Gaussian Splatting for Real-Time Radiance Field Rendering

原文链接：https://arxiv.org/abs/2308.040791.引言网孔和点是最常见的3D场景表达，因其是显式的且适合基于GPU/CUDA的快速栅格化。神经辐射场（NeRF）则建立连续的场景表达便于优化，但渲染时的随机采样耗时且引入噪声。本文的方法结合了上述两种方法的优点：使用3D高斯表达和基于tile的溅射，能实时地渲染高质量高分辨率图像。首先建立3D高斯表达场景。从使用运动恢复结
byzy·2023-12-23 15:31

【论文笔记】Cam4DOcc: Benchmark for Camera-Only 4D Occupancy Forecasting in Autonomous Driving Application

Cam4DOcc:BenchmarkforCamera-Only4DOccupancyForecastinginAutonomousDrivingApplications原文链接：https://arxiv.org/abs/2311.17663I.引言现有的基于相机的占用估计方法仅估计当前和过去的占用状态，但自动驾驶汽车需要未来的环境条件。本文提出首个相机4D占用预测基准Cam4DOcc，包含数据
byzy·2023-12-23 15:30

【论文笔记】NeuRAD: Neural Rendering for Autonomous Driving

原文链接：https://arxiv.org/abs/2311.152601.引言神经辐射场（NeRF）应用在自动驾驶中，可以创建可编辑的场景数字克隆（可自由编辑视角和场景物体），以进行仿真。但目前的方法或者需要大量的训练时间，或者对传感器的建模过于简单（导致仿真和真实数据的间隙），或者性能较低。本文提出NeuRAD，一种可编辑的新视图合成模型。该方法可以处理大型自动驾驶场景，建模了重要的传感器特
byzy·2023-12-23 15:28

MobileNet相关知识整理

一、MobileNetV1&MobileNetV2简介(超级推荐)二、Depthwise卷积与Pointwise卷积(Depthwise卷积的提出,大大较少了参数量,论文的主要贡献)三、参数量计算四、论文笔记五
hjxu2016·2023-12-23 11:52

ACL2021论文笔记——Semantic Representation for Dialogue Modeling

论文链接：SemanticRepresentationforDialogueModeling(aclanthology.org)https://aclanthology.org/2021.acl-long.342.pdfattention:本文的"我"、"我们"都指作者概述：题目为《对话建模的语义表示》仍需解决的问题：1.AMR2.featurefusion(Mangaietal.,2010)3.
Mike峰·2023-12-23 08:28

【论文笔记】Unsupervised Person Re-identification by Soft Multilabel Learning

笔记目录（部分笔者省略）摘要1.简介2.相关工作无监督RE_ID无监督域自适应多标签分类零镜头学习3.深度软件多标签参考学习3.1问题表述和概述3.2软多标签引导的硬否定挖掘3.3跨视野一致性软多标签学习3.4参考代理学习4.实验4.1数据集基准测试评估辅助数据集4.2实验实施细节4.3与最新方法的比较与基于手工特征表示模型的比较与基于伪标签学习模型的比较与基于无监督域自适应模型的比较4.4消融研
Yo3ngLau·2023-12-23 02:21

image caption 必看论文，模型整理

基础模型transformers-attentionisallyouneed细节笔记论文笔记几个重点1.架构图2.attention原理attention机制中的query,key,value的概念解释
MIngo的成长·2023-12-23 01:16

[论文笔记] GNNAdvisor: An Adaptive and Efficient Runtime System for GNN Acceleration on GPUs

GNNAdvisor:AnAdaptiveandEfficientRuntimeSystemforGNNAccelerationonGPUsGNNAdvisor:GPU上GNN加速的自适应高效运行时系统[Paper][Slides][Code]OSDI’21摘要提出了GNNAdvisor,一个用于加速GPU平台上各种GNN工作负载的自适应高效运行时系统.从GNN模型和输入图中探索并识别了几个与性能
PeakCrosser·2023-12-21 17:05

论文笔记 | Nature 2023 FunSearch：利用大语言模型在数学科学领域探索新的发现

文章目录一、前言二、主要内容三、总结CSDN叶庭云：https://yetingyun.blog.csdn.net/一、前言科学中有许多难以解决的问题，这些问题难以获得确切解答，但却相对容易进行验证。在数学和计算机科学领域，这类问题被称为NP完全优化问题（NP-completeoptimizationproblems）。人们普遍认为不存在能够在“可接受时间”内（即多项式时间内）解决此类问题的算法，
叶庭云·2023-12-21 12:22

【论文笔记】Distilling the Knowledge in a Neural Network

Abstract几乎任何机器学习算法性能提升的一个非常简单的方法是在相同数据上训练多个不同的模型，然后对它们的预测结果进行平均。不幸的是，使用整个模型集合进行预测繁琐，可能会因为计算成本过高而难以部署给大量用户，尤其是如果各个模型是庞大的神经网络时。研究表明，可以将集合中的知识压缩成一个单一模型，这样更容易部署，而我们则进一步使用不同的压缩技术发展了这种方法。本文在MNIST数据集上取得了令人惊讶
xhyu61·2023-12-21 10:48

【论文笔记】MCANet: Medical Image Segmentation withMulti-Scale Cross-Axis Attention

医疗图像分割任务中，捕获多尺度信息、构建长期依赖对分割结果有非常大的影响。该论文提出了Multi-scaleCross-axisAttention（MCA）模块，融合了多尺度特征，并使用Attention提取全局上下文信息。论文地址：MCANet:MedicalImageSegmentationwithMulti-ScaleCross-AxisAttention代码地址：https://githu
justld·2023-12-21 10:47

论文笔记 | ICLR 2023 WikiWhy：回答和解释因果问题

文章目录一、前言二、主要内容三、总结CSDN叶庭云：https://yetingyun.blog.csdn.net/一、前言ICLR2023|Accept:notable-top-5%：《WikiWhy:AnsweringandExplainingCause-and-EffectQuestions》一段话总结：WikiWhy是一个新的QA数据集，围绕一个新的任务建立：用自然语言解释为什么一个答案是
叶庭云·2023-12-21 04:18

【论文笔记】动态蛇卷积（Dynamic Snake Convolution）

精确分割拓扑管状结构例如血管和道路，对医疗各个领域至关重要，可确保下游任务的准确性和效率。然而许多因素使分割任务变得复杂，包括细小脆弱的局部结构和复杂多变的全局形态。针对这个问题，作者提出了动态蛇卷积，该结构在管状分割任务上获得了极好的性能。论文：DynamicSnakeConvolutionbasedonTopologicalGeometricConstraintsforTubularStruc
justld·2023-12-21 02:37

论文笔记：Accurate Localization using LTE Signaling Data

1intro论文提出LTELoc，仅使用信令数据实现精准定位信令数据已经包含在已在LTE系统中，因此这种方法几乎不需要数据获取成本仅使用TA（时序提前）和RSRP【这里单位是瓦】（参考信号接收功率）TA值对应于信号从手机到达基站所需的时间长度——>考虑到光速，它相当于用户设备与基站之间的距离在4GLTE网络中，TA值介于0到63之间，每个步骤代表一个比特周期（大约0.5208μs）的提前。以大约3
UQI-LIUWJ·2023-12-20 23:16

论文笔记 Origin-Destination Matrix Prediction via Graph Convolution: aNew Perspective of Passenger Dema

19KDD1intro研究内容：OD矩阵预测（ODMP）预测在给定时间段内从一个地理区域到另一个地理区域的叫车订单数量本文提出了一种基于网格嵌入的单馈多任务学习模型(GEML)，同时考虑出行信息和地理特征，基于图对出行模式进行建模如果直接将已有的GCNs应用到OD矩阵所生成的图上，会出现以下问题：由于数据稀疏，学习到的具有很少订单的网格嵌入往往是不可靠和无效的对于没有任何历史订单记录的孤立节点(例
UQI-LIUWJ·2023-12-20 23:46

论文笔记 | ICLR 2023 ReAct：通过整合推理和行动来增强语言模型

文章目录一、前言二、主要内容三、总结CSDN叶庭云：https://yetingyun.blog.csdn.net/一、前言ICLR2023|Accept:notable-top-5%：《ReAct:SynergizingReasoningandActinginLanguageModels》一句话总结：ReAct方法在问答任务中通过提示大语言模型生成与任务相关的推理文本，并根据需求生成搜索或调用工
叶庭云·2023-12-20 13:52

【工作】思“运算”

（论文笔记及思考）培养小学生数学运算能力主要体现在以下几个方面：1-培养学生对数学运算的兴趣；多种形式的训练（如：游戏、竞赛、算式卡片、黑板视算、听算、限时口算、自编计算题等）。
Telling谭·2023-12-20 11:28

论文笔记：Bilinear Attention Networks

更精简的论文学习笔记1、摘要多模态学习中的注意力网络提供了一种选择性地利用给定视觉信息的有效方法。然而，学习每一对多模态输入通道的注意力分布的计算成本是非常昂贵的。为了解决这个问题，共同注意力为每个模态建立了两个独立的注意分布，忽略了多模态输入之间的相互作用。在本文中，我们提出了双线性注意力网络（BAN），它可以找到双线性注意力分布来无缝地利用给定地视觉语言信息。BAN考虑两组输入通道之间的双线性
hongyuyahei·2023-12-18 17:30

【论文笔记】RepVGG: Making VGG-style ConvNets Great Again

RepVGG:MakingVGG-styleConvNetsGreatAgain目录RepVGG:MakingVGG-styleConvNetsGreatAgain1.Introduction1.1多分支网络结构的缺点1.2RepVGG优点2.ModelRe-parameterization（模型重参数化）2.1.DiracNet2.2WinogradConvolution3.BuildingRe
chairon·2023-12-18 11:33

论文笔记《NeuralField-LDM: Scene Generation with Hierarchical Latent Diffusion Models》

paper：https://arxiv.org/abs/2304.09787code：问就是没有code！主旨：用两个autoencoder
浅度断墨·2023-12-18 01:53

论文笔记：CQR-SQL: Conversational Question Reformulation Enhanced Context-Dependent Text-to-SQL Parsers

论文笔记：CQR-SQL:ConversationalQuestionReformulationEnhancedContext-DependentText-to-SQLParsers目录论文笔记：CQR-SQL
Q同学的nlp笔记·2023-12-17 14:29

[论文笔记] GAMMA: A Graph Pattern Mining Framework for Large Graphs on GPU

GAMMA:AGraphPatternMiningFrameworkforLargeGraphsonGPUGAMMA:基于GPU的针对大型图的图模式挖掘框架[Paper][Code]ICDE’23摘要提出了一个基于GPU的核外(out-of-core)图模式挖掘框架(GraphPatternMining,GPM)GAMMA,充分利用主机内存来处理大型图.GAMMA采用对用户透明的自适应隐式主机内存
PeakCrosser·2023-12-17 06:17

[论文笔记] 大模型gpu机器推理测速踩坑 (llama/gpt类)

cpu没报错，换gpu就报错。以下是一些踩坑：坑1：要指定gpu，可以在importtorch之前指定gpu。model=LlamaForCausalLM.from_pretrained(model_path,trust_remote_code=True).to(device)报错:RuntimeError('Expectedalltensorstobeonthesamedevice,butfou
心心喵·2023-12-17 00:02

[论文笔记] chatgpt系列 SparseMOE—GPT4的MOE结构

SparseMOE:稀疏激活的MOESwtichMOE，所有token要在K个专家网络中，选择一个专家网络。显存增加。ExpertsChoice：路由MOE：由专家选择token。这样不同的专家都选择到某个token，也可以不选择该token。由于FFN层的时间复杂度和attention层不同，FFN层的时间复杂度在O(N*d)，N是输入长度，d是隐层纬度。attention层的时间复杂度在O(N
心心喵·2023-12-17 00:59

clean-label backdoor attacks 论文笔记

#论文笔记#1.论文信息论文名称Clean-LabelBackdoorAttacks作者AlexanderTurner(MIT)会议/出版社ICLR2019pdf本地pdf在线pdf代码trojanzoo-clean-label
wwweiyx·2023-12-16 06:10

[论文笔记] 大模型主流Benchmark测试集介绍

自然语言处理（NLP）的进步往往通过在各种benchmark测试集上的表现来衡量。随着多语言和跨语言NLP研究的兴起，越来越多的多语言测试集被提出以评估模型在不同语言和文化背景下的泛化能力。在这篇文章中，我们将介绍几个主流的多语言NLPbenchmark测试集，包括ARCChallenge、HellaSWAG、MMLU、Multi-taskingTestGeneration(MTG)、PAWS-X
心心喵·2023-12-15 12:43

geolife笔记：比较不同轨迹相似度方法

这里采用论文笔记：DeepRepresentationLearningforTrajectorySimilarityComputation-CSDN博客中的方法：2收集每一个id对应的轨迹2.1经纬度转
UQI-LIUWJ·2023-12-15 12:59

论文笔记：Dual Dynamic Spatial-Temporal Graph ConvolutionNetwork for Traffic Prediction

IEEETRANSACTIONSONINTELLIGENTTRANSPORTATIONSYSTEMS20221intro1.1背景GCN和TCN被引入到交通预测中GCN能够保留交通网络的图结构信息TCN能够捕获交通流的时间特征基于GCN的交通预测方法依赖于如何构建图或邻接矩阵将道路段的交通测量作为节点通过不同道路段的直接连接来构建图道路段上的交通流量测量及其相关性在空间和时间上会动态变化（eg交通
UQI-LIUWJ·2023-12-15 12:59

论文笔记：使用多角度高光谱数据估算冬小麦垂直方向叶片叶绿素浓度

本文简单介绍使用多角度高光谱数据估算冬小麦垂直方向叶片叶绿素浓度的方法和实践，论文基本信息：Wu,Bin;Huang,Wenjiang;Ye,Huichun;Luo,Peilei;Ren,Yu;Kong,Weiping.2021."UsingMulti-AngularHyperspectralDatatoEstimatetheVerticalDistributionofLeafChlorophyl
HenryYanWhu·2023-12-15 07:27

【论文笔记】HetGNN

HeterogeneousGraphNeuralNetwork2019KDD论文链接：https://dl.acm.org/doi/pdf/10.1145/3292500.3330961官方代码：https://github.com/chuxuzhang/KDD2019_HetGNN个人实现：https://github.com/ZZy979/pytorch-tutorial/tree/maste
zzy979·2023-12-15 05:33

论文笔记：详解GraphSAGE

论文的阅读笔记背景相关工作模型推导前向传播扩展GraphSAGE算法框架到minibatch模型训练聚合器的设置实验对GraphSAGE表达能力的理论分析（讨论其如何学习图结构）参考论文对节点嵌入不明白的可以先看这篇：论文笔记
图学习的小张·2023-12-15 05:32

论文笔记：www2019 层次图视角的半监督图分类

Semi-SupervisedGraphClassification:AHierarchicalGraphPerspective（层次图视角的半监督图分类）是层次图提出的第一篇文章，也是我组会讲的第一篇文章，整理了我的笔记，对论文中的SAGE模块做了比较详细的介绍模型概述损失函数SAGE模块（SelfAttentionGraphEmbedding）算法描述与解释实验参考文献模型概述  所谓层次图指
图学习的小张·2023-12-15 05:32

论文笔记：详解DeepWalk与Node2vec

最近读了DeepWalk和Node2vec这两篇图学习的经典文章，对自己的笔记进行了整理。DeepWalk算法笔记应用背景功能描述基本概念随机游走（RandomWalks）幂律分布（Connection:Powerlaws）词嵌入学习的经典方法（Word2vec）DeepWalk模型与损失函数推导算法描述与解释（伪代码）时间复杂度分析DeepWalk的改进算法（Node2vec）算法描述与解释（伪
图学习的小张·2023-12-15 05:02

论文笔记：详解图注意力网络（GAT）

整理了GAT（ICLR2018GraphAttentionNetwork）论文的阅读笔记背景图注意力网络的构建模块与其他模型对比实验背景  图神经网络的任务可以分为直推式(Transductive)学习与归纳(Inductive)学习：Inductivelearning，翻译成中文可以叫做“归纳式学习”，就是从已有数据中归纳出模式来，应用于新的数据和任务。在图学习的训练过程中，看不到没有标注的节点
图学习的小张·2023-12-15 05:16
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他