GNN论文学习第6页

UniAD 论文学习

一、解决了什么问题？当前的自动驾驶方案大致由感知（检测、跟踪、建图）、预测（motion、occupancy）和规划三个模块构成。为了实现各种功能，智驾方案大致包括两种路线。一种是针对每个任务都部署一个模型，该范式能降低各团队间的研发困难度，但由于各个优化目标是孤立的，会引发模块之间信息丢失、错误累加和特征不对齐的问题。另一种是多任务的设计路线，多个任务heads共享一个特征提取器，该范式能节省边

calvinpaean·2023-10-09 16:52

QA-GNN: Reasoning with Language Models and Knowledge Graphsfor Question Answering

题目：QA-GNN：使用语言模型和知识图进行问答推理作者：MichihiroYasunaga、HongyuRen、AntoineBosselut、PercyLiang、JureLeskovec发布地方：

SU_ZCS·2023-10-08 19:24

GNN-频域-2014：Spectral Networks and Locally Connected Networks on Graphs（频谱图卷积神经网络）【第一篇从频域角度分析】

《原始论文：SpectralNetworksandLocallyConnectedNetworksonGraphs》空域卷积非常直观地借鉴了图像里的卷积操作，但缺乏一定的理论基础。而频域卷积则不同，相比于空域卷积而言，它主要利用的是**图傅里叶变换(GraphFourierTransform)**实现卷积。简单来讲，它利用图的**拉普拉斯矩阵(Laplacianmatrix)**导出其频域上的的拉

u013250861·2023-10-05 23:37

Stable Diffusion：High-Resolution Image Synthesis with Latent Diffusion Models论文学习

https://github.com/CompVis/latent-diffusion1摘要前一篇Diffusion算法明显的缺点是耗费大量的时间、计算资源，为此，论文将其应用于强大的预训练自编码器的潜在空间，这是首次允许在复杂性降低和细节保存之间达到一个近乎最佳的点，极大地提高了视觉保真度。通过在模型架构中引入交叉注意层，将扩散模型转化为强大而灵活的生成器，用于一般条件输入，如文本或包围框，并以

south020·2023-10-04 22:38

SG Former论文学习笔记

超越SWin和CSWinTransformer的新模型代码地址：https://github.com/OliverRensu/SG-Former论文地址：https://arxiv.org/pdf/2308.12216.pdfViT在各种视觉任务中虽然成功，但它的计算成本随着Token序列长度的增加呈二次增长，这在处理大型特征图时大大限制了其性能。为了减轻计算成本，先前的研究依赖于要么限制在局部小

athrunsunny·2023-10-03 19:44

他们走过的路，是万里江山，满目烟尘｜感恩日记D268

早起学习教师资格复习，早饭完毕，教研室论文学习。今天做了走路冥想，感觉特别舒服，特别神奇。和感恩日记带给我的魔力一样，让我更加慢下来，享受被自己忽略的周遭。能让自己慢下来是种

Amy宝宝·2023-10-03 02:44

PyG (PyTorch Geometric) GNN 笔记

https://pytorch-geometric.readthedocs.io/en/latest/index.htmlINTRODUCTIONBYEXAMPLEhttps://pytorch-geometric.readthedocs.io/en/latest/notes/introduction.htmlAgraphisusedtomodelpairwiserelations(edges)b

光子乘羽·2023-10-02 21:41

GNN Code Tips

目录1.重置label取值范围2.根据多个labelstensor从整体label数据中提取特定数据。3.构建GeometricGATConv和GCNConv的edge_index4.为GCNConv从全部edgeindex抽取指定的batchedgeindex4.1extractbatchedgeindexforfullnodes4.2extractbatchedgeindexforbatchn

天狼啸月1990·2023-10-02 21:41

GNN advanced knowledge

1.BP时注意lossvalue避免构建的GNNmodel在BP时陷入梯度消失或梯度爆炸，这都会导致modelperformance很差。修正方法：Batchnormalizationtorch.nn.BatchNorm1d()激活函数torch.nn.ELU();torch.nn.ReLU();torch.nn.Sigmoid()目标时将BPlossvalue限定在20-40之间Notethat

天狼啸月1990·2023-10-02 21:41

GNN PyG~torch_geometric 学习理解

目录1.PyGIntroduction2.PyGInstallation2.1PyG安装常见错误及原因2.2PyG具体安装步骤3.torch_geometricpackagestorch_geometric.data.DataDataset与DataLoaderDropout、BatchNorm3.torch_geometric:理解edge_index3.1理解mini-batchedgeind

天狼啸月1990·2023-10-02 21:10

图神经网络GNN(一）GraphEmbedding

DeepWalk使用随机游走采样得到每个结点x的上下文信息，记作Context(x)。SkipGram优化的目标函数：P(Context(x)|x;θ)θ=argmaxP(Context(x)|x;θ)DeepWalk这种GraphEmbedding方法是一种无监督方法，个人理解有点类似生成模型的Encoder过程，下面的代码中，node_proj是一个简单的线性映射函数，加上elu激活函数，可以

天津泰达康师傅·2023-10-02 16:04

Task 01 简单图论与环境配置

参考链接：https://github.com/datawhalechina/team-learning-nlp/blob/master/GNN/Markdown%E7%89%88%E6%9C%AC/2

沫2021·2023-10-01 10:36

[目标检测]——YOLO论文学习(v1)

论文提取链接：链接：https://pan.baidu.com/s/1LqNBgL9Va4puiDEljp9syg提取码：visfYOLO设计之初：就希望网络比较迅速，做到实时处理（你仅看一眼）——OneStage网络1、摘要和介绍：YOLO是做目标检测的，通过回归来做到这一点，即把一个端到端的网络设计成一个回归器2、UnifiedDetection：此节须知：需要知道的是YOLOV1版本想要预测

Star星屹程序设计·2023-10-01 01:02

ByteTrack 论文学习

1.解决了什么问题？多目标跟踪是在给定的视频片段中，预测出目标的边框和ID信息。现有方法需要在truepositives和falsepositives之间做取舍，将高于一定阈值的检测框关联起来，获取其ID。而那些低得分的目标（如被遮挡物体）会被舍弃，造成一些真实目标丢失、轨迹断断续续的问题。如下图，在t1t_1t1帧初始化了三个不同的tracklets，其得分高于0.50.50.5。但在t2t_2

calvinpaean·2023-09-30 19:27

FairMOT 论文学习

1.解决了什么问题？现有的多目标跟踪方案将目标检测和reID任务放在一个网络里面优化学习，计算效率高。目标检测首先在每一帧中检测出兴趣目标，要么将其与现有的轨迹关联起来，要么创建一个新的轨迹。这两个任务会相互竞争，现有的方法都将reID任务列为次优先级任务，而检测任务为主优先级，reID的准确率受检测影响很大，这对reID不公平。当场景中目标很多时，先检测再跟踪的方式无法取得实时的效果，因为这两个

calvinpaean·2023-09-30 18:18

论文学习：RT-DETR

RT-DETR摘要DETR取得显著性能，但高成本计算使其无法发挥无NMS的优势，无法实际应用。本文分析了NMS对准确性和速度的负面影响，并建立端到端的速度基准。第一个实时端到端检测器，高效处理多尺度特征，并提出IoU-awarequeryselection，向解码器提供了更高质量的初始objectqueries可以灵活调整解码器层数来调整推理速度，不需要重新训练。速度和精度都优于相同规模最先进的Y

Plusmile1·2023-09-30 16:54

优化｜深度学习或强化学习在组合优化方面有哪些应用？

，是由于其结合了强化学习(Reinforcementlearning)强大的决策(decision-making)能力和深度学习(deeplearning)的各种模型(RNN、Transformer、GNN

人工智能学家·2023-09-30 05:44

【论文学习】Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation

文章目录摘要1.导言2.方法论2.1问题制定2.2模型架构2.2.1特征表示学习实体表示context-enhanced实体表示实体对表示轴向注意力加强的实体对表示2.2.2适应性焦距损失(AdaptiveFocalLoss)2.2.3KnowledgeDistillationforDistantSupervisionNaiveAdaptation(NA)KnowledgeDistillation

Shackles Lay·2023-09-29 16:43

三维重建论文学习

开源的三维重建算法的介绍、比较和评估最近接触稠密重建，跑了几个开源框架，看了下重建的效果。想深入了解框架相关算法和效果比较。于是找到了这篇文章：OPEN-SOURCEIMAGE-BASED3DRECONSTRUCTIONPIPELINES:REVIEW,COMPARISONANDEVALUATION开源项目VisualSfM是最早使用一体GUI的开源工具，该工具由Wu等人开发，并整合了著名的PMV

unicorn_lyc·2023-09-28 04:46

Improved Baselines with Momentum Contrastive Learning 论文学习

1.解决了什么问题？最近的非监督表征学习关注在对比学习上。在检测和分割任务上，MoCo的非监督预训练表现优于在ImageNet监督预训练的表现；在线性分类表现上，SimCLR进一步缩小了非监督和监督预训练的差距。2.提出了什么方法？使用一个MLP映射head和数据增强方法，改进了MoCo。这两个方法与现有的MoCo和SimCLR框架是正交的，能提升MoCo在图像分类和目标检测上迁移学习的效果。此外

calvinpaean·2023-09-27 04:21

[论文学习]P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Task

[论文学习]P-TuningV2P-Tuningv2:PromptTuningCanBeComparabletoFine-tuningUniversallyAcrossScalesandTasksP-Tuningv2

simpsun·2023-09-26 23:44

Momentum Contrast for Unsupervised Visual Representation Learning 论文学习

1.解决了什么问题？非监督学习在自然语言处理非常成功，如GPT和BERT。但在计算机视觉任务上，监督预训练方法要领先于非监督的方法。这种差异可能是因为各自的信号空间不同，语言任务有着离散的信号空间（单词、短语等）来构建非监督学习所需的字典。而计算机视觉则很难构建一个字典，因为原始信号位于连续的高维空间，不像单词一样是结构化的。最近的非监督表征学习方法使用对比损失取得了不错的效果，它们基本是构建了一

calvinpaean·2023-09-26 23:27

StrongSORT 论文学习

1.解决了什么问题？现有的MOT方法大致可分为tracking-by-detection和joint-detection-association两种方式。尽管joint-detection-association获得了更多的关注度，取得了与前者相近的表现，作者认为在跟踪的准确率方面tracking-by-detection方式仍是最优的。Joint-detection-association将不同

calvinpaean·2023-09-25 14:50

【Graph Net学习】GNN/GCN代码实战

一、简介GNN（GraphNeuralNetwork）和GCN（GraphConvolutionalNetwork）都是基于图结构的神经网络模型。

BoostingIsm·2023-09-25 10:02

Transformer论文学习

Transformer论文学习摘要*提出了一种新的简单的网络架构，Transformer，完全基于注意力机制，完全取消了递归和卷积。*具有更强的并行性，并且需要的训练时间明显更少。

NAND_LU·2023-09-25 02:43

图神经网络（GNN）最新顶会论文汇总【附源码】

得益于强大的建模和分析能力，图神经网络（GNN）在社交网络分析、推荐系统、知识图谱、文本分析、等诸多领域得到了广泛的应用，目前已成为了人工智能领域的热门研究方向。

深度之眼·2023-09-23 07:20

【论文学习】行人检测——CVPR：通过MIMS在低分辨率图像中做行人检测

论文：PedestrianDetectioninLow-resolutionImagerybyLearningMulti-scaleIntrinsicMotionStructures(MIMS)通过学习多尺度固有运动结构，在低分辨率图像中做行人检测由于地面采样距离（GSD）低，图像帧速率低，检测距离大幅面广域图像距离的行人是一个具有挑战性的问题。在这种情况下，基于外观提示的方法主要失败，因为行人的

Lingyun_wu·2023-09-22 01:52

第八课.TPAMI2021年多篇GNN相关工作

目录Topology-AwareGraphPoolingNetworksGraphNeuralNetworkswithConvolutionalARMAFiltersLearningGraphConvolutionalNetworksforMulti-LabelRecognitionandApplications补充内容DeepWalk（KDD2014）GraphSAGE（nips2017）本次内

tzc_fly·2023-09-21 12:31

第六课.GNN的可解释性

目录CNN的可解释性深度学习中的可解释性CNN可解释性的研究模仿人类视觉：ThisLooksLikeThat:DeepLearningforInterpretableImageRecognition从参数角度研究：HowFunctionsEvolveinDeepConvolutionalNeuralNetworkImage到Graph的过渡：InterpretingCNNKnowledgeviaA

tzc_fly·2023-09-21 12:30

图神经网络GNN GCN AlphaFold2 虚拟药物筛选和新药设计

文章目录图神经网络1.GeometricDeepLearningRepresentationlearning表征学习机器学习的数据类型：序列、网格、图引出GNN2.GraphNeuralNetworksMachineLearningLifecyclelearninggraphishardFeatureLearninginGraphsWaystoAnalyzeNetworksANaiveApproa

丸丸丸子w·2023-09-21 01:36

《On Sharing an FIB Table in Named Data Networking》论文学习

Abstract作为一种新的网络模式，命名数据网络（NDN）技术专注于内容，使用内容名称作为转发和路由的标识符，而不是当前Internet上的ip地址。NDN路由器通过查找转发信息库（FIB）转发数据包，FIB的每个条目都有一个名称前缀和输出端口。FIB应该具有转发任何内容的兴趣包的信息。因此，在NDN路由器中FIB的大小将非常大，并且用于构建FIB的流量将非常大。为了减少与建立FIB表相关的流量

甸仔向前冲·2023-09-20 12:38

Distill学习计划-GNN的通俗解释

AGentleIntroductiontoGraphNeuralNetworks译自非常好的一篇博客，原文链接本文旨在探索如何利用图的结构和特性构建出图神经网络(graphneuralnetwork,GNN

RWLinno·2023-09-20 09:42

【GNN 03】PyG

工具包安装：不要pip安装https://github.com/pyg-team/pytorch_geometrichttps://github.com/pyg-team/pytorch_geometricimporttorchimportnetworkxasnximportmatplotlib.pyplotaspltdefvisualize_graph(G,color):plt.figure(f

不菜不菜·2023-09-19 10:51

Google 基于 GNN 开发气味识别 AI，工作量相当于人类评价员连续工作 70 年

关键词：气味分析GNN气味谱图作者|雪菜编辑|三羊本文首发于HyperAI超神经微信公众平台~神经科

·2023-09-18 15:46

Pre-trained models for natural language processing: A survey(NLP领域预训练模型研究综述)

一、前言首先列出了常用的神经网络模型：CNN、RNN、GNN以及注意力机制，它们的优点是能够缓解特征工程

敷衍zgf·2023-09-18 12:28

第五章：PyTorch模型定义

CNN模型解决了图视频处理问题，RNN/LSTM模型解决了序列数据处理问题，GNN在图模型上发挥了重要的作用模型定义的方式Module类是torch.nn模块里提供的一个模型构造类，是所有神经网络模块的基类

把月亮据给你·2023-09-16 16:56

Text-to-SQL小白入门（五）开源最强代码大模型Code Llama

论文概述上一篇介绍了指令进化大模型WizardLM，留了一个坑，补上CodeLlama论文学习，可以作为下游任务的基座模型，比如Text2SQL。

junewgl·2023-09-15 20:32

Spatial-Temporal Graph ODE Networks for Traffic Flow Forecasting

day. day. up!·2023-09-14 19:22

benchmarking graph neural networks 翻译

摘要图神经网络（GNN）已成为分析和学习图数据的标准工具包。随着领域的发展，确定关键架构并验证可推广到更大，更复杂的数据集的新思路变得至关重要。

zzzzz忠杰·2023-09-14 11:30

GNN动态顺序推荐Dynamic Graph Neural Networks for Sequential Recommendation

huihui12a·2023-09-14 09:21

2023.09.10 学习周报

文章目录摘要文献阅读1-1题目1-2创新点1-3本文工作2-1题目2-2什么是图2-3图神经网络2-4信息传递3-1题目3-2创新点3-3本文工作深度学习1.GNN的构建步骤2.构建图的方法3.GNN的简单样例总结摘要本周阅读了三篇文章

MoxiMoses·2023-09-14 00:51

Google 基于 GNN 开发气味识别 AI，工作量相当于人类评价员连续工作 70 年

关键词：气味分析GNN气味谱图作者|雪菜编辑|三羊本文首发于HyperAI超神经微信公众平台~神经科

HyperAI超神经·2023-09-12 22:27

IEC 61968 和 IEC 61850 量测模型的差异性分析（论文学习）

引言IEC61968与IEC61850融合问题的提出最初是因为基于IEC61850标准的变电站与基于IEC61970/IEC61968标准的控制中心之间存在大量的信息交互和共享（包括配置信息和实时测控信息等），但是由于标准间在信息模型、接口服务、通信协议上的差异导致信息无法对应或描述不一致，严重阻碍了信息集成的正常进行。其中，信息模型的差异是最关键的，也是导致变电站和控制中心间无缝通信障碍产生的根

肥羊汤·2023-09-12 12:20

【图卷积神经网络】1-入门篇：为什么使用图神经网络(下)

图1.4-GNN管道的高级架构，以图作为输入，输出对应于给定任务GNNs已经成为图学习的强大工具，在各种任务和行业中显示出优秀的结果。其中最引人

upDiff·2023-09-09 16:10

[论文笔记] uGrapher: High-Performance Graph Operator Computation via Unified Abstraction for GNN

High-PerformanceGraphOperatorComputationviaUnifiedAbstractionforGraphNeuralNetworksuGraper:通过图神经网络的统一抽象实现高性能图算子计算[Paper][Presentation]ASPLOS’23摘要提出了uGrapher,一个为不同图算子和数据集实现通用高性能的统一接口.现有GNN

PeakCrosser·2023-09-09 07:49

如何理解图神经网络的傅里叶变换和图卷积

图神经网络（GNN）代表了一类强大的深度神经网络架构。在一个日益互联的世界里，因为信息的联通性，大部分的信息可以被建模为图。例如，化合物中的原子是节点，它们之间的键是边。

AI 研习所·2023-09-09 01:18

《论文阅读》CARE:通过条件图生成的共情回复因果关系推理 EMNLP 2022

通过条件图生成的移情反应因果关系推理前言简介基础知识TransformerVariationalGraphAuto-Encoder变分图自编码器`邻接矩阵（adjacencymatrix）``图神经网络（GNN

365JHWZGo·2023-09-08 06:50

音视频技术开发周刊 | 277

然而，实现高效的GNN训练是一项挑战，特别是在大规模图上。本文基于一篇于2022年发表在PACT上的论文，主要介绍基于近内存NMP的大规模图神经网络训练加速器GNNear。Bi

LiveVideoStack_·2023-09-06 06:44

PixelSNAIL论文代码学习（2）——门控残差网络的实现

文章目录引言正文门控残差网络介绍门控残差网络具体实现代码使用pytorch实现总结引言阅读了pixelSNAIL,很简短，就用了几页，介绍了网络结构，介绍了试验效果就没有了，具体论文学习链接这段时间看他的代码

客院载论·2023-09-05 11:29

诸神缄默不语的论文阅读笔记和分类

文章目录GNN通用同质图节点表征通用异质图节点表征同质图链路预测LLM理论实践文本摘要LegalAILJP分类文本相似性案例匹配案例检索/推荐公平性事件检测信息抽取其他信息抽取意图识别+槽填充数值推理MWPGNN

诸神缄默不语·2023-09-05 06:00

推荐频道

GNN论文学习

UniAD 论文学习

QA-GNN: Reasoning with Language Models and Knowledge Graphsfor Question Answering

GNN-频域-2014：Spectral Networks and Locally Connected Networks on Graphs（频谱图卷积神经网络）【第一篇从频域角度分析】

Stable Diffusion：High-Resolution Image Synthesis with Latent Diffusion Models论文学习

SG Former论文学习笔记

他们走过的路，是万里江山，满目烟尘｜感恩日记D268

PyG (PyTorch Geometric) GNN 笔记

GNN Code Tips

GNN advanced knowledge

GNN PyG~torch_geometric 学习理解

图神经网络GNN(一）GraphEmbedding

Task 01 简单图论与环境配置

[目标检测]——YOLO论文学习(v1)

ByteTrack 论文学习

FairMOT 论文学习

论文学习：RT-DETR

优化｜深度学习或强化学习在组合优化方面有哪些应用？

【论文学习】Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation

三维重建论文学习

Improved Baselines with Momentum Contrastive Learning 论文学习

[论文学习]P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Task

Momentum Contrast for Unsupervised Visual Representation Learning 论文学习

StrongSORT 论文学习

【Graph Net学习】GNN/GCN代码实战

Transformer论文学习

图神经网络（GNN）最新顶会论文汇总【附源码】

【论文学习】行人检测——CVPR：通过MIMS在低分辨率图像中做行人检测

第八课.TPAMI2021年多篇GNN相关工作

第六课.GNN的可解释性

图神经网络GNN GCN AlphaFold2 虚拟药物筛选和新药设计

《On Sharing an FIB Table in Named Data Networking》论文学习

Distill学习计划-GNN的通俗解释

【GNN 03】PyG

Google 基于 GNN 开发气味识别 AI，工作量相当于人类评价员连续工作 70 年

Pre-trained models for natural language processing: A survey(NLP领域预训练模型研究综述)

第五章：PyTorch模型定义

Text-to-SQL小白入门（五）开源最强代码大模型Code Llama

Spatial-Temporal Graph ODE Networks for Traffic Flow Forecasting

benchmarking graph neural networks 翻译

GNN动态顺序推荐Dynamic Graph Neural Networks for Sequential Recommendation

2023.09.10 学习周报

Google 基于 GNN 开发气味识别 AI，工作量相当于人类评价员连续工作 70 年

IEC 61968 和 IEC 61850 量测模型的差异性分析（论文学习）

【图卷积神经网络】1-入门篇：为什么使用图神经网络(下)

[论文笔记] uGrapher: High-Performance Graph Operator Computation via Unified Abstraction for GNN

如何理解图神经网络的傅里叶变换和图卷积

《论文阅读》CARE:通过条件图生成的共情回复因果关系推理 EMNLP 2022

音视频技术开发周刊 | 277

PixelSNAIL论文代码学习（2）——门控残差网络的实现

诸神缄默不语的论文阅读笔记和分类