图神经网络论文解读第7页

U-Net代码复现--train.py

本文记录自己的学习过程，内容包括：代码解读：Pytorch-UNet深度学习编程基础：Pytorch-深度学习（新手友好）UNet论文解读：医学图像分割：U_Net论文阅读数据：https://hackernoon.com

北方骑马的萝卜·2023-12-17 18:44

Llama 2论文解读

标题简介模型预训练预训练设置硬件资源与碳排放模型评估模型微调有监督微调基于人工反馈的强化学习（RLHF）人类偏好数据的收集奖励模型迭代微调过程多轮对话控制RLHF结果模型回答的安全性一直以来，Llama模型被认为是AI社区最强大的开源模型，国内外众多的开源模型均是在其基础上二次训练/开发而来，如Alpaca模型、BELLEE模型、Guanaco模型、Vicuna模型。但由于开源协议问题，Lla

长白山下大绵羊·2023-12-16 13:52

图神经网络22-DGL实战：针对边分类任务的邻居采样训练方法

边分类/回归的训练与节点分类/回归的训练类似，但还是有一些明显的区别。定义邻居采样器和数据加载器用户可以使用和节点分类一样的邻居采样器。sampler=dgl.dataloading.MultiLayerFullNeighborSampler(2)想要用DGL提供的邻居采样器做边分类，需要将其与:class:~dgl.dataloading.pytorch.EdgeDataLoader结合使用。:

致Great·2023-12-16 13:22

[Knowledge Distillation]论文分析：Distilling the Knowledge in a Neural Network

文章目录一、完整代码二、论文解读2.1介绍2.2Distillation2.3结果三、整体总结论文：DistillingtheKnowledgeinaNeuralNetwork作者：GeoffreyHinton

Bigcrab__·2023-12-16 11:31

基于扩散的图像超分辨率模型：ResShift

1论文解读论文地址：ResShift:EfficientDiffusionModelforImageSuper-resolutionbyResidualShifting代码地址：https://github.com

智慧医疗探索者·2023-12-16 05:29

NLP论文解读：无需模板且高效的语言微调模型（上）

©原创作者|苏菲论文题目：Prompt-freeandEfficientLanguageModelFine-Tuning论文作者：RabeehKarimiMahabadi论文地址：https://openreview.net/pdf?id=6o5ZEtqP2g提示学习（Prompt-learning）被誉为自然语言处理的“第4种范式”，它可以在少样本甚至零样本的条件下，通过将下游任务修改为语言生成

NLP论文解读·2023-12-15 22:27

[UNILM]论文实现：Unified Language Model Pre-training for Natural Language.........

文章目录一、完整代码二、论文解读2.1介绍2.2架构2.3输入端2.4结果三、过程实现四、整体总结论文：UnifiedLanguageModelPre-trainingforNaturalLanguageUnderstandingandGeneration

Bigcrab__·2023-12-15 22:03

[Longformer]论文实现：Longformer: The Long-Document Transformer

文章目录一、完整代码二、论文解读2.1介绍2.2Longformer注意力模式注意力计算2.3自回归语言模型注意力模式训练结果2.4预训练和微调注意力模式位置编码预训练结果2.5Longformer-Encoder-Decoder

Bigcrab__·2023-12-15 20:05

[DistilBERT]论文实现：DistilBERT：a distilled version of BERT: smaller, faster, cheaper and lighter

文章目录一、完整代码二、论文解读2.1介绍2.2知识蒸馏2.3三重损失2.4DistilBERT三、整体总结论文：DistilBERT,adistilledversionofBERT:smaller,faster

Bigcrab__·2023-12-15 20:04

[Linformer]论文实现：Linformer: Self-Attention with Linear Complexity

文章目录一、完整代码二、论文解读2.1介绍2.2Self-AttentionisLowRank2.3模型架构2.4结果三、整体总结论文：Linformer:Self-AttentionwithLinearComplexity

Bigcrab__·2023-12-15 20:50

【论文解读】ICLR 2024高分作：ViT需要寄存器

来源：投稿作者：橡皮编辑：学姐论文链接：https://arxiv.org/abs/2309.16588摘要：Transformer最近已成为学习视觉表示的强大工具。在本文中，我们识别并表征监督和自监督ViT网络的特征图中的伪影。这些伪影对应于推理期间主要出现在图像的低信息背景区域中的高范数标记，这些标记被重新用于内部计算。我们提出了一个简单而有效的解决方案，基于向VisionTransforme

深度之眼·2023-12-15 15:29

知识增强的预训练语言模型系列之ERNIE：如何为预训练语言模型注入知识

©NLP论文解读|杨健论文标题：ERNIE:EnhancedLanguageRepresentationwithInformativeEntities收录会议：ACL论文链接：https://arxiv.org

NLP论文解读·2023-12-15 14:23

联系丝信·2023-12-15 08:11

分子骨架跃迁工具-DiffHopp 评测

此外，DiffHopp使用了更具有几何表达力的图神经网络GVP模型。DiffHopp模型针对给定蛋白质-配体复合物，使用等变

wufeil·2023-12-15 06:18

百度图神经网络——论文节点比赛baseline代码注解

文章目录一、项目介绍二、BaseLine内容注解1.Config部分注解2.数据读取与处理部分2.1边数据的加载与处理2.2数据的完整加载与处理2.3数据读取与分割3.模型加载部分4.模型训练过程三、model.py的内容解析1GCN模型代码讲解2.GAT模型代码讲解3.APPNP模型代码讲解3.1SGC模型代码讲解——(APPNP模型补充)4.GCNII模型代码讲解四、build_model.p

李明朔·2023-12-15 05:29

《Poluparity Prediction on Social Platforms with Coupled Graph Neural Networks》阅读笔记

斯曦巍峨·2023-12-15 05:57

论文笔记：详解图注意力网络（GAT）

整理了GAT（ICLR2018GraphAttentionNetwork）论文的阅读笔记背景图注意力网络的构建模块与其他模型对比实验背景 图神经网络的任务可以分为直推式(Transductive)学习与归纳

图学习的小张·2023-12-15 05:16

Grounding DINO、TAG2TEXT、RAM、RAM++论文解读

提示：GroundingDINO、TAG2TEXT、RAM、RAM++论文解读文章目录前言一、GroundingDINO:MarryingDINOwithGroundedPre-TrainingforOpen-SetObjectDetection1

tangjunjun-owen·2023-12-15 01:10

当深度学习遇上图：图神经网络的兴起 | 赠书

什么是图也许我们从来没有意识到，我们正生活在一个充满图的世界。例如，我们最熟悉的社交网络（如下图所示），就是一个最典型的图。在计算机领域，我们通常用图指代一种广义的抽象结构，用来表示一堆实体和它们之间的关系。实体被叫作图的节点，而实体和实体之间的关系构成了图的边。严格来说，一个图G={V,E}包含一个节点集合V和一个边的集合E。以社交网络为例，用户可以作为节点，而用户和用户之间的朋友关系可以作为边

AI科技大本营·2023-12-14 14:16

[UIM]论文解读：subword Regularization: Multiple Subword Candidates

文章目录一、完整代码二、论文解读2.1介绍2.2NMT2.3Unigramlanguagemodel2.4subword抽样2.5效果三、整体总结论文：SubwordRegularization:ImprovingNeuralNetworkTranslationModelswithMultipleSubwordCandidates

Bigcrab__·2023-12-06 20:26

COGVLM论文解读(COGVLM:VISUAL EXPERT FOR LARGE LANGUAGE MODELS)

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、摘要二、引言三、模型方法1、模型思路2、融合公式四、训练方法总结前言2023年5月18日清华&智谱AI发布并开源VisualGLM-6B以来，清华KEG&智谱AI潜心打磨，又开发并开源了更加强大的多模态大模型CogVLM。CogVLM基于对视觉和语言信息之间融合的理解，是一种新的视觉语言基础模型。CogVLM可以在不牺

tangjunjun-owen·2023-12-06 18:12

论文阅读和分析： “How Attentive are Graph Attention Networks?”

数据集1、脑电项目探索和实现(EEG)(上)：研究数据集选取和介绍SEED相关论文阅读分析：1、EEG-SEED数据集作者的—基线论文阅读和分析2、图神经网络EEG论文阅读和分析：《EEG-BasedEmotionRecognitionUsingRegularizedGraphNeuralNetworks

KPer_Yang·2023-12-06 18:19

谷歌用AI模型发现220万种新材料，研究能力超越人类！

谷歌旗下的AI研究机构DeepMind在全球顶级学术期刊《Nature》上发布了一篇论文，通过深度学习、计算机视觉、大数据等，开发了一个名为GNoME的图神经网络模型，主要用于材料发现。

RPA中国·2023-12-06 13:31

[wordpiece]论文分析：Google’s Neural Machine Translation System

文章目录一、论文解读1.1模型介绍1.2模型架构1.3wordpiece二、整体总结论文：Google’sNeuralMachineTranslationSystem:BridgingtheGapbetweenHumanandMachineTranslation

Bigcrab__·2023-12-06 09:22

[BPE]论文实现：Neural Machine Translation of Rare Words with Subword Units

文章目录一、完整代码二、论文解读2.1模型架构2.2BPE三、过程实现四、整体总结论文：NeuralMachineTranslationofRareWordswithSubwordUnits作者：RicoSennrich

Bigcrab__·2023-12-06 08:19

【论文解读】角色动画的一致可控的图像到视频合成

论文：https://arxiv.org/pdf/2311.17117.pdf代码：https://github.com/HumanAIGC/AnimateAnyone图片解释：给定参考图像（每组中最左边的图像）的一致且可控的角色动画结果。我们的方法能够对任意角色进行动画处理，生成清晰且时间稳定的视频结果，同时保持与参考角色的外观细节的一致性。更多视频结果可在补充材料中找到。0摘要角色动画旨在通过

资料加载中·2023-12-06 01:23

【论文解读】UC-NeRF: Neural Radiance Field for Under-Calibrated multi-view cameras in autonomous driving

UC-NeRF：欠校准的多视角摄像头系统的新颖视图合成方法论文：https://arxiv.org/abs/2311.16945代码：GitHub-kcheng1021/UC-NeRF:theofficialpytorchimplementationofUC-NeRF图2：在欠校准的多摄像头系统中，NeRF的质量显著下降（第一行），伴随着颜色不一致（红色框），物体幻影（红色箭头）和错误的几何形状（

LeapMay·2023-12-06 00:37

【AI数字人-论文】Wav2lip论文解读

文章目录Wav2lip前言Lip-syncExpertDiscriminatorGeneratorvisualqualitydiscriminator生成器总损失函数论文Wav2lip前言Wav2Lip是第一个通用说话者的模型，可生成与真实同步视频相匹配的口型同步精度的视频，它的核心架构概括为“通过向训练有素的口型同步专家学习，生成准确的口型同步”。基于此理念，Wav2lip包括一个生成器和两个判

马鹤宁·2023-12-05 16:11

论文解读--2D Car Detection in Radar Data with PointNets

基于PointNets的雷达数据二维汽车检测摘要对于许多自动驾驶功能，高精度的感知车辆环境是一个重要的前提。现代高分辨率雷达传感器为每个目标产生多个雷达目标，这使得这些传感器特别适合于二维目标探测任务。这项工作提出了一种方法，使用PointNets完全依赖稀疏雷达数据检测二维物体。在文献中，目前只提出了对对象进行对象分类或边界盒估计的方法。相比之下，该方法便于分类和使用单一雷达传感器对物体的边界盒

奔袭的算法工程师·2023-12-05 09:18

论文解读--Analysis and Comparison of MIMO Radar Waveforms

MIMO雷达波形分析和对比摘要选择合适的波形是实现多输入多输出(MIMO)雷达的关键任务。MIMO雷达波形除了具有分辨率好、副瓣低等一般要求外，还应具有良好的正交性。在本文中，我们简要概述了MIMO雷达波形，它们分为四类:(1)时分多址(TDMA)，(2)频分多址(FDMA)，(3)多普勒多址(DDMA)和(4)码分多址(CDMA)。讨论了一种特殊的循环MIMO波形，分析比较了不同波形的特性和应用

奔袭的算法工程师·2023-12-05 09:48

论文解读--PointPillars- Fast Encoders for Object Detection from Point Clouds

PointPillars--点云目标检测的快速编码器摘要点云中的物体检测是许多机器人应用(如自动驾驶)的重要方面。在本文中，我们考虑将点云编码为适合下游检测流程的格式的问题。最近的文献提出了两种编码器;固定编码器往往很快，但牺牲了准确性，而从数据中学习的编码器更准确，但更慢。在这项工作中，我们提出了PointPillars，这是一种新颖的编码器，它利用PointNets来学习以垂直列(柱子)组织的

奔袭的算法工程师·2023-12-05 09:40

MLP，GCN，GAT，GraphSAGE， GAE， Pooling，DiffPool

基于图神经网络的节点表征的学习遵循消息传递范式：在邻居节点信息变换阶段，GCN与GAT都对邻居节点做归一化和线性变

super尚·2023-12-05 04:47

RGCN，GCN，GRAPHSAGE论文阅读实践

图神经网络在本文中，我们将图神经网络划分为五大类别，分别是:图卷积网络(GraphConvolutionNetworks,GCN)、图注意力网络(GraphAttentionNetworks)、图自编码器

乘风破浪的猫·2023-12-05 04:17

【论文解读--触地检测+FSM状态切换】（猎豹 3）Contact Model Fusion for Event-Based Locomotion in Unstructured Terrains

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加TODO:写完再整理文章目录系列文章目录前言一、简介二、整体思路三、基于gm的干扰观测器估计腿上的外力1、基于动量（gm）的扰动观测器的原理2、基于关节动量（GM）的扰动观测器的输入3、推导过程（1）建立（关节的动力学模型表达式）标准方程（推导标准运动方程）（2）计算扰动向量（将外力收集成扰动矢量）4、离散时间扰动矢量τd

盒子君~·2023-12-05 03:03

[RoFormer]论文实现：ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING

文章目录一、完整代码二、论文解读2.1注意力机制2.2绝对位置编码2.3相对位置编码2.4旋转位置编码Long-termdecayAdaptionforlinearattention2.5模型效果三、过程实现四

Bigcrab__·2023-12-04 13:07

[Bert]论文实现：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

EfficientGraph-BasedImageSegmentation一、完整代码二、论文解读2.1模型架构2.2输入层MaskedLMEmbedding2.3BERT架构层2.4输出层NSPCLS2.5BERT

Bigcrab__·2023-12-04 13:06

[Transformer-XL]论文实现：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

文章目录一、完整代码二、论文解读2.1Transformer-XL的介绍2.2Transformer-XL的架构2.3相对位置编码2.4分段递归模型三、过程实现四、整体总结论文：Transformer-XL

Bigcrab__·2023-12-04 13:06

[GPT-1]论文实现：Improving Language Understanding by Generative Pre-Training

EfficientGraph-BasedImageSegmentation一、完整代码二、论文解读2.1GPT架构2.2GPT的训练方式Unsupervisedpre_trainingSupervisedfine_training

Bigcrab__·2023-12-04 13:35

科研学习|论文解读——Deep learning for anomaly detection in log data: a survey

摘要自动日志文件分析能够及早发现系统故障等相关事件。特别是，自学习异常检测技术能够捕捉日志数据中的模式，然后向系统操作员报告意外的日志发生，而无需提前提供或手动建模异常场景。最近，越来越多的利用深度学习方法来实现此目的的方法被提出。与传统的机器学习技术相比，这些方法表现出了卓越的检测性能，同时解决了数据格式不稳定的问题。然而，深度学习存在不同的架构，对原始和非结构化的日志数据进行编码以供神经网络分

博士僧小星·2023-12-03 23:51

科研学习|论文解读——Open government research over a decade: A systematic review

Opengovernmentresearchoveradecade:Asystematicreview十年来的开放政府研究：一个系统性综述摘要在过去十年中，对开放政府的学术研究蓬勃发展。然而，对开放政府的全面审查是有限的。这一研究空白不仅阻碍了我们对开放政府整体知识体系的理解，也阻碍了现有实践的推进。为了解决这一差距，本文系统地回顾了2008年至2019年期间发表的189项研究。指导这一回顾的中心

博士僧小星·2023-12-03 21:53

多重注意力指导下的异构图嵌入方法

为解决上述问题，本文提出了一种多重注意力指导下的异构图神经网络，从点−线−网3个角度学习异构节点嵌入向量。

罗思付之技术屋·2023-12-03 08:31

【GNN论文精读】A Gentle Introduction to Graph Neural Networks

2.4在机器学习中使用图形的挑战3.图神经网络3.1GNN的基

HiLittleBoat·2023-12-03 07:42

【论文解读】NuScenes-QA：自动驾驶场景的多模态视觉问答基准

来源：投稿作者：橡皮编辑：学姐论文链接：https://arxiv.org/pdf/2305.14836.pdf开源代码：https://github.com/qiantianwen/NuScenes-QA摘要：我们在自动驾驶背景下引入了一种新颖的视觉问答（VQA）任务，旨在根据街景线索回答自然语言问题。与传统的VQA任务相比，自动驾驶场景中的VQA提出了更多的挑战。首先，原始视觉数据是多模态的，

深度之眼·2023-12-03 06:16

基于用户session兴趣的商品推荐算法--DSIN论文解读

0.写在前面接着上一篇《DIEN论文解读》来讲讲alibaba最近的一个成果--DSIN(DeepSessionInterestNetwork)深度兴趣会话网络。

OneChancek·2023-12-02 21:45

图神经网络处理图片数据

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达用图神经网络(GNN)做CV的研究有不少，但通常是围绕点云数据做文章，少有直接处理图像数据的。

mingqian_chu·2023-12-02 20:35

Arxiv网络科学论文摘要9篇(2021-02-01)

AGSTN：学习注意力调整后的图时空网络，用于短期城市传感器值预测;BridgeDPI：预测药物-蛋白质相互作用的新型图神经网络;COVID-19期间出口限制对全球个人防护设备贸易网络的影响;多尺度城市动力学模型尺度之间的强耦合

ComplexLY·2023-12-02 11:19

[seq2seq]论文实现：Effective Approaches to Attention-based Neural Machine Translation

文章目录一、完整代码二、论文解读2.1RNN模型2.2Attention-basedModelsGlobalattentionalmodelLocalattentionalmodel2.3Input-feedingApproach2.4

Bigcrab__·2023-12-02 02:16

Transformer：中英文翻译

AttentionIsAllYouNeed一、完整代码二、论文解读2.1模型架构2.2位置编码2.3残差连接和层归一化2.4注意力机制2.5前馈神经网络三、过程实现3.1安装包和导包3.2数据准备3.3

Bigcrab__·2023-12-02 02:45

[transformer]论文实现：Attention Is All You Need