GraphCodeBERT: Pre-Training Code Representation With Data Flow

论文来源：ICLR-2021
论文链接：https://arxiv.org/abs/2009.08366（看时间，应该是2020发在了arxiv上，2021被ICLR录用）

⭐主要贡献：
 可以说是在CodeBERT的基础上引入了结构信息和两个新的预训练任务。

• 1.提出了GraphCodeBERT，是第一个利用了代码语义结构信息来学习代码特征表示的预训练模型。（通过data flow来获得语义结构信息而不是AST）
• 2.除了MLM预训练任务，还引入了2个新的能够从source code和data flow中学习代码表示的跟代码结构相关的预训练任务。
• 3.GraphCodeBERT在4个下游任务上达到了SOTA的性能，同时证明了代码结构信息的引入和2个新的预训练任务的引入能够改善模型的性能。
• 注： 4个下游任务如下：

1.code search
2.clone detection
3.code translation
4.code refinement

参考下面2篇文章

《GraphCodeBERT: Pre-Training Code Representation With Data Flow》论文笔记_#苦行僧的博客-CSDN博客论文来源：ICLR-2021论文链接：https://arxiv.org/abs/2009.08366（看时间，应该是2020发在了arxiv上，2021被ICLR录用） ⭐主要贡献： 可以说是在CodeBERT的基础上引入了结构信息和两个新的预训练任务。 1.提出了GraphCodeBERT，是第一个利用了代码语义结构信息来学习代码特征表示的预训练模型。（通过data flow来获得语义结构信息而不是AST） 2.除了MLM预训练任务，还引入了2个新的能够从source code和data fhttps://blog.csdn.net/weixin_43646592/article/details/119616922

code embedding研究系列五-GraphCodeBert_I still …的博客-CSDN博客GRAPHCODEBERT: PRE-TRAININGCODEREPRESEN-TATIONS WITHDATAFLOW论文概述预训练任务下游任务论文贡献预训练数据流图GraphCodeBERT模型架构输入序列向量化Graph-Guided Masked Attention预训练任务论文概述近年来，应用于编程语言的预训练模型得到飞速发展，相关任务比如code search, code completion, code summarization 也得到提升。但是，现有的预训练模型是将code snipphttps://blog.csdn.net/qq_44370676/article/details/114384343