【RGSL】【第一部分】论文学习

论文及代码地址

题目：Regularized Graph Structure Learning with Semantic Knowledge for Multi-variates Time-Series Forecasting
翻译成中文应该是：基于语义知识的正则化图结构学习在多变量时间序列预测中的应用
作者：Hongyuan Yu123∗, Ting Li1∗, Weichen Yu23∗, Jianguo Li1†, Yan Huang23, Liang Wang23†, Alex Liu1
1 Ant Group
2 AI School, University of Chinese Academy of Sciences
3 CRIPAC, NLPR, Institute of Automation, Chinese Academy of Sciences, China
来源：IJCAI-22
论文地址：https://arxiv.org/abs/2210.06126
代码地址：https://github.com/alipay/RGSL.git

读后感

牛蛙牛蛙。

Abstract

文章提到现有的大多数工作更多地关注于使用显式先验图结构进行学习，而忽略了潜在的信息，从而导致了不完整的结构建模。
最近，一些工作试图直接研究内在或隐式图形结构，但缺乏将显式先验结构与隐式结构结合在一起的方法。
于是，他们提出了正则化图结构学习（RGSL）模型，将显式先验结构和隐式结构结合起来的方法。于是他们提出了正则化图结构学习（RGSL）模型，将显式先验结构和隐式结构结合起来用图结构学习预测深度网络。
主要的创新点是，他们通过节点潜入得到一个包含隐式关系的稠密相似矩阵。使用Gumbel Softmax技巧来学习稀疏图结构，生成正则化图。
提出了一个拉普拉斯矩阵混合模块，将显式图和隐式图融合在一起。

INTRODUCTION

显式关系/隐式关系

要了解正则化的图结构学习模型（RGSL）就要先了解什么是GSL：Graph Structure Learning，即图结构学习。
就是说，虽然现在图神经网络GNN很流行，但其实大多数GNN方法对图结构的质量是有要求的，通常需要这个图足够完美来学习信息嵌入。比如说图结构中的错误、误连、缺失或者拓扑不平衡都会导致噪声在图中传播，会极大地影响到效果。然而，噪声代表着我们需要学习关于真实时间问题中更鲁棒的表示。因此图结构学习GSL的一般范式如上图右边：从一个原始的图结构开始，通过一个结构建模模块（structure modeling）对图的结构进行优化，然后在输入到一般的GNN中（其中获得节点嵌入来计算学习目标函数）。其中GNN和结构建模模块中的参数交替或联合更新，直到满足预设的停止条件。
总之，就是还要对输入的图结构进行学习。
他展示了说：
图（a)就是根据先验知识训练的朴素明确的学习后的图。
图（b)是用之前流行的图结构学习模型AGCRN来学习的含隐藏关系的学习后的图。
图（c)是他们提出的正则化的图结构学习出来的图
可以看到，朴素图结构学习算法忽略了隐藏的时间序列关系；与（b)相比RGSL中的正则化模块自动去除了噪声/冗余边缘，使我们得到的学习后的图形更加稀疏。

正则化图结构学习模型RGSL

为了学习隐式关系，作者提出了正则化图形生成模块RGG（黄色部分），使用Gumble Softmax来解决正则化问题（正文阐述了为毛可以用这种技巧，以及具体怎么操作的，好多公式，太难了，没看懂）。
上图中，$E\in R^{N\times d}$为学习的节点嵌入矩阵，$d$为嵌入维数。
大概就是根据时间序列间的相似性预测节点之间存在边的概率，输出学习到的离散化的一系列的包含隐式关系的（在统计上约束与正常的图的边有相同的概率分布）图$M^l$。
绿色的部分是拉普拉斯矩阵混合模块，它的输入是根据先验知识构造邻接矩阵，然后把这些图用自我注意网络连接起来，形成显式图和学习后的隐式图结合起来的凸组合。
最后通过时空图卷积递归网络进行预测实验。
实验结果还是不错的：

最后，他们展望说$L{M}^3$模块和RGG模块是通用的，因此未来的工作和项目可以将这两个模块应用于各种基于图形的任务，而不局限于时序预测。