LEARNABLE HYPERGRAPH LAPLACIAN FOR HYPERGRAPH LEARNING笔记

1 Title

        LEARNABLE HYPERGRAPH LAPLACIAN FOR HYPERGRAPH LEARNING（Jiying Zhang，Yuzhao Chen，Xi Xiao，Runiu Lu，Shu-Tao Xia）【IEEE 2021】

2 Conclusion        

        Most existing convolution filters are localized and determined by the pre-defined initial hypergraph topology, neglecting to explore implicit and long-range relations in real-world data.Thus，this paper propose the first learning-based method tailored for constructing adaptive hypergraph structure, termed HypERgrAph Laplacian aDaptor (HERALD)  for improving the representational power of HGCNNs. It is a generic plug-in-play module and adaptively optimizes the adjacency relationship between hypernodes and hyperedges in an end-to-end manner and thus the task-aware hypergraph is learned.

3 Good Sentences

        1、However, a major concern is that these methods are built upon an intrinsic hypergraph and not capable of dynamically optimizing the hypergraph topology. Another barrier that limits the representational power of HGCNNs is that they only aggregate message of hypernodes in a localized range, while neglecting to explore information about long-range relations. （The shortcomings of currently works which needed to improve ）

        2、To this end, we propose a noval hypergraph laplacian adaptor (HERALD), the
first fully learnable module designed for adaptively optimizing the hypergraph structure. In order to improve the representaional power of HyperGraph convolutional Neural Networks (HGCNNs), we propose the HypERgrAph Laplacian aDaptor (HERALD) to dynamically optimize the hypergraph structure (a.k.a. adapt the hypergraph topology to the specific down-stream task)（The significance of this research）

        3、The module is tailored design for constructing task-aware hypergraph topology. To
this end, HERALD generates the parameterized hypergrapph laplacian and involves it into the end-to-end training process of HGCNNs.（HERALD’s application in hypergraph learning）

---

摘要：

        这篇文章提出了一种即插即用的通用组件——HERALD，它是一种专门用于构建自适应超图结构的基于学习的方法。

介绍：

        当前超图学习的一个主要的问题是，HGNN、HNHN、HyperGCN这些方法建立在固有超图的基础上，并且不能动态优化超图拓扑【topology】。拓扑在消息跨节点传递中发挥着重要作用，其质量可能会对训练模型的性能产生重大影响。限制HGCNNs代表能力的另一个障碍是，它们只在局部范围内聚合超节点的消息，而忽略了探索有关远程关系的信息

         本文提出了一种新的超图拉普拉斯适配器（HERALD），这是第一个用于自适应优化超图结构的完全可学习模块。HERALD将节点特征和预定义的超图拉普拉斯算子作为输入，然后构造节点和超边之间的参数化距离矩阵，这使得超图拉普拉斯算法能够自动更新，从而使拓扑结构适用于下游任务。除此以外，HERALD采用自注意机制对非局部配对节点关系进行建模，以便将超图的全局属性嵌入到学习的拓扑中

LEARNING OF HYPERGRAPH LAPLACIAN：

        符号：这还是超图老一套，G代表超图，V、E分别是节点集和超边集，H是关联矩阵，H(v,e)在v与e连接时等于1否则为0。节点和超边的阶数分别用和表示，分别定义为，其矩阵形式为。

        Hypergraph Spectral Convolution：归一化的超图拉普拉斯矩阵表示每对节点的连接强度：，因为L是半正定的，所以可以表示成,U是特征值对应的特征矩阵，是包含特征值的对角阵，。

        这样傅里叶变换就为，信号x和滤波器g的频谱卷积可以表示为。其中，是傅里叶系数的函数，根据Spectral Convolution，能得到滤波器g的多项式参数化【polynomial parametrization】，表示如下。

        根据以上所有，超图卷积计算最终形式：。

METHODOLOGY：

        只是一个Klocalized核，它在每次迭代中将【K-hop】K个跳跃节点聚合到最远，限制了核的灵活性，初始预定义的超图结构也不总是适用于目标任务。

        为了提高超图卷积神经网络（HGCNNs）的表示能力，我们提出了HyperGraph-Laplacian-aDaptor（HERALD）来动态优化超图结构（也称为使超图拓扑适应特定的下游任务）。

        HERALD把滤波器g换了个新定义，用来让光谱卷积的卷积核更灵活，并捕获有利于超图拓扑的自适应的全局信息，定义如下：L和X分别是原始拉普拉斯矩阵和节点特征，θ是参数，T是输出更新后的 拉普拉斯矩阵L的光谱【spectrum 】 的可学习函数。最终，卷积的形式如右：

Learnable Incidence Matrix：

        HERALD用节点特征(也就是节点集X)和预定义的拓扑结构(也就是关联矩阵H)来建构参数化关联矩阵。其步骤如下：

        1、首先对关联超节点的特征进行平均得到超边特征||代表超边里的节点数量

        2、使用线性变换来获得变换后的超边特征，这个W是一个可学习参数

        3、为了增强卷积核的表示能力，HERALD采用自注意机制将配对节点之间的非局部关系编码到更新的节点特征X中，增强节点特征公式化：，这里的和上面维度一致。

        4、算注意力权重：

        5、通过生成的节点特征和超边特征，计算每对超节点和超边的Hardamard幂，然后获得超边和超节点的伪欧几里德距离矩阵：其中Ws代表Hardamard power.

        6、通过用高斯核进一步参数化生成的距离矩阵来构造软分配矩阵H，其中每个元素表示成对节点-超边 连接的概率：本文中σ固定为20。

        基于这个和之前的，HERALD能够输出可学习拉普拉斯算子

Residual connect

        直接从头开始学超图的拓扑结构的代价很大，重用固有的图的结构加速训练，增加训练稳定性是一个不错的选择。为了方便，把记作N，那么。假设最佳的从原始N稍微偏移：其中，a是控制拓扑更新强度的超参数

伪代码如下：

---