多层GCN的over-smooth问题

The coefficients of a filter determine the information it can capture

滤波器的系数决定了所捕获的信息

Frequency in graph

多层GCN的over-smooth问题_第1张图片

U 1 U_1 U1相比于 U 0 U_0 U0,已经出现了两个Community ,如果到了 U 50 U_{50} U50,蓝色和黑色信号是混叠在一起的

Frequency in GNNs

Most existing GNNs usually exploit low-frequency signals

多层GCN的over-smooth问题_第2张图片

从上图可以看到,经过多层的迭代之后,高频的信息都衰减掉了

So is the low-frequency information all we need?

An Experimental Investigation

多层GCN的over-smooth问题_第3张图片

inter-connection:一条边相连的两个节点属于不同类
disassortative graphs:异配图,相邻节点不属于同一类

为了使网络表现出不同的性质,将inter-connection的概率从0增大到0.10,另一个固定为0.5。
在inter-connection很低的时候(图的左侧),网络就会表现出同配性,这种情况下,low-frequency signals会表现得很好。但是随着inter-connection的增大,网络会越来越表现出异配性,这时候high-frequency signals表现更好。

  • Low-frequency signals perform better on assortative graphs
  • High-frequency signals perform better on disassortative graphs

所以可以得出结论,高、低频信号都有作用

Challenges

  1. How to use signals of different frequenciesin GNNs?
  2. How to make GNNs suitable for different type of networks?

多层GCN的over-smooth问题_第4张图片

现有的GNN聚合低频信息,但是在聚合低频信息的时候,不会去考虑节点(被聚合的)和自己是不是一类的,都要使表征变得相似,这样就会带来over-smooth

你可能感兴趣的:(深度学习,人工智能)