图神经网络(6)-续 GNN与CNN,TRANSFORMER的关系

这篇文章是接上篇文章的,主要说明一下,GNN与其他网络模型的一下关系。

图神经网络(GNN)与卷积神经网络(CNN)的联系

 卷积神经网络的卷积操作也可以看作图神经网络的信息传递和聚集过程。CNN的卷积核(也就是下面公式中的Wl)就对应着GNN中的信息传递处理操作。对于聚集操作,CNN中可以看作是采取的求和(GNN采取的是求和取平均)。对图片中的一个像素点而言,它的邻居节点就是周围的八个像素节点。图神经网络(6)-续 GNN与CNN,TRANSFORMER的关系_第1张图片图神经网络(6)-续 GNN与CNN,TRANSFORMER的关系_第2张图片

 可以看到,GNN与CNN的公式可以化成同一种模式。区别就是,卷积神经网络中,像素点的邻居是固定的(顺序是确定的并且邻居数量也是确定的),但是在图卷积网络中,邻居节点是没顺序的并且邻居数量也不固定。具体来讲就是,a. CNN的卷积核的大小(Wl的shape)是预设的固定大小,可以根据自己的需求更改,而GNN的Wl的shape是根据所求的嵌入维数确定的(设所求的节点嵌入是n维,则矩阵Wl的shape为n×n)。 b. GNN可以处理节点度不固定的任意图。 c.  CNN中改变像素的顺序结果就不同,而GCN不会。

虽然,CNN算做GNN的一种特例,但是事实上,GNN是受CNN启发得到的。

图神经网络(GNN)与transformer的联系

图神经网络(6)-续 GNN与CNN,TRANSFORMER的关系_第3张图片

 图神经网络(6)-续 GNN与CNN,TRANSFORMER的关系_第4张图片

 transformer,我倒是看过了,但是还没完全搞明白。这边直接放两张ppt,等我把transformer看懂了再回来补充!

感兴趣的可以先看看下面这个。

原来Transformer就是一种图神经网络icon-default.png?t=M1L8https://m.thepaper.cn/baijiahao_6255298

你可能感兴趣的:(GNN,transformer,神经网络,cnn)