[2022]李宏毅深度学习与机器学习第四讲(选修)-GNN

[2022]李宏毅深度学习与机器学习第四讲(选修)-GNN

  • 做笔记的目的
  • GNN
    • NN4G
    • DCNN
    • MoNET
    • GTA
    • GIN

做笔记的目的

1、监督自己把50多个小时的视频看下去,所以每看一部分内容做一下笔记,我认为这是比较有意义的一件事情。
2、路漫漫其修远兮,学习是不断重复和积累的过程。怕自己看完视频不及时做笔记,学习效果不好,因此想着做笔记,提高学习效果。
3、因为刚刚入门深度学习,听课的过程中,理解难免有偏差,也希望各位大佬指正。

GNN

其实有些地方没听懂
数据可能以图得形式出现,这样节点间会存在某种特定关系,同时dataset会非常大,所以我们需要GNN。
[2022]李宏毅深度学习与机器学习第四讲(选修)-GNN_第1张图片
GNN需要做两步,第一个是卷积(聚合),以及readout,有很多种方法。
[2022]李宏毅深度学习与机器学习第四讲(选修)-GNN_第2张图片

NN4G

[2022]李宏毅深度学习与机器学习第四讲(选修)-GNN_第3张图片
[2022]李宏毅深度学习与机器学习第四讲(选修)-GNN_第4张图片
把相邻的节点相加,然后乘W,在与自身相加乘W,这样不断地更新。
[2022]李宏毅深度学习与机器学习第四讲(选修)-GNN_第5张图片
readout这一步,就是求每个图的平均各乘W,之后相加。

DCNN

[2022]李宏毅深度学习与机器学习第四讲(选修)-GNN_第6张图片
[2022]李宏毅深度学习与机器学习第四讲(选修)-GNN_第7张图片
他的方法是求距离等于1的节点然后求平均之后再乘权重;求距离等于2的节点然后求平均之后再乘权重,这样反复执行完求距离等于K的。之后对矩阵进行一个transform。

MoNET

因为边的权重不一样,比如说每个节点的距离,计算方法如下图:
[2022]李宏毅深度学习与机器学习第四讲(选修)-GNN_第8张图片

GTA

边的权重学习出来。
[2022]李宏毅深度学习与机器学习第四讲(选修)-GNN_第9张图片
对邻居做attention,两个向量算出attention 分数然后相乘相加
[2022]李宏毅深度学习与机器学习第四讲(选修)-GNN_第10张图片

GIN

直接记住结论:图卷积要加上自己,同时邻居用相加,因为相加的话能表示的关系更多。
[2022]李宏毅深度学习与机器学习第四讲(选修)-GNN_第11张图片

你可能感兴趣的:(深度学习,李宏毅深度学习笔记,深度学习,人工智能)