DeepGCNs: Can GCNs Go as Deep as CNNs? 论文解析

手动原创声明：转载请注明出处

DeepGCNs: Can GCNs Go as Deep as CNNs?

论文链接：

2019 年 ICCV 论文
会议介绍：
ICCV 国际计算机视觉大会与计算机视觉模式识别会议（CVPR）和欧洲计算机视觉会议（ECCV）并称计算机视觉方向的三大顶级会议
作者介绍：

所以是一篇发在比较厉害的会议上的一篇论文啦
进入文章正题

在做什么？

GCN的很多概念与CNN 由重合之处，CNN 模型的一个优势是可以将神经网络的layer 做的很深，从而提高图片分类的效果，反观GCN 模型，只有简单的3-4 层就可以把节点分类任务做的很好（GCN 也太厉害了），但是也有一些任务**（作者还没提到）**，这么少层的GCN 做不好，原因主要是GCN 层数增多之后，出现了梯度消失和over-smoothing 的问题（具体这两个问题是什么一会儿再说），作者一看，这个和CNN 加深之后出现的问题一毛一样啊，做CNN的大佬们已经将这个问题给解决了， 那我就借这个思路【method】过来用一用，看看能不能解决GCN层数加深后的问题呗，结果当然是能够解决了，在三维点云上做了语义分割实验（这个具体是在干什么 一会儿也要解释一下），发现一些指标（mIOU 这个指标啥意思，一会儿再说）提高了3.7%。

开始解释上边一些理解不够深刻的概念了（现学现卖版）

• 梯度消失问题
  梯度消失/爆炸出现的两种情况

1. 使用了错误的激活函数
2. 层数太深（本篇文章中出现的情况）
   因为计算梯度的公式中有参数求导连乘的情况，因此层数增多后，一旦有多个连续<1 或者>1 的导数连乘，最终参数的梯度就会接近0(连续<1)，又称为梯度消失 或接近无穷(连续<1)又称为梯度爆炸。

• over-smothing 问题 （图神经网络过度平滑的问题）

1. 知乎大佬的解释 https://www.zhihu.com/question/346942899/answer/835292740（意外看到了这篇论文的作者在回答这个问题）
   意思就是，在拓扑图结构中，一层GCN 聚合了1阶邻居的节点信息，2层GCN 聚合了2阶邻居节点的信息， n层GCN 就聚合了n 阶邻居节点的信息，在一张连通图当中，每个节点用于聚合的邻居节点重合度较高，很容易导致每个节点学出来的特征表示是一致的。这样节点的特性就被掩盖掉了，
   图卷积神经网络层数增多后，聚合的邻居变多，不同节点重合的邻居节点数变多，因此会出现over-smothing 现象。(怎么解决呢？ 此处引用大佬的话“ 通过有效地改变图的结构或卷积的领接节点来解决。比如在点云里用动态knn/dilation来建边，不太懂，后边会解释下”)

Method （CNN 中解决层数增多引起的问题的model）

1. Res-net
   网络的深度为什么重要Res-net：https://blog.csdn.net/Sakura55/article/details/81512132

深层卷积神经网络中的残差块，卷积层之间跳跃连接，可以保证两个网络之间一定有梯度反传。

2. Dense-net
   相比与Res-net 每一层的输出 包括该层的输出H(x)和上一层的输出x
   Dense-net 的输入 包括上一层及上一层前所有层的输入并且 每一层的网络更加稠密，宽度更小

4. Dilated-Convolutios
   按照一定的比例在图卷积中制造一些空洞，在图像分割等端到端的图学习任务中，减少了下采样和上采样的过程，从而缓解了梯度反传
   

Method （解决over-smothing 的 model）

1. edge conv 《论文Dynamic Graph CNN for Learning on Point Clouds 》
   Dynamic Graph CNN for Learning on Point Clouds 解析 链接: https://blog.csdn.net/legend_hua/article/details/79175315
   文章链接： https://arxiv.org/pdf/1801.07829.pdf
   点云：
   
   其中红色代表地板；绿色代表墙体；蓝色代表椅子；黄色代表桌子；白色代表剩余的家具；黑色代表未定义。

解决梯度消失问题的model
ResNet，Highway Networks，Stochastic depth

实验部分

GCN 在点云中的应用 edgeconv

实验中没有和点云中使用CNN 物体识别效果对比，