文献阅读记录:Graph Convolutional Networks for Hyperspectral Image Classification

CNN和GCN的对比

文献阅读记录:Graph Convolutional Networks for Hyperspectral Image Classification_第1张图片

GCN的相关paper

Shahraki and Prasad [33] proposed to cascade 1-D CNNs and GCNs for HS image classification.
CNN和GCN级联

Qin et al. [34] extended the original GCNs to a second-order version by simultaneouslyconsidering spatial and spectral neighborhoods.
同时考虑空间和频谱邻域,将原始GCN扩展到了二阶版本。

Wan et al. [35]
performed superpixel segmentation on the HS image and fed it into GCN to reduce the computational cost and improve the classification accuracy
对HS图像进行超像素分割并将其输入到GCN中以降低计算成本并提高分类精度

GCN的瓶颈

  1. GCN中的邻接矩阵的存在导致高计算成本。
  2. GCN仅允许全批次网络学习,即一次将所有样本馈入网络。
  3. 基于GCN的经过训练的模型无法预测新的输入样本

本文的贡献

  1. 我们以HS图像分类为重点,系统地分析了CNN和GCN(对比)。
  2. miniGCN的提出,小批量训练,并且可以使用训练后的模型直接推断大规模后加入的样本。
  3. 开发了三种融合方案:additive fusion, elementwise multiplicative fusion,concatenation fusion,在端到端网络中集成CNN和miniGCNs提取的特征。

GCN回顾

1.图的定义顶点是HSI像素,边是顶点之间的similarities.
2. 邻接矩阵的构造

adjacency matrix
在这里插入图片描述
x i , x j 为 光 谱 特 征 , σ 为 R B F 的 宽 度 x_i,x_j为光谱特征,σ为RBF的宽度 xi,xjσRBF
L = D − A ,     D 度 矩 阵 L=D-A,   D度矩阵 L=DA,  D
symmetric normalized Laplacian matrix ( L s y m ) (L_{sym}) (Lsym)
在这里插入图片描述
  I   i d e n t i t y   m a t r i x I identity matrix I identity matrix

4. Graph Convolutions in the Spectral Domain
the eigenvectors of L are identical to the basis functions of F
L的特征向量和F的基函数相同

L 的频谱分解
在这里插入图片描述
U = ( u 1 , u 2 , . . . , u n ) U=(u_1,u_2,...,u_n) U=(u1,u2,...,un) is the set of eigenvectors of L
U是正交矩阵 , U U T = E UU^T=E UUT=E,上式变为:
在这里插入图片描述
文献阅读记录:Graph Convolutional Networks for Hyperspectral Image Classification_第2张图片
切比雪夫多项式拟合 g θ g_θ gθ

文献阅读记录:Graph Convolutional Networks for Hyperspectral Image Classification_第3张图片
根据上边的(16)式子得到传播规则
文献阅读记录:Graph Convolutional Networks for Hyperspectral Image Classification_第4张图片

Proposed MiniGCNs

文献阅读记录:Graph Convolutional Networks for Hyperspectral Image Classification_第5张图片

full graph G with |V|=N on the lable set,construct a random node sampler with a budget M (M《 N)

subraphs:
在这里插入图片描述
文献阅读记录:Graph Convolutional Networks for Hyperspectral Image Classification_第6张图片
文献阅读记录:Graph Convolutional Networks for Hyperspectral Image Classification_第7张图片
s不仅是第s个子图,也是第s个batch
文献阅读记录:Graph Convolutional Networks for Hyperspectral Image Classification_第8张图片
the graph or adjacency matrix in the obtained batch needs to be reassembled according to the connectivity of G after each sampling.
每次采样后,需要根据G的连通性重新组合获得的批中的图或邻接矩阵。

MiniGCNs Meet CNNs: End-to-End Fusion Networks

additive (A), elementwise multiplicative (M), and concatenation(C )
加法器(A),对应元素相乘(M)和级联(C)
文献阅读记录:Graph Convolutional Networks for Hyperspectral Image Classification_第9张图片
文献阅读记录:Graph Convolutional Networks for Hyperspectral Image Classification_第10张图片

你可能感兴趣的:(文献阅读记录:Graph Convolutional Networks for Hyperspectral Image Classification)