Few-Shot Learning with Graph Neural Networks笔记

Few-Shot Learning with Graph Neural Networks 笔记

第一步

输入

$$\mathcal{T}=\left\{\left\{\left(x_1,l_1\right),\dots \left(x_s,l_s\right)\right\},\left\{{\tilde{x}}_1,\dots ,{\tilde{x}}_r\right\},\left\{{\overline{x}}_1,\dots ,{\overline{x}}_t\right\};l_i\in \{1,K\},x_i,{\tilde{x}}_j,{\overline{x}}_j\sim {\mathcal{P}}_l\left({\mathbb{R}}^N\right)\right\}$$

其中s为有标签的样本数量，r为无标签的样本数量，t为待分类的样本数量，其中所有x独立同分布。

提取

将输入 $\mathcal{T} $ 转换为全连接图$G_{\mathcal{T}}=(V,E)$ ，其中$v_a\in V$ 代表图片$x$ (包括有标签和无标签的)。

初始化点特征

图$G$ 的初始值通过下式得到
$${\mathbf{x}}_i^{(0)}=\left(\varphi \left(x_i\right),h\left(l_i\right)\right)$$
其中$\varphi \left(x_i\right)$ 是一个CNN，$h(l_i)$ 是独热码。

GNN

边特征

$${\tilde{A}}_{i,j}^{(k)}={\phi }_{\tilde{\theta }}\left({\mathbf{x}}_i^{(k)},{\mathbf{x}}_j^{(k)}\right)={\mathrm{MLP}}_{\tilde{\theta }}\left(abs\left({\mathbf{x}}_i^{(k)}-{\mathbf{x}}_j^{(k)}\right)\right)$$
MLP是多层感知机

图卷积

在其最简单的模型中，给定赋权图$G$的顶点上的输入信号$F\in R^{V\times d}$ ，我们考虑图形本征线性算子的族$\mathcal{A}$，其在该信号上局部地起作用。 最简单的是邻接算子$A:F\mapsto A(F)$其中$(AF{)}_i:={\sum }_{j\sim i}{w}_{i,j}{F}_j$，其中$(i,j)\in E$ ，$w_{i,j}$ 为其相关权重。 GNN层Gc（·）接收信号${\mathbf{x}}^{(k)}\in {\mathbb{R}}^{V\times d_k}$作为输入，并产生$x^{(k+1)}\in {\mathbb{R}}^{V\times d_{k+1}}$
$${\mathbf{x}}_l^{(k+1)}=\mathrm{Gc}\left({\mathbf{x}}^{(k)}\right)=\rho \left(\sum _{B\in \mathcal{A}}B{\mathbf{x}}^{(k)}{\theta }_{B,l}^{(k)}\right),l=d_1\dots d_{k+1}$$
其中$\Theta ={\left\{{\theta }_1^{(k)},\dots ,{\theta }_{|\mathcal{A}|}^{(k)}\right\}}_k$，${\theta }_A^{(k)}\in {\mathbb{R}}^{d_k\times d_{k+1}}$ 为参数， $\rho (\cdot )$是非线性函数，论文中选择Leaky ReLUs

损失函数

$$\begin{array}{l}\min \frac{1}{L}{\sum }_{i\le L}\ell \left(\Phi \left({\mathcal{T}}_i;\Theta \right),Y_i\right)+\mathcal{R}(\Theta )\\ \ell (\Phi (\mathcal{T};\Theta ),Y)=-{\sum }_k{y}_k\log P\left(Y_i=y_k|\mathcal{T}\right)\end{array}$$

其中 $\Phi (\mathcal{T};\Theta )=p(Y|\mathcal{T})$，通过极大似然估计得出预测标签。