(Few-shot )Review:Learning from the Past:Continual Meta-Learning with Bayesian Graph Neural network

1. 提出问题

现有的基于图网络做meta-learning的方法会有Catastrophic forgetting 和 insufficient robustness的问题， 导致不嗯呢个保持long-term的knowledge，并会造成严重的错误积累。

• Catastraphic forgetting
• insufficient robustness

2. 提出解决方案

针对Catastraphic forgetting的问题，文章采用了联合模型：

采用long-term （GRU）纠正 inter-task的问题；

采用graph neural networks计算short-term intra-class 之间的关联性；

由以上两个思想，设计出一个Continual Graph Neural Network, 可以实现在遇到新的eposides的时候，合理保持并利用重要的prior-imformation.

从图中可以看到，在每一个episode中，GNN采用embedding后的feature作为初始化，随后采用K-Hop Message Passing的方法更新节点，最后将得到的信息存储在GRU中，有利于分类结果在学习新样本的同时还能合理利用重要的先验知识

除此之外，在图网络中边初始化的不确定性是非常常见的，文章又提出贝叶斯方法用于edge inference(边的推理计算)；这样可以实现针对不同的任务，分类的权重可以动态的调整。

3. 网络模型

3.1 Continual Graph Neural Networks

连续图网络如图1所示，值得关注的是文章中的几个图更新公式：

• Node Interactions Modeling
• Task History Transition
• Adjacency Feature Update

3.2 Bayes by Backprop for Edge Inference

从图2中可以看出，在Edge Inference模块中，首先更新Node features, 然后通过Task Representation network获取分类器的分布，去除当前分类器所在的分布的权重，当前的另一分支处理相邻矩阵的更新，然后将分类器权重和相邻矩阵分布一同更新到图网络中

4. 实验结果

这么高的结果，让别人还怎么做啊，真是的！求作者赶紧把代码放出来学习学习。

本篇文章结果有多处疑问, 具体情况查询项目github