【泛读】NIPS-A Flexible Generative Framework for Graph-based Semi-supervised Learning

A Flexible Generative Framework for Graph-based Semi-supervised Learning

What’s the Problem?

1. 传统方法和最近的图神经网络没有充分利用特征features、图graphs和标签labels之间的内在关系。
2. 许多图神经网络将输入的图只当做一个固定的观察值，而不是一个随机变量

How to solve them?

利用生成模型对数据、图和标签之间的联合分布进行建模，以解决基于图的半监督学习。
方法的目标是基于给定的数据$(X,Y_{obs},G)$推断$Y_{miss}$。通常是学习条件概率分布$p(Y|X,G)$，而这又是通过经验风险最小化学习一个预测模型$y=f(x;X,G)$完成的。这些方法中图$G$是固定不变的，这显然是不现实的。
作者要将$G$变成随机变量，并且利用$X,Y,G$之间的潜在结构改善预测的性能。生成过程可以通过联合分布的以下分解来说明
$$p(X,Y,G)=p(G|X,Y)p(Y|X)p(X)$$
其中条件概率$p(G|X,Y)$和$p(Y|X)$将通过一些带有参数$\theta$的灵活参数族分布$p_{\theta }(G|X,Y)$和$p_{\theta }(Y|X)$建模。

Ideas u can learn

图G应当是变化的，对于图未知的任务来说，以近邻方式间的图一定不是准确的，如果图随着训练的过程不越来越准确，模型的性能又怎么能提高？

New knowledge

生成模型与判别模型[

[来源：如何理解生成模型与判别模型] https://blog.csdn.net/Forlogen/article/details/89200238)

理论理解

对于分类问题而言，机器学习的目标可以理解为从一个给定的数据集上学习一个从自变量（特征）$X$到因变量（类标签）$Y$的映射。
那么对于判别方法而言，它最后学习到的是一个条件概率$P(Y|X)$，而生成模型学习到的是一个关于$X$和$Y$的联合概率$P(Y,X)$。根据贝叶斯定理有$P(Y,X)=P(Y|X)P(X)$，而$X$作为可观测变量，它满足的$P(X)$是可以求出来的，因此只需要通过贝叶斯定理计算得到条件概率$P(Y|X)$。

• 判别式方法：寻找到一个关于$P(Y|X)$的拟合超平面，不管数据生成的过程，例如K近邻、SVMs、感知机等等。对于判别式方法而言，所做的就是从给定的数据中计算出分类器的未知参数，但是容易过拟合。
  
• 生成式方法：它关注的是建立一个概率模型，也就是找到特征相应标签数据满足的分布模型，更加关注数据的产生过程。常见的算法有朴素贝叶斯、隐马尔科夫模型等。对于生成式方法而言，我们同样需要对所有的数据进行建模，希望通过它得到的模型来解释所有的数据，因此它的能力更强，而且更加灵活，可以处理分类、回归等任务，甚至可以根据求出的模型生成新的数据。