【论文笔记】Automatic Graph Learning with Evolutionary Algorithms: An Experimental Study

1.摘要

【进化算法在AutoGL上的表现；图神经网络超参数优化】

近年来，自动机器学习（Automated Machine Learning, AutoML）由于能够大大降低机器学习的门槛和劳动成本，受到了学术界和工业界的广泛关注。它在超参数优化、模型选择、神经网络搜索和特征工程方面展示了其强大的功能。大多数自动机器学习框架都不是专门为处理图数据而设计的。也就是说，在大多数自动机器学习工具中，只集成了传统的神经网络，却没有使用图神经网络（Graph Neural Networks，GNN）。尽管传统的神经网络已经取得了巨大的成功，但图神经网络在处理非欧几里得数据（如图数据）方面有更多的优势，并在最近几年得到了普及。然而，就我们所知，目前只有一个开源的自动机器学习框架用于图学习，即AutoGL。对于AutoGL框架，传统的自动机器学习优化算法，如网格搜索、随机搜索和贝叶斯优化，在优化超参数的过程中被使用。但因为每一种传统的优化算法都有自己的优点和缺点，所以需要更多的选择。本研究通过实验分析了不同进化算法（Evolutionary Algorithms, EAs）在AutoGL上的表现。实验结果表明，进化算法可以成为图神经网络超参数优化的有效替代方案。

2.贡献

（1）据我们所知，这是第一个将进化算法应用于自动图学习框架的研究，其中AutoGL是第一个用于图学习的开源自动机器学习框架。

（2）通过大量的实验，对自动图学习的不同进化算法的性能进行了实验分析。

3.优化的参数类型和编码方式

参数搜索空间：

编码方式：

4.其他

AutoGL支持节点分类和图分类；

HPO算法主要包括：网格搜索、随机搜索、模拟退火和贝叶斯优化方法；

进化NAS两个一般性问题：第一个问题是进化算法是否比其他传统的超参数优化算法在自动图学习中表现更好。其次，进化算法的种类繁多，研究者可能难以选择在自己的实验中应用哪种类型的进化算法，或者他们可能需要花费非常多的时间来比较；

本论文里主要进化算法的实现依赖于AutoML；

模型性能评估之 Friedman 检验与 Nemenyi 后续检验；

这项研究对在这一领域尝试进化算法的研究人员具有参考价值。