深度学习 | (8) GNN、NAS、Meta-Learning哪个更可能带来深度学习的突破？

原文地址

• GNN：图神经网络
• NAS（Neural Architecture Search）：网络结构搜索
• Meta-Learning: 元学习

图神经网络主要还是能拓宽深度学习的应用范围吧（深度学习在图结构数据上的应用），毕竟图结构的问题非常多，但拓宽范围算不上什么突破吧，而且图神经网络现在并没有什么killer application，而且survey paper比paper都多，感觉没啥真正大佬在往这个方向发力，灌水的比较多。

NAS（自动调参，自动搜索网络结构）其实对深度学习的帮助还是挺大的，如果能把调参的事情解决得更好一点，对于未来研发更复杂模型还是有很大帮助的，但感觉更多是助推剂，毕竟真的突破还是依赖算法本身的发展。

元学习如果能突破，想象空间确实很大，因为深度学习一直被诟病的问题是：学习需要海量数据（相比之下，人仅需要很少的数据就能学会一件事情），其实元学习是一个比较好的答案，对深度学习确实有质的帮助。不过元学习也是非常早的概念了，至今未能和深度学习有机结合，可见元学习本身突破就很难。我比较看好attention思想好好发展，演进成元学习的一个实现方法。