ppt 深度学习绘图_如何持续深度学习？看这份DNN2GP: 从深度神经网络到高斯过程45页ppt和论文提供新思路...

本文转自专知微信公众号 【导读】终身学习是机器学习中的热门研究话题之一。如何实现持续学习？来自东京RIKEN研究中心的Emtiyaz Khan给了关于从深度神经网络到高斯过程的教程《DNN2GP: From Deep Networks to Gaussian Processes》，共有45页ppt，以及撰写了最新的论文，通过提出一种新的函数正则化方法来解决这个问题，该方法利用了一些过去的难忘样例，这些样例对于避免遗忘至关重要。通过使用深度网络的高斯过程公式，能够在权重空间中进行训练，同时识别难忘的过去样例和功能性样例。非常具有启发性，值得查看！ 持续深度学习 不断学习新技能对智能系统来说很重要，但大多数深度学习方法都存在严重的遗忘问题。最近的研究用权重调整来解决这个问题。函数正则化虽然在计算上很昂贵，但人们期望它能表现得更好，但在实践中却很少这样做。在本文中，我们通过提出一种新的函数正则化方法来解决这个问题，该方法利用了一些过去的难忘的例子，这些例子对于避免遗忘至关重要。通过使用深度网络的高斯过程公式，我们的方法能够在权重空间中进行训练，同时识别难忘的过去样例和功能性样例。我们的方法在标准基准上实现了最先进的性能，并为终身学习开辟了一个新的方向，使正则化和基于记忆的方法自然地结合在一起。 https://arxiv.org/abs/2004.14070 DNN2GP: 从深度神经网络到高斯过程 文件下载 https://emtiyaz.github.io/papers/12May2020_dnn2gp_PI_talk.pdf 关于深度学习与图网络

关注图网络、图表示学习，最近顶会顶刊动态以及机器学习基本方法，包括无监督学习、半监督学习、弱监督学习、元学习等。