机器学习

神经网络碰上高斯过程
神经网络是一类参数化函数，可以通过梯度下降来高精度地逼近标记数据集。高斯过程（GP）是一种概率模型，其定义了可能函数的分布，并通过概率推理规则和数据来更新。

俞扬：对抗模仿学习与逆强化学习的过程非常相似

深度学习的理论基础
1.数学基础≠理论基础。用数学描述深度学习只能说明模型是有理论保证的，并不能组成深度学习的理论基础。
2.深度学习的理论基础首先是通用近似定理——只要神经元足够多，单层前馈神经网络「有潜力」逼近任意复杂的连续函数。表征、最优化和泛化三大问题是其最重要与基础的理论方向。
3.前沿研究正在摆脱「启发式」的新发现，反而更系统地关注它们的立足基础。