deep learning前五章杂记

看了大神的deep learning的前五章，知识点还是非常多的，我把其中的一些数学概念分了一下类，其实只是想理解一下它们在深度学习的位置，如果你看到这篇文章，我建议你不要看下去，因为我的数学水平很差，下面说的十有八九是错的。

深度学习的三个要素，一个是数据样本，一个是深度网络，还有一个优化算法，最常见的就是梯度下降。

首先深度学习有它的理论基础，本质上就是概率论和大数定律之类的，深度学习的数据样本必须是独立同分布的，这点一定一定是最重要的，然后根据概率论的知识来说明它的泛化性能。

深度学习的的深度网络需要用的数学知识就更多了，我们需要理解线性代数、 线性回归、其它的一些监督学习、SVM、维数灾难、局部不变形、平滑正则性、流形学习等概念，才明白深度网络的来龙去脉。

深度学习的第三个要素梯度下降，我们需要理解容量（VC理论）、 过拟合、欠拟合、估计、偏差、 方差、 正则化、最大似然估计、最大后验概率、数值计算、损失函数、梯度下降等内容。

感觉增强学习更需要理解这些知识。