深度学习

深度学习（Deep Learning）并不是单纯的多层神经网络，其有以下几个优点：

1，能够自动学习原始数据的特征。

2，具有不一样的网络结构，或者训练算法。

3，能够处理时间序列。

主要处理的是难以训练的问题。

四个大的问题：

1）架构的设计。

需要领域的知识，比如：处理图片用卷积神经网络。

2）模型复杂度很高。

如果数据足够，并不需要担心模型的复杂度。正则化：dropout（神经元坏掉），denoising（输入坏掉）。

3）最佳化问题，局部最佳点。

谨慎的选择起始点，避免局部最优。方法：Pre-training。

4）计算复杂度很高。

更好的硬件，GPU。

（预训练）pre-training的方法：

1）逐层权重训练，训练出最初的权重。想法是：只要神经网络能够保存其主要的信息，算法：自编码器（autoencoder）。

过拟合（overfitting）

1）少一点的连接

2）提早结束梯度法

3）加入人为的噪声