深度学习的几点总结

1.卷积和池化关系
一般先卷积后池化
卷积的时候尽量不压缩图像的长宽，尽量保留更多的信息，
卷积会无意的丢失一些信息，因此池化可以解决这个问题，在池化进行压缩。

2.评价：
连续数据的精度:R2 score
不均衡数据的精度:F1 score
过拟合：L1/L2 regularization, dropout
L1 regularization: y’=Wx
Cost=(y’ - y)2+|W|
L2 regularization: y’=Wx
Cost=(y’ - y)2+|W|2

3.激活函数的选择
神经网络的隐藏层数目少的时候，选择AF比较随意，数目很多需要考虑。
卷积层推荐relu,RNN中推荐relu,tanh

4.加速神经网络的训练
梯度下降GD
1)SGD: Stochastic Gradient Descent随机梯度下降
W+ = -Learning rate * dx
2) Momentum: m=b1 * m - Learning rate * dx W+=m
3) Adagrad: v + = dx^2 W+ = -Learning rate * dx / sqrt(v)
4) RMSProp: Mmentum + AdaGrad
V = b1 * v + (1-b1) * dx^2
W+ = -Learning rate * dx / sqrt(V)

5.BN数据标准化
将分散的数据统一的一种优化神经网络的算法。一般在网络层输出和激活函数之间。

6.数据采样-处理不均衡数据
通过采样的方法来修改训练样本的比例，增加少数类样本或者减少多数类样本使训练样本基本达到平衡状态，使分类器能得到接近标准分类器的结果。
欠采样：通过减少样本个数（通常指多数类样本）来获得原始数据集的子集。(可能会丢弃掉某些潜在的有用的样本)
过采样：通过复制某些已经存在样本或者是创造新的样本来扩大原始数据集。(重复学习会增加某些个例的权重，增加过拟合的可能性。)