【11月组队学习】 网络设计的技巧
写在前面：机器学习的trick非常多，在训练模型的时候如何判断哪些trick有效更加重要。
关于Local minima和Saddle point
在深度学习等搭建的多参数模型中，更多的是可逃离的saddle point。从实验中也可以看出，随着loss的变化，在不断接近局部最小值，但从未达到。
1 批处理
大的Batch在处理时间上与小的Batch处理时间差距不大，利用大一点的Batch可以提高网络运行效率；相同的训练集精度，小的Batch在测试集上表现往往更好。
2 动量（Mnmentum）
“惯性”
3 自适应学习率
学习率太大会导致loss在山谷上方来回震荡
1.Adagrad
在学习率的基础上除以历次梯度的平方和的平均值。
2.RMSProp
给予历史梯度一定的权重
Adam：RMSProp+Momentum，在pytorch中的预设参数已经能训练得到一个相对好的结果
4 Learning Rate Scheduling
（learning rate decay）学习率随着训练时间增长，应当有一个变小的趋势。
（warm up）学习率逐渐变大，为了收集更多数据，统计得到的方差会更加精确
5 one-hot编码
分类问题中避免标签本身数字的大小关系带来的错误认知
6 损失函数的选择
之前已经总结过一些了，分类问题中经常会用到交叉熵损失函数
softmax作为一种“归一化”方式，可以拉大样本训练结果之间的差异。
pytorch中softmax已经内嵌到交叉熵损失函数中
7 Batch Normalization（BN）
在训练阶段：对每一层的输入特征进行标准化。不同的特征在相同或类似的取值范围内，error surface更平滑，会更容易训练。
激活函数的前后都有尝试BN，差别不大。
在考虑BN之后是牵一发而动全身，Batch size要足够大，才能表征数据分布。
当数据自身分布特点并不是均值为0......
β和γ是需要学习的参数，初始化时γ为全1向量，β为0向量.。
在测试过程中：积累到一定的Batch要求数目之后再进行测试是不显示的，所以我们会动态利用训练过程中得到的均值和方差（pytorch测试时也是这样做的）
