神经网络和深度学习 - Chapter7 超参数调优

超参数调优：Grid Search vs 随机搜索

• 神经网络中参数主要包括：学习率、优化器、batch size等；常采用的超参数选择的方法有：Grid Search方法和随机搜索的方法，更建议使用随机搜索的方法，因为可能很多参数并不重要，也不确定哪个取值范围才是最好的。

image.png

• 从粗粒度到细粒度，现在整个空间中随机找到一个结果较好的参数范围，然后再此范围中再进行随机搜索。找到最优的参数组合。

image.png

超参数取值尺度问题

• 对于网络层数，神经元个数这类参数可以采用等间距取值的方式。但是对于学习率这样的参数，不适合采用等间距取值的方式。应该从这样的间距中取值。

image.png

超参数调优实践

• 第一种方式，如果资源不充足的情况下，可以每天观察模型学习的曲线进而针对性改变超参数继续训练。对于资源充足的情况下，可以设置不同的超参数并行的进行训练。

image.png

Batch Normalization

• Batch Normalization的具体实现。BN实现中引入了参数这两个参数。BN相当于在batch维度做归一化，比如的维度为，则BN就是在列维度做归一化。对于输入层BN就是对输入特征做归一化。

image.png

• BN做用的是，得到归一化的结果，然后使用此值得到激活值。

image.png

测试时BN如何使用？

• 从下图左边训练时BN的计算公式可以看出，计算BN需要用到 ；测试的时候可以用训练时，每个batch的指数加权平均得到 。

image.png

Softmax回归

• softmax回归是逻辑回归的一般形式，用于解决多分类问题。softmax激活函数，首先需要计算各个输出的的值，然后再进行归一化得到一个概率和为1的向量。从下面的第三张图可以看出，softmax层可以学习出非线性的决策边界，但是逻辑回归是做不到的。

图片多分类问题.png

softmax层.png

softmax可以学习非线性的决策边界.png

Softmax回归训练

• 当C=2的时候，softmax回归就退化成了逻辑回归。softmax回归使用的损失函数为负对数似然损失，计算公式如下：

image.png

softmax回归损失函数.png