神经网络如何调参、超参数的最优化方法、python实现

一、what is 超参数

超参数是什么，其实就是，各层神经元数量、batch大小、学习率等人为设定的一些数。

数据集分为训练数据、测试数据、验证数据。

用测试数据评估超参数值的好坏，就可能导致超参数的值被调整为只拟合测试数据，所以加了个验证数据。

训练数据用于参数的学习，验证数据用于超参数的性能评估。

进行超参数最优化，重要的是，逐渐缩小超参数好值存在范围。

一开始大致设定一个范围，从范围中随机采样出超参数，用这个采样值进行识别精度评估，根据这个结果缩小超参数好值范围，然后重复上述操作。研究发现，随机采样效果好点。

二、超参数优化实验

接下来用MNISIT数据集进行超参数最优化，参考斯坦福大学的实验。

实验：最优化学习率和控制权值衰减强度系数这两个参数。

实验中，权值衰减系数初始范围1e- 8到1e- 4，学习率初始范围1e- 6到1e- 2。

随机采样体现在下面代码：

weight_decay = 10 ** np.random.uniform(-8, -4)
    lr = 10 ** np.random.uniform(-6, -2)

实验结果：

结果