Deep Leaning 学习笔记之改善神经网络的超参数（3.1）—— 超参数调试

1 优化过程

本期我们学习的两个主要内容是 使用随机取样 而不是在网格中定点搜索 或者使用区域定位的搜索过程 但是除此以外 还有很多超参数探寻的方法

1.1 随机抽样

如果你有两个超参数 假设是超参数1和超参数2 人们经常会像这样 在一个网格中对点进行取样 然后系统化地尝试这些点所代表的值

1.2 区域定位搜索

比如在这个二维的例子中 你抽取了这些点 也许你发现这个点能产生最好的结果 并且旁边的一些点的结果也不错 那么在这个方案中 你需要做的是对 这些点所在的区域进行限定 然后在这个区域内进行密度更高的抽样 或者依然选择随机抽样 但是需要把更多资源集中在这个蓝色方块中搜索

2 随机均匀取样

2.1

• α∈（$10^a,10^b$）也就是$10^r$，令r属于（a,b），则对r在（a,b）范围内均匀取值即可
• 也可以先取得下限值，$10^a$，对$10^a$取对数，r下限为$lo{g}_{10}a$，r上限为$lo{g}_{10}b$
• 例如对β的调优：β∈（0.9,…0.999）那么我们可以对1-β进行调优，即1-β属于（0.1—0.001），因此我们就可以取对数了，r∈（-3,-1）

3 两种训练模式（熊猫模式Panda和鱼子酱模式Caviar）