深度学习优化策略----超参数的设定

超参数调参：扔掉网格搜索，拥抱随机搜索

网格搜索（Grid Search ）在经典机器学习中十分普遍。但它在寻找 DNN 的最优超参数方面一点也不高效。这主要是由于 DNN 尝试不同超参数组合所耗费的时间。随着超参数不断增长，网格搜索需要的计算性能会指数级增长。

有两种解决办法：

• 取决于你之前的经验，你可以人工对部分常见超参数调参，比如学习率、隐层数目。
• 采用随机搜索（random search），或者随机采样代替网格搜索，来选择最优超参数。

超参数组合通常在期望范围之内、从均匀分布中被选择出来。加入之前获得的知识来进一步缩小搜寻空间，也是有可能的（比如，学习率不应该太大也不应该太小）。大家发现，随机搜索比网格搜索高效地多。