最优化问题及其分类——决策变量、目标函数、约束条件

最优化问题：在一定的约束条件下，求解最优的输入，以使得目标函数取得期望极值。

最优化问题的三个要素：决策变量decision variables、目标函数objective function、约束条件constraints。

最优化问题可分为：函数优化问题、组合优化问题。

搜索策略/搜索行为：人工搜索/手动调参、网格搜索Grid search（遍历/穷举），随机搜索Random search，贝叶斯优化算法 Bayesian optimization。启发式搜索Heuristical search/有信息搜索Informed search（智能优化算法）。

搜索范围：局部最优，全局最优

手动调参：不能保证得到最佳的参数组合。调参一种反复试验的方法，故会消耗更多的时间。

网格搜索：由于它尝试每一种超参数组合，并根据交叉验证CV分数选择最佳组合，这使得网格搜索交叉验证极其缓慢、耗时。

随机搜索：比网格搜索得到的结果更好，但不能保证给出最佳的参数组合。

贝叶斯搜索：在2维或3维搜索空间中，需要十几个样本才能得到一个良好的替代曲面（surrogate surface）; 增加搜索空间的维数需要更多的样本。属于一类被称为sequential model-based optimization(SMBO)的优化算法。

启发式搜索：利用问题包含的启发信息来引导搜索，从而减少搜索范围、降低问题复杂度。其原理是，在状态空间中对每一个搜索结果的位置进行评估，得到最好的位置，再从这个位置进行新一轮搜索直至达到目标。

参考链接：

最优化问题及其分类

最优化问题综述

最优化算法——常见优化算法分类及总结

超参数调优有哪些方法

超参数优化 - 贝叶斯优化算法

4种主流超参数调优技术

超参随机搜索原理及核心实现

机器学习中的超参数搜索-网格搜索、随机搜索、启发式搜索