Python 机器学习 | 超参数优化 黑盒（Black-Box）非凸优化技术实践

CSDN 叶庭云：https://yetingyun.blog.csdn.net/

---

一、关键原理

为什么要做超参数优化？

• 机器学习建模预测时，超参数是用于控制机器学习模型学习过程的参数。为了与从数据中学到的机器学习模型参数区分开，所以称其为超参数。
• 超参数的配置通常决定了机器学习模型的最终性能，每组独特的超参数集将对应一个学习后的机器学习模型。
• 对于一些先进的机器学习模型，所有可能的超参数组合的集合会特别大。大多数机器学习模型软件包的默认参数值可能都经过了一些特别的调整优化，可以实现不错的基线性能（如随机森林、CatBoost），这意味着可以直接使用默认参数。但针对特定的任务还是需要找到最佳的超参数集设置，这样才能让机器学习模型达到最佳的性能。

已有一些算法库提供了自动化的超参数选择，比较著名的有：Optuna、Hyperopt。超参数选择可以看做一个优化的过程，在该过程中目标函数由模型表现表示，优化任务是找到一组让机器学习模型的性能表现得最好的参数。本文接下来主要讲解黑盒（Bl