AutoML 系列 - TPE简介

本文主要对 Tree-structured Parzen Estimator Approach (TPE) 进行介绍

SMBO 算法框架包含一系列优化算法，基本框架如下，而这个框架下的一系列算法的区别主要就在于选取的 surrogate model $M$ 以及 评价标准 $S$。

这里介绍一种基于这个框架的优化方法，Tree-structured Parzen Estimator Approach (TPE)

TPE

该方法选择的评价标准$S$为 Expected Improvement (EI)，即$f(x)$会小于某个阈值$y^{\ast }$的期望。

$$E{I}_{y^{\ast }}(x)={\int }_{-\infty }^{\infty }max(y^{\ast }-y,0)p(y|x)dy$$

TPE 定义如下两个概率密度，

$$p(x|y)=\{\begin{array}{r}l(x),y<y^{\ast }\\ g(x),y\ge y^{\ast }\end{array}$$

$l(x)$为$f(x^i)$的值小于$y^{\ast }$对应的$\{x^i\}$集合的概率密度；$g(x)$为$f(x^i)$的值大于等于$y^{\ast }$对应的$\{x^i\}$集合的概率密度。这两个概率密度即为$M$。

那么$y^{\ast }$如何决定呢？

TPE 采取的方法是，选取在$\{y^i\}$的一定分位数$\gamma$处的数值作为$y^{\ast }$，即$p(y<y^{\ast })=\gamma$。

接下来的问题就在于如何求解上面伪代码中第3行的优化问题了。

因为我们无法直接得知$p(y|x)$，所以使用贝叶斯公式进行如下转换，

$$\begin{gathered} E{I}_{y^{\ast }}(x)={\int }_{-\infty }^{\infty }max(y^{\ast }-y,0)p(y|x)dy \\ ={\int }_{-\infty }^{y^{\ast }}max(y^{\ast }-y,0)p(y|x)dy \\ ={\int }_{-\infty }^{y^{\ast }}max(y^{\ast }-y,0)\frac{p(x|y)p(y)}{p(x)}dy \end{gathered}$$

又因为$\gamma =p(y<y^{\ast })$并且$p(x)=\int p(x|y)p(y)dy=\gamma l(x)+(1-\gamma )g(x)$，

所以
$$\begin{gathered} E{I}_{y^{\ast }}(x)={\int }_{-\infty }^{y^{\ast }}max(y^{\ast }-y,0)\frac{p(x|y)p(y)}{p(x)}dy \\ =\frac{{\int }_{-\infty }^{y^{\ast }}max(y^{\ast }-y,0)p(x|y)p(y)dy}{p(x)} \\ =\frac{l(x)\ast {\int }_{-\infty }^{y^{\ast }}max(y^{\ast }-y,0)p(y)dy}{p(x)} \\ =\frac{l(x)y^{\ast }\gamma -l(x){\int }_{-\infty }^{y^{\ast }}p(y)dy}{\gamma l(x)+(1-\gamma )g(x)} \\ \propto (\gamma +\frac{g(x)}{l(x)}(1-\gamma ){)}^{-1} \end{gathered}$$

所以我们可以看出，通过$l(x)$求出概率较高，通过$g(x)$求出概率较小的$x$，会使$EI$较大。$l(x)$和$g(x)$用 tree-structured 的形式表示，会比较方便根据$l(x)$进行采样，并计算$g(x)/l(x)$。

上述伪代码在每一轮迭代都返回有最大$EI$的$x^{\ast }$。

参考资料：《Algorithms for Hyper-Parameter Optimization》