KMM

Huang J., Smola A., Gretton A., Borgwardt K. & Scholkopf B. Correcting Sample Selection Bias by Unlabeled Data. NIPS, 2007.

概

MMD量化了两组数据是否来自同一个分布的可能性, 那么如何利用这份信息来更好地训练, 增加模型的泛化性呢?

主要内容

我们有两组数据$Z=((x_1,y_1),(x_2,y_2),\dots ,(x_m,y_m))\subseteq \mathcal{X}\times \mathcal{Y}$, $Z^{\prime }=((x_1^{\prime },y_1^{\prime }),(x_2^{\prime },y_2^{\prime }),\dots ,(x_n^{\prime },y_n^{\prime }))\subseteq \mathcal{X}\times \mathcal{Y}$, 分别来自分布$\mathrm{P}\mathrm{r}(x,y)$和${\mathrm{P}\mathrm{r}}^{\prime }(x,y)$.

一般来说, 我们训练一个模型(分类也好回归也罢), 可以归结为如下的风险函数
$$R(\mathrm{P}\mathrm{r},\theta ,\ell (x,y,\theta ))={\mathbb{E}}_{(x,y)\sim \mathrm{P}\mathrm{r}}[\ell (x,y,\theta )],$$
但是我们真正想要优化的是$R({\mathrm{P}\mathrm{r}}^{\prime },\theta ,\ell (x,y,\theta ))$, 当然一般的做法是假设二者是一致的. 但实际情况可能是二者并不一致, 但是注意到
$$R[{\mathrm{P}\mathrm{r}}^{\prime },\theta ,\ell (x,y,\theta )]={\mathbb{E}}_{(x,y)\in \mathrm{P}{\mathrm{r}}^{\prime }}[\ell (x,y,\theta )]={\mathbb{E}}_{(x,y)\sim \mathrm{P}\mathrm{r}}[\frac{{\mathrm{P}\mathrm{r}}^{\prime }(x,y)}{\mathrm{P}\mathrm{r}(x,y)}\ell (x,y,\theta )],$$

并记$\beta (x,y):=\frac{{\mathrm{P}\mathrm{r}}^{\prime }(x,y)}{\mathrm{P}\mathrm{r}(x,y)}$(若成立), 则
$$R[{\mathrm{P}\mathrm{r}}^{\prime },\theta ,\ell (x,y,\theta )]=R[\mathrm{P}\mathrm{r},\theta ,\beta (x,y)\ell (x,y,\theta )].$$

这实际上可以理解为对样本的一个重加权, 所以现在的问题便是, 如何估计$\beta (x,y)$, 本文研究一种特殊的情况:
$$\mathrm{P}\mathrm{r}(x,y)=\mathrm{P}(y|x)\mathrm{P}\mathrm{r}(x),{\mathrm{P}\mathrm{r}}^{\prime }(x,y)=\mathrm{P}(y|x){\mathrm{P}\mathrm{r}}^{\prime }(x),$$
即 covariate shift, 此时
$$\beta (x,y)=\frac{\mathrm{P}\mathrm{r}(x)}{{\mathrm{P}\mathrm{r}}^{\prime }(x)}.$$

首先, 根据MMD我们知道, 两个分布差异性可以量化为
$$\mathrm{M}\mathrm{M}\mathrm{D}[\mathcal{F},p,q]:=\underset{f\in \mathcal{F}}{\sup }({\mathbb{E}}_p[f(x)]-{\mathbb{E}}_q[f(y)]),$$
当我们限制$\mathcal{F}$为 universal RKHS $\mathcal{H}$的时候, 上式可表示为
$$\mathrm{M}\mathrm{M}\mathrm{D}[\mathcal{H},p,q]=\underset{\Vert f{\Vert }_{\mathcal{H}}\le 1}{\sup }{\mathbb{E}}_p[f(x)]-{\mathbb{E}}_q[f(x)]=\underset{\Vert f{\Vert }_{\mathcal{H}}\le 1}{\sup }{\mathbb{E}}_p[⟨{\varphi }_x,f{⟩}_{\mathcal{H}}]-{\mathbb{E}}_q[⟨{\varphi }_x,f{⟩}_{\mathcal{H}}]=\Vert {\mu }_p-{\mu }_q{\Vert }_{\mathcal{H}}.$$

在此处, 我们关注(用$\varphi (x)$表示${\varphi }_x$)
$$\Vert \mu ({\mathrm{P}\mathrm{r}}^{\prime })-{\mathbb{E}}_{x\sim \mathrm{P}\mathrm{r}(x)}[\beta (x)\varphi (x)]\Vert ,$$
即我们希望找到一个权重$\beta (x)$使得上式最小, 由于分布的一些特殊性质, 完整的问题表述如下:
$$\begin{gathered} \underset{\beta }{\min }\Vert \mu ({\mathrm{P}\mathrm{r}}^{\prime })-{\mathbb{E}}_{x\sim \mathrm{P}\mathrm{r}(x)}[\beta (x)\varphi (x)]\Vert \\ \mathrm{s}.\mathrm{t}.\beta (x)\ge 0,{\mathbb{E}}_{x\sim \mathrm{P}\mathrm{r}(x)}[\beta (x)]=1. \end{gathered}$$

在实际问题中, 我们只有分布中的有限的采样, 也就是开头的$Z,Z^{\prime }$, 上述问题变为
$$\Vert \frac{1}{m}\sum _{i=1}^m{\beta }_i\varphi (x_i)-\frac{1}{n}\sum _{i=1}^n\varphi (x_i^{\prime }){\Vert }^2=\frac{1}{m^2}{\beta }^{T}K\beta -\frac{2}{mn}{\kappa }^T\beta +\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t},$$
其中${\kappa }_i:={\sum }_{j=1}^{n}k(x_i,x_j^{\prime })$. 于是, 我们优化如下的问题
$$\begin{gathered} \underset{\beta }{\min }\frac{1}{2}{\beta }^{T}K\beta -\frac{m}{n}{\kappa }^T\beta \\ \mathrm{s}.\mathrm{t}.{\beta }_i\in [0,B],|\sum _{i=1}^m{\beta }_i-m|\le mϵ. \end{gathered}$$
限制条件的前者限制了差异的大小, 后者则是希望其迫近概率分布.