【机器学习-周志华】学习笔记-第六章

记录第一遍没看懂的
记录觉得有用的
其他章节：
        第一章
        第三章
        第五章
        第六章
        第七章
        第八章
        第九章
        第十章
        十一章
        十二章
        十三章
        十四章
        十五章
        十六章

6.2 对偶问题

        支持向量机的基本型：

        他转换成对偶问题算一个标准问题（数学细节解释在附录）。
首先转换成数学的标准写法，即$1-y_i(w^T{x}_i+b)\le 0$；由于拉格朗日乘子法要求约束是等于0，而我们这里是小于等于0，因此只是利用类似的方式，给出一个拉格朗日函数。

        同样求偏导，类似于之前的拉格朗日乘子法中的求偏导，并让偏导等于0(相当于一个中间结果)。

        代入，注意$\sum$里面的下标，改成j是为了便于区分，其实只要注意是一个$\sum$的即可：
$$\begin{array}{rl}L& =\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{a}_i(1-y_i(w^T{x}_i+b))\\ & =\frac{1}{2}(\sum a_i{y}_i{x}_i{)}^T(\sum a_i{y}_i{x}_i)+\sum a_i(1-y_i((\sum a_j{y}_j{x}_j{)}^T{x}_i+b))\\ & =\frac{1}{2}(\sum a_i{y}_i{x}_i{)}^T(\sum a_i{y}_i{x}_i)+\sum a_i-\sum a_i{y}_i(\sum a_j{y}_j{x}_j{)}^T{x}_i+\sum a_i{y}_{i}b\\ & =\frac{1}{2}(\sum a_i{y}_i{x}_i{)}^T(\sum a_i{y}_i{x}_i)+\sum a_i-(\sum a_i{y}_i{x}_i{)}^T(\sum a_j{y}_j{x}_j)\\ & =-\frac{1}{2}(\sum a_i{y}_i{x}_i{)}^T(\sum a_i{y}_i{x}_i)+\sum a_i\\ & =\sum a_i-\frac{1}{2}\sum _i\sum _j{a}_i{a}_j{y}_i{y}_j{x}_i^T{x}_j\end{array}$$
        根据附录B.1拉格朗日乘子法，可以解释KKT条件和为什么之前都是求极小，到公式(6.11)变成max了。


        核函数是用$\varphi (x)$这样类似一个非线性变化替换$x$；软间隔是允许某些样本不满足约束，引入损失函数；6.5节化分类为回归。

6.6 核方法

        关于(6.59)到(6.64)：


        首先是核函数的参数$\alpha$，我们可以写成列向量的形式，$\alpha =[{\alpha }_1,{\alpha }_2,...,{\alpha }_m{]}^T$；核函数在书中写了是$\varphi (x_i{)}^T\varphi (x)$。把带有$x_i$的两项合起来，也就是书中公式(6.65)，$w={\sum }_{i=1}^m{\alpha }_i\varphi (x_i)$。若$\Phi =[\varphi (x_1),\varphi (x_2),...,\varphi (x_m){]}^T$，则$w=\alpha {\Phi }^T$。
        $\alpha$组成的列向量每一个元素都是第$i$个核函数的系数，因此是个$m$行1列的列向量；而$\Phi$里面的$\varphi (x_i)$对于每个样本点变换后特征不确定，可以先定为有$d$个不同的特征。那么$w$是$d\ast 1$的特征。那么(6.60)可以写为：
$$ma{x}_{\alpha }J(w)=\frac{w^T{S}_b^{\varphi }w}{w^T{S}_w^{\varphi }w}=\frac{{\alpha }^T\Phi S_B^{\varphi }{\Phi }^T\alpha }{{\alpha }^T\Phi S_w^{\varphi }{\Phi }^T\alpha }$$
        我们希望公式最后写成跟$\alpha$有关的形式，业技术公式(6.70)。推导详细过程如下：首先是分子${\alpha }^{T}M\alpha$的来源，根据(6.60)，分子应该是$w^T{S}_b^{\varphi }w$，那么先代入展开：。
$$w^T{S}_b^{\varphi }w={\alpha }^T\Phi ({\mu }_1^{\varphi }-{\mu }_0^{\varphi })({\mu }_1^{\varphi }-{\mu }_0^{\varphi }{)}^T{\Phi }^T\alpha$$
        把经过非线性变换后的中心点进行处理：
$$\begin{array}{rl}{\mu }_1^{\varphi }& =\frac{1}{m_1}\sum _{x\in X_1}\varphi (x)\\ & =\frac{1}{m_1}(\sum _{x\in X_1}\varphi (x)\ast 1+\sum _{x\in X_0}\varphi (x)\ast 0)\\ & =\frac{1}{m_1}\sum _{x\in All}\varphi (x_i)\ast l_{li}\\ & =\frac{1}{m_1}{\Phi }^T{l}_1\end{array}$$
        因此，结合公式(6.66)和公式(6.68)，可得：
$$\begin{array}{rl}{w}^T{S}_b^{\varphi }w& ={\alpha }^T\Phi ({\mu }_1^{\varphi }-{\mu }_0^{\varphi })({\mu }_1^{\varphi }-{\mu }_0^{\varphi }{)}^T{\Phi }^T\alpha \\ & ={\alpha }^T\Phi {\Phi }^T(\frac{l_1}{m_1}-\frac{l_0}{m_0})(\frac{l_1}{m_1}-\frac{l_0}{m_0}{)}^T(\Phi {\Phi }^T{)}^T\alpha \\ & ={\alpha }^{T}K(\frac{l_1}{m_1}-\frac{l_0}{m_0})(\frac{l_1}{m_1}-\frac{l_0}{m_0}{)}^T{K}^T\alpha \\ & ={\alpha }^T(\overline{{\mu }_0}-\overline{{\mu }_1})(\overline{{\mu }_0}-\overline{{\mu }_1}{)}^T\alpha \\ & ={\alpha }^{T}M\alpha \end{array}$$