西瓜书公式（10.24）的推导

在西瓜书 10.4 节 “核化线性降维” 中，引入了一个映射函数 $\varphi$，其作用是将样本点 $x_i$ 映射到高维特征空间中，即 $z_i=\varphi (x_i)$
由前文中的推导可以得到 式(10.21) 和 式(10.22)
$$\left(\sum _{i=1}^m\varphi (x_i)\varphi (x_i{)}^T\right)w_j={\lambda }_j{w}_j\text{\hspace{1em}(10.21)}$$
$w_j$ 是高维空间中的一个标准正交基
$$w_j=\sum _{i=1}^m\varphi (x_i){\alpha }_i^j\text{\hspace{1em}(10.22)}$$
其中 ${\alpha }_i^j=\frac{1}{\lambda j}{z}_i^T{w}_j$
一般情形下，我们不清楚 $\varphi$ 的具体形式，于是引入核函数
$$\kappa (x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)\text{\hspace{1em}(10.23)}$$
将 式(10.22) 和 式(10.23) 代入 式(10.21) 后可得
$$K{\alpha }^j={\lambda }_j{\alpha }^j\text{\hspace{1em}(10.24)}$$
其中 $K$ 为 $\kappa$ 对应的核矩阵，$(K{)}_{ij}=\kappa (x_i,x_j)$, ${\alpha }^j=({\alpha }_1^j;{\alpha }_2^j;...;{\alpha }_m^j)$.

下面我们来推导 式(10.24):

$$\left(\sum _{i=1}^m\varphi (x_i)\varphi (x_i{)}^T\right)\left(\sum _{k=1}^m\varphi (x_k){\alpha }_k^j\right)={\lambda }_j\sum _{i=1}^m\varphi (x_i){\alpha }_i^j\text{\hspace{1em}(10.22 代入 10.21)}$$
$$\sum _{k=1}^m\left(\sum _{i=1}^m\varphi (x_i)\varphi (x_i{)}^T\right)\varphi (x_k){\alpha }_k^j={\lambda }_j\sum _{i=1}^m\varphi (x_i){\alpha }_i^j\text{\hspace{1em}(分配率)}$$

$$\sum _{k=1}^m\left(\sum _{i=1}^m\varphi (x_i)\varphi (x_i{)}^T\varphi (x_k){\alpha }_k^j\right)={\lambda }_j\sum _{i=1}^m\varphi (x_i){\alpha }_i^j\text{\hspace{1em}(分配率)}$$
$$\sum _{k=1}^m\left(\sum _{i=1}^m\varphi (x_i)\kappa (x_i,x_k){\alpha }_k^j\right)={\lambda }_j\sum _{i=1}^m\varphi (x_i){\alpha }_i^j\text{\hspace{1em}(代入 10.23)}$$
$$\sum _{i=1}^m\varphi (x_i)\sum _{k=1}^m\kappa (x_i,x_k){\alpha }_k^j={\lambda }_j\sum _{i=1}^m\varphi (x_i){\alpha }_i^j\text{\hspace{1em}(交换求和符号)}$$
$$\sum _{i=1}^m\varphi (x_i)(K{\alpha }^j{)}_i={\lambda }_j\sum _{i=1}^m\varphi (x_i){\alpha }_i^j\text{\hspace{1em}(矩阵乘法)}$$
$$\Phi \left(K{\alpha }^j\right)={\lambda }_j\Phi {\alpha }^j\text{\hspace{1em}(矩阵乘法)}$$
其中 $\Phi =(\varphi (x_1),\varphi (x_2),...,\varphi (x_m))$
$$K{\alpha }^j={\lambda }_j{\alpha }^j\text{\hspace{1em}(两边同时乘以 Φ−1)}$$
证毕。

最后，为了帮助理解，上述各变量的维度如下：
$$\begin{array}{rl}{\alpha }_i^j& \in {\mathbb{R}}^{1\times 1}\\ {\alpha }^j& \in {\mathbb{R}}^{m\times 1}\\ K& \in {\mathbb{R}}^{m\times m}\\ K{\alpha }^j& \in {\mathbb{R}}^{m\times 1}\\ {\left(K{\alpha }^j\right)}_i& \in {\mathbb{R}}^{1\times 1}\\ \varphi (x_i)& \in {\mathbb{R}}^{d\times 1}\\ \Phi & \in {\mathbb{R}}^{d\times m}\\ \Phi \left(K{\alpha }^j\right)& \in {\mathbb{R}}^{d\times 1}\end{array}$$