机器学习数据预处理preprocessing之KernelCenterer

sklearn.preprocessing.KernelCenterer

对矩阵$X$执行中心化操作，即使得核矩阵的行和列的均值为零

给定二维矩阵$X$，可以下式得到其核变换矩阵$K$：
$$K(X,X)=\varphi (X).\varphi (X{)}^T$$

• 式中$\varphi (X)$是一种将$X$从原始空间映射到希尔伯特空间的函数
• 希尔伯特空间是一种完备的内积空间，通常用于处理高维或无限维的特征空间

去中心化的核矩阵$K$可表示为：

$$K(X,X)=\varphi (X).\varphi (X{)}^T=K(X,X).K(X,X{)}^T$$
然而，核函数的好处之一就是可以使用代数计算避免复杂的空间映射：

$$K=K-1_{n_{samples}}K-K{1}_{n_{samples}}+1_{n_{samples}}K{1}_{n_{samples}}$$

• 式中$1_{n_{samples}}$是shape为(n_samples, n_samples)所有值为$\frac{1}{n_{samples}}$的矩阵

官网示例如下：

from sklearn.preprocessing import KernelCenterer
from sklearn.metrics.pairwise import pairwise_kernels
X = [[ 1., -2.,  2.],
     [ -2.,  1.,  3.],
     [ 4.,  1., -2.]]
K = pairwise_kernels(X, metric='linear')
K
array([[  9.,   2.,  -2.],
       [  2.,  14., -13.],
       [ -2., -13.,  21.]])
transformer = KernelCenterer().fit(K)
transformer.transform(K)
array([[  5.,   0.,  -5.],
       [  0.,  14., -14.],
       [ -5., -14.,  19.]])

上述结果具体是如何计算得出的呢？

1. $X$ 是一个 3x3 的矩阵，表示三个样本，每个样本有三个特征
2. pairwise_kernels(X, metric='linear') 计算样本之间的线性核矩阵$ K$。线性核矩阵的计算公式是 $K=X\ast X^T$，即样本矩阵与其转置的乘积

K = X ∗ X T = [ 1 − 2 2 − 2 1 3 4 1 − 2 ] [ 1 − 2 2 − 2 1 3 4 1 − 2 ] T = [ 1 − 2 2 − 2 1 3 4 1 − 2 ] [ 1 − 2 4 − 2 1 1 2 3 − 2 ] = [ 9 2 − 2 2 14 − 13 − 2 − 13 21 ] \begin{aligned} K&=X * X^T \\ &= \left[\begin{matrix} 1 & -2 & 2\\ -2 & 1 & 3\\ 4 & 1 & -2 \end{matrix} \right] \left[\begin{matrix} 1 & -2 & 2\\ -2 & 1 & 3\\ 4 & 1 & -2 \end{matrix} \right]^T \\ &= \left[\begin{matrix} 1 & -2 & 2\\ -2 & 1 & 3\\ 4 & 1 & -2 \end{matrix} \right] \left[\begin{matrix} 1 & -2 & 4\\ -2 & 1 & 1\\ 2 & 3 & -2 \end{matrix} \right] \\ &= \left[\begin{matrix} 9 & 2 & -2\\ 2 & 14 & -13\\ -2 & -13 & 21 \end{matrix} \right] \\ \end{aligned} K​=X∗XT= ​1−24​−211​23−2​ ​ ​1−24​−211​23−2​ ​T= ​1−24​−211​23−2​ ​ ​1−22​−213​41−2​ ​= ​92−2​214−13​−2−1321​ ​​
3. KernelCenterer().fit(K) 创建一个KernelCenterer对象，并调用.fit(K) 方法计算出核矩阵$K$中心化所需的均值等参数，并返回KernelCenterer对象
4. transformer.transform(K)使用KernelCenterer对象对核矩阵$K$进行中心化变换，得到最终结果：

K ~ = K − 1 n s a m p l e s K − K 1 n s a m p l e s + 1 n s a m p l e s K 1 n s a m p l e s = [ 9 2 − 2 − 2 14 − 13 − 2 − 13 21 ] − [ 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 ] [ 9 2 − 2 2 14 − 13 − 2 − 13 21 ] − [ 9 2 − 2 2 14 − 13 − 2 − 13 21 ] [ 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 ] + [ 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 ] [ 9 2 − 2 2 14 − 13 − 2 − 13 21 ] [ 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 1 / 3 ] = [ 9 2 − 2 2 14 − 13 − 2 − 13 21 ] − [ 3 1 2 3 1 2 3 1 2 ] − [ 3 3 3 1 1 1 2 2 2 ] + [ 2 2 2 2 2 2 2 2 2 ] = [ 5 0 − 5 0 14 − 14 − 5 − 14 19 ] \begin{aligned} \widetilde{K} & =K-1_{n_{samples}}K-K1_{n_{samples}}+1_{n_{samples}}K1_{n_{samples}} \\ &= \left[\begin{matrix} 9 & 2 & -2\\ -2 & 14 & -13\\ -2 & -13 & 21 \end{matrix} \right] - \left[\begin{matrix} 1/3 & 1/3 & 1/3\\ 1/3 & 1/3 & 1/3\\ 1/3 & 1/3 & 1/3 \end{matrix} \right] \left[\begin{matrix} 9 & 2 & -2\\ 2 & 14 & -13\\ -2 & -13 & 21 \end{matrix} \right] - \left[\begin{matrix} 9 & 2 & -2\\ 2 & 14 & -13\\ -2 & -13 & 21 \end{matrix} \right] \left[\begin{matrix} 1/3 & 1/3 & 1/3\\ 1/3 & 1/3 & 1/3\\ 1/3 & 1/3 & 1/3 \end{matrix} \right] + \left[\begin{matrix} 1/3 & 1/3 & 1/3\\ 1/3 & 1/3 & 1/3\\ 1/3 & 1/3 & 1/3 \end{matrix} \right] \left[\begin{matrix} 9 & 2 & -2\\ 2 & 14 & -13\\ -2 & -13 & 21 \end{matrix} \right] \left[\begin{matrix} 1/3 & 1/3 & 1/3\\ 1/3 & 1/3 & 1/3\\ 1/3 & 1/3 & 1/3 \end{matrix} \right] \\ &= \left[\begin{matrix} 9 & 2 & -2\\ 2 & 14 & -13\\ -2 & -13 & 21 \end{matrix} \right] - \left[\begin{matrix} 3 & 1 & 2\\ 3 & 1 & 2\\ 3 & 1 & 2\\ \end{matrix} \right]- \left[\begin{matrix} 3 & 3 & 3\\ 1 & 1 & 1\\ 2 & 2 & 2\\ \end{matrix} \right]+ \left[\begin{matrix} 2 & 2 & 2\\ 2 & 2 & 2\\ 2 & 2 & 2\\ \end{matrix} \right] \\ &= \left[\begin{matrix} 5 & 0 & -5\\ 0 & 14 & -14\\ -5 & -14 & 19 \end{matrix} \right] \\ \end{aligned} K ​=K−1nsamples​​K−K1nsamples​​+1nsamples​​K1nsamples​​= ​9−2−2​214−13​−2−1321​ ​− ​1/31/31/3​1/31/31/3​1/31/31/3​ ​ ​92−2​214−13​−2−1321​ ​− ​92−2​214−13​−2−1321​ ​ ​1/31/31/3​1/31/31/3​1/31/31/3​ ​+ ​1/31/31/3​1/31/31/3​1/31/31/3​ ​ ​92−2​214−13​−2−1321​ ​ ​1/31/31/3​1/31/31/3​1/31/31/3​ ​= ​92−2​214−13​−2−1321​ ​− ​333​111​222​ ​− ​312​312​312​ ​+ ​222​222​222​ ​= ​50−5​014−14​−5−1419​ ​​

如果觉得矩阵相乘不直观，可从按元素操作（Element -wise operation）角度计算中心化矩阵

$4^{\ast }$. transformer.transform(K)使用KernelCenterer对象对核矩阵$K$进行中心化变换，得到最终结果：

• 从上述计算结果中可以看出，$1_{n_{samples}}K$相当于计算核矩阵$K$每一列的均值，$K{1}_{n_{samples}}$相当于计算核矩阵$K$每一行的均值，$1_{n_{samples}}K{1}_{n_{samples}}$则相当于计算整个核矩阵$K$的均值，即：

m e a n _ c o l = 1 3 [ 9 + 2 − 2 2 + 14 − 13 − 2 − 13 + 21 ] = 1 3 [ 9 3 6 ] = [ 3 1 2 ] m e a n _ r o w = [ 9 + 2 − 2 2 + 14 − 13 − 2 − 13 + 21 ] 1 3 = [ 9 3 6 ] 1 3 = [ 3 1 2 ] m e a n _ a l l = 1 3 [ 9 + 2 − 2 + 2 + 14 − 13 − 2 − 13 + 21 ] 1 3 = [ 9 3 6 ] 1 3 = 1 3 [ 18 ] 1 3 = 2 \begin{aligned} mean\_{col}&= \frac{1}{3}\left[\begin{matrix} 9 + 2 -2\\ 2 + 14 -13\\ -2 -13 + 21\end{matrix} \right] = \frac{1}{3}\left[\begin{matrix} 9\\ 3\\ 6\end{matrix} \right] = \left[\begin{matrix} 3\\ 1\\ 2\end{matrix} \right] \\ mean\_{row}&= \left[\begin{matrix} 9 + 2 -2\\ 2 + 14 -13\\ -2 -13 + 21 \end{matrix} \right]\frac{1}{3} = \left[\begin{matrix} 9\\ 3\\ 6 \end{matrix} \right] \frac{1}{3}= \left[\begin{matrix} 3\\ 1\\ 2 \end{matrix} \right] \\ mean\_{all}&= \frac{1}{3} \left[\begin{matrix} 9 + 2 -2+2 + 14 -13-2 -13 + 21 \end{matrix} \right]\frac{1}{3} = \left[\begin{matrix} 9\\ 3\\ 6 \end{matrix} \right] \frac{1}{3}=\frac{1}{3} \left[\begin{matrix} 18\\ \end{matrix} \right] \frac{1}{3}=2\\ \end{aligned} mean_colmean_rowmean_all​=31​ ​9+2−22+14−13−2−13+21​ ​=31​ ​936​ ​= ​312​ ​= ​9+2−22+14−13−2−13+21​ ​31​= ​936​ ​31​= ​312​ ​=31​[9+2−2+2+14−13−2−13+21​]31​= ​936​ ​31​=31​[18​]31​=2​

• 基于按元素操作，计算中心化后的每个矩阵
  $$\begin{array}{rl}{K}_{ij}& =K_{ij}-mean\_ro{w}_i-mean\_co{l}_j+mean\_all\\ K_{11}& =9-3-3+2=5\\ K_{12}& =2-3-1+2=0\\ K_{13}& =-2-3-2+2=-5\\ K_{21}& =2-1-3+2=0\\ K_{22}& =14-1-1+2=14\\ K_{23}& =-13-1-2+2=-14\\ K_{31}& =-2-2-3+2=-5\\ K_{32}& =-13-2-1+2=-14\\ K_{33}& =21-2-2+2=19\end{array}$$
• 中心化后的核矩阵
  K ~ i j = [ 5 0 − 5 0 14 − 14 − 5 − 14 19 ] \widetilde{K}_{ij}= \left[\begin{matrix} 5 & 0 & -5\\ 0 & 14 & -14\\ -5 & -14 & 19 \end{matrix} \right] K ij​= ​50−5​014−14​−5−1419​ ​