Gram矩阵和核函数

• Gram矩阵定义
  内积空间中的一组向量${\mathbf{v}}_1,{\mathbf{v}}_2,\cdots ,{\mathbf{v}}_n$的Gram矩阵是内积的Hermitian矩阵（复共轭对称矩阵$A^H=A$），定义为：${\mathrm{G}}_{ij}=⟨{\mathbf{v}}_i,{\mathbf{v}}_j⟩$，即：如果是一组实向量，则产生的Gram矩阵是对称矩阵（symmetric matrix）；如果是复向量，产生的Gram矩阵是复共轭对称矩阵。

• 给定一个实矩阵$A$，矩阵$A^{T}A$是$A$的列向量的Gram 矩阵，而矩阵$A{A}^T$是$A$的行向量的Gram矩阵。

• 在Euclidean空间或以二范数为基础的Hilbert空间中，Gram矩阵是半正定矩阵：

  • 证明：$设A=({\mathbf{v}}_1,{\mathbf{v}}_2,\cdots ,{\mathbf{v}}_n)$，由格拉姆矩阵的定义有$\mathrm{G}=A^{H}A$，我们知道$A^{H}A$是半正定矩阵，可由${\mathbf{x}}^H{A}^{H}A\mathbf{x}=(A\mathbf{x}{)}^H(A\mathbf{x})=||A\mathbf{x}|{|}_2^2\ge 0$证明。
  • 应用：正定核函数$$K({\mathbf{x}}_i,{\mathbf{x}}_j)=\mathbf{\varphi }({\mathbf{x}}_i)\cdot \mathbf{\varphi }({\mathbf{x}}_j)$$通常所说的核函数都是正定核函数，为什么呢？通常不加以显示地定义映射函数$\mathbf{\varphi }(\mathbf{x})$，而是以核函数直接产生的映射内积的结果为导向（结果导向型），直接用核函数作用输入训练样本$\mathcal{X}$，产生核函数$K(\mathbf{x},\mathbf{z})$对应的Gram矩阵：$$K={\left[K({\mathbf{x}}_i,{\mathbf{x}}_j)\right]}_{m\times m}$$此核函数对应的Gram矩阵是半正定矩阵。因为映射函数$\mathbf{\varphi }(\mathbf{x})$本身就是一个向量，$m$个样本将产生$N$个映射向量，这些向量的内积将产生Gram矩阵，由于Gram矩阵的正定性，所以必须使我们直接定义的核函数所对应的矩阵也是半正定的，才可以放心的不显示表示映射函数$\mathbf{\varphi }(\mathbf{x})$。
  • 疑问：为什么不显示地定义映射函数，然后直接做内积得结果呢？
    这里涉及到计算复杂度的事情。我们假设最初的特征是$n$维的，如果先把它映射到$n^2$维后，再做内积计算结果，那么计算复杂度变成什么了？明显是计算时间从原来的$O(n)$变成了$O(n^2)$。所以核函数应用而生，核函数既可以使得运算结果等同于非线性映射，同时又使得运算量远远小于非线性映射。
    举例说明：
    

• 高斯核函数（Gaussian kernel function）
  $$K(\mathbf{x},\mathbf{z})=\exp ⟮-\frac{||\mathbf{x}-\mathbf{z}|{|}^2}{2{\sigma }^2}⟯$$高斯核函数对应的映射函数$\varphi (\mathbf{x})$是无穷维的，这一点非常重要。下面进行说明：
  我们的目标是倒推$K(\mathbf{x},\mathbf{z})=\varphi (\mathbf{x})\cdot \varphi (\mathbf{z})$，且$\varphi (\mathbf{x})$是无穷维的；
  首先有泰勒展开：$$e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\cdots +\frac{x^n}{n!}+R^n$$接着：$$\begin{array}{rl}K(\mathbf{x},\mathbf{z})& =\exp ⟮-\frac{||\mathbf{x}-\mathbf{z}|{|}^2}{2{\sigma }^2}⟯=\exp ⟮-\frac{(\mathbf{x}-\mathbf{z})\cdot (\mathbf{x}-\mathbf{z})}{2{\sigma }^2}⟯=\exp ⟮-\frac{{\mathbf{x}}^2+{\mathbf{z}}^2-2\mathbf{x}\mathbf{z}}{2{\sigma }^2}⟯\\ & =\exp ⟮-\frac{{\mathbf{x}}^2+{\mathbf{z}}^2}{2{\sigma }^2}⟯\cdot \exp ⟮-\frac{\mathbf{x}\mathbf{z}}{{\sigma }^2}⟯\\ & =\exp ⟮-\frac{{\mathbf{x}}^2+{\mathbf{z}}^2}{2{\sigma }^2}⟯\cdot \left[1+\frac{1}{{\sigma }^2}\cdot \frac{\mathbf{x}\mathbf{z}}{1!}+{\left(\frac{1}{{\sigma }^2}\right)}^2\cdot \frac{(\mathbf{x}\mathbf{z}{)}^2}{2!}+{\left(\frac{1}{{\sigma }^2}\right)}^3\cdot \frac{(\mathbf{x}\mathbf{z}{)}^3}{3!}+\cdots +{\left(\frac{1}{{\sigma }^2}\right)}^n\cdot \frac{(\mathbf{x}\mathbf{z}{)}^n}{n!}+\cdots \right]\\ & =\exp ⟮-\frac{{\mathbf{x}}^2+{\mathbf{z}}^2}{2{\sigma }^2}⟯\cdot \left[1\cdot 1+\frac{1}{1!}\frac{\mathbf{x}}{\sigma }\cdot \frac{\mathbf{z}}{\sigma }+\frac{1}{2!}\frac{{\mathbf{x}}^2}{{\sigma }^2}\cdot \frac{{\mathbf{z}}^2}{{\sigma }^2}+\frac{1}{3!}\frac{{\mathbf{x}}^3}{{\sigma }^3}\cdot \frac{{\mathbf{z}}^3}{{\sigma }^3}+\cdots +\frac{1}{n!}\frac{{\mathbf{x}}^n}{{\sigma }^n}\cdot \frac{{\mathbf{z}}^n}{{\sigma }^n}+\cdots \right]\\ & =\varphi (\mathbf{x})\cdot \varphi (\mathbf{z})\end{array}$$其中$$\varphi (\mathbf{x})=\exp ⟮-\frac{{\mathbf{x}}^2}{2{\sigma }^2}⟯\left(1,\sqrt{\frac{1}{1!}}\frac{\mathbf{x}}{\sigma },\sqrt{\frac{1}{2!}}\frac{{\mathbf{x}}^2}{{\sigma }^2},\sqrt{\frac{1}{3!}}\frac{{\mathbf{x}}^3}{{\sigma }^3},\cdots ,\sqrt{\frac{1}{n!}}\frac{{\mathbf{x}}^n}{{\sigma }^n},\cdots \right)$$请注意，这里的 $\mathbf{x}$ 是向量，因此这个映射函数$\varphi (\mathbf{x})$是对$\mathbf{x}$整体做映射,这点需知晓。