线性回归中引入核方法

2019-04-09

1. 线性回归 (L2-norm)

目标函数：

最优解：

2. 非线性 && 拉伸函数

拟合目标为非线性，例如真实分布如下：

则在用线性模型拟合时，应考虑将一维 “拉伸”为二维向量，即对于每个样本特征从一个标量变换为二维向量。称为拉伸函数。
假设N个训练样本，记，即对每个样本特征进行拉伸后的结果。那么最优解为 (式2-2)：

实际上对于不同任务找到合适的拉伸函数几乎是不可能的。所以为了避开这样的寻找过程，引入“核方法”的技巧。

3. 基本的核方法

（如果没有“核方法”的话，我们要找到合适的拉伸函数，然后还要计算高维向量的内积， 如式2-2）
我们首先把这样的向量内积计算表示为：

便是所谓的核函数。线性模型的表达式为：

依据式2-2，可以表示为(因为都是线性组合?)，结合矩阵乘法可表示为：

其中.

所以，

下面求未知向量，记，有



有上式对于的偏导等于可得：

计算得：

4. 小结

应对场景，选用不同得，可以在训练集上计算好，就可以构建如下核化的线性模型：

其中为第个训练样本，为测试的输入输出对。

5. ....