频率派机器学习——线性回归

频率派机器学习——线性回归

线性回归的基本模型$f(w,b)=w^{T}x+b$，线性回归有三要数：

• 线性

  • 属性线性
    $打破$ 即将属性改为非线性，即存在$x^i$ $(i>1)$。则为特征转换（多项式回归）

  • 全局线性
    $打破$ 即将全局线性改为非线性。例如神经网络中的激活函数，使其输出为非线性。则为线性分类 线性分类

  • 系数线性
    $打破$ 即将系数线性改为非线性。即系数是会变化的，得到的系数的结果并不是单一的，它是一个分布或位于一个区间内。则其为神经网络（反向传播）

• 全局性：单一映射函数作用于整个特征空间。
      $打破$ 即不根据所有点的情况回归，而是将数据分为几个段（将特征空间划分为一个一个的小区域），对各个段进行回归。就有了 ：决策树 决策树、线性样条回归

• 数据未加工：使用原始数据进行计算。
        $打破$ 就有了 PCA，流形学习等