李宏毅机器学习——线性回归

线性回归

---

---

一、线性回归定义

线性回归：找到一个模型（function），通过输入特征x，输出一个预测者

二、模型步骤

• step1：模型（function）假设，选择模型框架（线性模型）
• step2：模型评估，利用损失函数（lost function）评估模型好坏
• step3：模型优化，通过梯度下降筛选出合适的参数使得模型（function）误差值最小

三、线性回归分类

一元线性回归

一元线性回归通常指线性回归中的特征数量只含有一个

多元线性回归

与多元线性回归相比含有多个特征，故假设线性模型为：$y=b+\sum w_i{x}_i$

• $x_i$:各种特征
• $w_i$:各个特征的权重
• $b:$偏移量

四、损失函数

损失函数的作用：利用原始值与预测值的最小平方和来计算当前的模型误差
多元损失函数:$L(f)={\sum }_{n-1}^{10}(y^n-f(x_i^n{)}^2)$
其中：$f(x)=y,y=b+w{x}_i$
最终损失函数Loss function：$L(w,b)={\sum }_{n-1}^{10}(y^n-(b+w{x}_i){)}^2$

五、梯度下降

梯度下降的评价作用：在寻求最佳模型时，需要不断调整模型中的各个参数以达到最佳效果。
首先在这里引入一个概念学习率 $\eta$：移动的步长

步骤1：随机选取一个 $w_0$
步骤2：计算微分，也就是当前的斜率，根据斜率来判定移动的方向：

• 大于0向左移动（增加$w$）
• 小于0向右移动（减少$w$）

步骤3：根据学习率移动
重复步骤2和步骤3，直到找到最低点
多元线性模型梯度下降如图所示：

过拟合问题

过拟合：模型在训练数据集上误差较小，在测试数据集中误差较大
欠拟合：模型在测试数据集下误差较大
代码如下（示例）：
过拟合解决途径：

• 引入更多特征
• 引入正则化
• 增大数据量

正则化：又换相关特征的权重

• $\lambda$越大，表示 function 较平滑的， function出值与输入值相差不大,可能导致欠拟合
  -$\lambda$越小，泛化失败，过拟合， 在很多应用场景中，并不是 w 越小模型越平滑越好，但是经验值告诉我们 w 越小大部分情况下都是好的。
• b 的值接近于0 ，对曲线平滑是没有影响

---

总结

线性回归的三个个步骤：

• step1：模型（function）假设，选择模型框架（线性模型）
• step2：模型评估，利用损失函数（lost function）评估模型好坏
• step3：模型优化，通过梯度下降筛选出合适的参数使得模型（function）误差值最小

模型优化中通常使用梯度下降，通常为最普遍的优化方式
在模型构建时要注意模型的过拟合，引入正则化防止模型发生过拟合