李宏毅机器学习——回归

回归定义

Regression 就是找到一个函数 ，通过输入特征 ，输出一个数值 。

模型步骤

• Step 1: 模型假设
• Step 2: 模型评估
• Step 3: 模型优化

Step 1：模型假设

线性模型 Linear Model:

Step 2: 模型评估

损失函数 Loss Function:

以线性模型为例：

Step 3: 模型优化

找到使得损失函数最小的

• 最小二乘法: 计算可能极为复杂
  Example
  

  化简, 得
  

• 梯度下降

  Example 1:

  1. 随机选取一个初始点
  2. 计算微分 , 判断移动方向
     
     其中为学习率
     • 大于0向右移动 (增加)
     • 小于0向左移动 (减少)
  3. 计算微分 , 继续更新
  4. ....
  5. 直至找到最低点

  Example 2:

  1. 随机选取
  2. 计算偏微分 , , 根据学习率更新
  3. ....
  4. 直至找到最低点

Gradient Decent

梯度下降面临的挑战

Gradient Decent Challenges

更复杂的模型

N次线性模型

过拟合问题

优化：

1. 融合不同参数的线性模型
2. 加入更多特征
3. 在损失函数中加入正则化项

实验

回归实验

参考资料

李宏毅机器学习笔记

李宏毅机器学习视频课