2021-10-14 机器学习课程-李宏毅 第二课学习笔记

回归

**Regression 就是找到一个函数 function ，通过输入特征 x，输出一个数值 Scalar

往期指路 第一课学习笔记

前言

应用举例

1. 股市预测（Stock market forecast） 输入：过去10年股票的变动、新闻咨询、公司并购咨询等

2. 自动驾驶（Self-driving Car） 输入：无人车上的各个sensor的数据，例如路况、测出的车距等 输出：方向盘的角度

3. 商品推荐（Recommendation） 输入：商品A的特性，商品B的特性 输出：购买商品B的可能性

4. Pokemon精灵攻击力预测（Combat Power of a pokemon) 本文主要举例讲述：
   输入：进化前的CP值、物种（Bulbasaur）、血量（HP）、重量（Weight）、高度（Height） 输出：进化后的CP值

模型步骤

step1：模型假设，选择模型框架
step2：模型评估，如何判断众多模型的好坏（损失函数）
step3：模型优化，如何筛选最优的模型（梯度下降）

step 1 模型假设，选择模型框架

一元线性模型
如果是单个特征，如图所示，y=b+wx构建线性函数
x：就是各种特征(fetrure)
w：各个特征的权重
b：偏移量
 
多元线性模型：
  在实际应用中，某种结果受多种影响因素影响，且可能不是线性的，输入特征肯定不止一种，多种特征共同构建（非线性）模型

Step 2：模型评估 - 损失函数

函数推导如下

Goodness of Function—好的模型的评判标准，取决于：
实际值与模型预测值之间的误差，数学上用最小二乘概念里距离的平方进行表示

w, b在梯度下降中取到最优结果，在二维坐标图中展示如图：

step 3 最佳模型 - 梯度下降

最佳模型的确定，需要确定最佳w,b值，而二者的确定可以通过两种方法一是穷举，但耗时大效率低，二是通过梯度下降法，进行w0–> w1的移动，直到找到最低的L(w)，当切线斜率为0会达到最好，但是会存在local optimal与gloabal optimal的问题，这里先留有想法，后续再解决。首先在这里引入一个概念：学习率 ：移动的步长，注意学习效率不能太小也不能太大。

步骤1：随机选取一个 w0
步骤2：计算微分，也就是当前的斜率，根据斜率来判定移动的方向
大于0向右移动（增加ww）
小于0向左移动（减少ww）
步骤3：根据学习率移动
重复步骤2和步骤3，直到找到最低点

注意问题

不是模型越复杂越好，模型月复杂可能会使train data数据的拟合误差减少，但会使得test data数据拟合误差更大；
现实问题需要考虑主要因素外的其他因素，需要重新设置function set；但要注意过多属性值会导致过拟合问题

如何解决过拟合问题：正则化Regularization

：Regularization 的方法。【为什么会期待一个参数值接近于零的方向，是因为它比较平滑。function平滑好一点。】
过拟合: