李宏毅机器学习task2打卡

一.回归(regression)定义

找到一个函数 function ，通过输入特征x，输出一个数值 Scalar。

(理解:根据特征输出一个与输入内容相关但不同的输出内容)

二.步骤

1.模型假设，选择模型框架（线性模型）

• y=b+w⋅xcp(一元线性模型)
• y=b+∑wi​xi​(多元线性模型)

1. xi​：各种特征
2. wi​：特征的权重 
3. b：偏移量

2.模型评估,判断模型好坏

使用损失函数（Loss function） 来衡量模型的好坏，统计原始数据的和，和越小模型越好。

3.模型优化，如何筛选最优的模型（梯度下降）

• 步骤1：随机选取一个 w^0w0
• 步骤2：计算微分，也就是当前的斜率，根据斜率来判定移动的方向
  • 大于0向右移动（增加ww）
  • 小于0向左移动（减少ww）
• 步骤3：根据学习率移动
• 重复步骤2和步骤3，直到找到最低点

三.模型优化——1元N次线性模型

 1.出现过拟合问题

训练集十分优秀，但是测试集效果反而变差。更高次数的式子包含低次数的式子，越复杂的model set可以找到一个function使得error rate越低。

2.优化

step1.2个input的四个线性模型是合并到一个线性模型中

         通过对特征判断，将 4个线性模型 合并到一个线性模型中

step2.加入更多特征，更多input，数据量没有明显增加

step3.加入正则化