线性回归、LASSO回归、岭回归、范数（正则化）

回归和分类的区别：
回归的输出是连续的（如房价，身高）；
分类的输出是离散的（是猫0还是狗1）。

线性回归

线性回归：

• 假设函数
  
• 损失（loss）函数：
  
• 目标函数：最小化损失函数。
  反向传播推导：
  

正则化

正则化是一种常见的防止过拟合的方法，做法是在损失函数后面添加对参数的约束项（正则化项）。在线性回归中，有两种不同的正则化项。

范数

L_P范数，添加所有参数绝对值的P次方之和再开P次方根。
p取值范围[0,+∞) ，
L0范数表示非零数据的个数；
L+∞范数表示数据中的最大值；
L-∞ 范数表示数据中的最小值。

LASSO回归

添加L1范数，添加上所有参数的绝对值之和，被称为LASSO回归。

岭回归

添加L2范数的平方，添加上所有参数的平方和，被称为岭回归。

L1正则化具有稀疏性

由公式进行，反向传播求偏导可以解释。


从上述推导公式可以看出W₁每次迭代更新都可能固定减去0.5，这样将会使W₁最终有可能减到0。权重减到0，参数变少变稀疏。

L1正则化产生平滑的权值

同样由公式推导得到：

从上述推导公式可以看出W₁每次迭代更新都减去本身的一半，W₁最终会无限接近于0，但不会是0，并且具有平滑的作用。