机器学习——回归与聚类算法

线性回归

广义的线性模型 

不仅是自变量是一次方的是线性模型，参数是一次方的也是线性模型，比如：

总结：线性关系的一定是线性模型，线性模型的不一定是线性关系。 

损失函数

优化损失 

求解模型中的w，使得损失最小。

正规方程

理解：X为特征值矩阵，Y为目标值矩阵，直接求到最好的结果（矩阵求导得极值再得最值）

缺点：当特征过多过复杂时，求解速度太慢而且得不到结果

梯度下降

 

 

理解：为学习率，需要手动指定（超参数），旁边的整体表示方向沿着这个函数下降的方向找，最后就能找到山谷的最低点，然后更新w值。

使用：面对训练数据规模十分庞大的任务，能够找到较好的结果。