西瓜书《机器学习》第三章重点总结（上，一元线性回归）

（图片来自于电子书和B站datawhale）

第三章课程大纲：

 1.机器学习的三要素：

1.确定假设空间为正交回归：

2.原理讲解（分别用最小二乘法和极大似然估计）

 

 

3.求解最适合的w，b：

（First，确定E是关于w和b的凸函数）

（首先要求出函数f（x）在x处的梯度（一阶导数））

 

（再求二阶导写出海塞矩阵）

（计算过程：一阶导再到二阶导）

 

 

 

 

 

（写出海塞矩阵，判断是否为半正定矩阵，再得出E是否为关于w，b的凸函数：） 

 

 

 

（求解最小误差下0的w和b：） 

（求b：） 

 

（求w：）

 

 

 

4.在编程上的实现：