机器学习算法总结6:线性回归与逻辑回归

线性回归(Linear Regression)：
线性回归是回归模型，y=f(x)：表明自变量x和因变量y的关系。
1.模型

2.策略
损失函数(平方损失函数)：
注：平方误差代价函数是解决回归问题最常用的代价函数。

3.算法
最小二乘法：

注意：要求X是满秩的！
逻辑回归(Logistic Regression)：
逻辑回归是统计学习中的经典分类方法，属于对数线性模型。
1.模型
逻辑回归实际上是处理二类分类问题的模型，输出结果是0或1，在线性回归的基础之上，引入Sigmoid函数将输出值控制在[0, 1]之间，并规定大于等于0.5，将预测值记为1；小于0.5，将预测值记为0。
Sigmoid函数：线性函数的值越接近正无穷大，概率值越接近1；反之，线性函数的值越接近负无穷，概率值就越接近0。

函数曲线如下：

2.策略
逻辑回归服从伯努利分布，输出结果用概率(后验概率)的形式表示，可以将表达式写成：

整合得到：

极大似然函数(后验概率的连乘)，即极大似然估计：

取对数，得到对数似然函数：

上述函数求极大值即可得到局部最优解，转变为以下函数即为求极小值，损失函数(对数损失函数)：

注：对数损失函数是凸函数。

3.算法
使用梯度下降法来极小化损失函数来更新权值，梯度的负方向就是代价函数下降最快的方向。
sigmoid函数求导：

更新参数：

参考博客：
https://www.cnblogs.com/zhibei/p/9349254.html
https://www.cnblogs.com/jiangxinyang/p/9282124.html
https://blog.csdn.net/zjuPeco/article/details/77165974
https://blog.csdn.net/weixin_44420421/article/details/103826576?ops_request_misc=%7B%22request%5Fid%22%3A%22158245062219726869019507%22%2C%22scm%22%3A%2220140713.130056874…%22%7D&request_id=158245062219726869019507&biz_id=0&utm_source=distribute.pc_search_result.none-task