机器学习之西瓜书+南瓜书：第三章 线性模型

这一章主要讲的是线性模型，分为回归任务和分类任务，回归任务包括一元线性回归、多元线性回归和对数几率回归，而分类任务包括线性判别分析以及多分类学习。
参考链接
1、【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集
2 周志华老师的《机器学习》

1 线性回归

思路：
（1）模型：建立一元一次方程y=wx+b
（2）策略：采用均方误差或者极大似然估计函数作为损失函数
（3）算法：证明凸函数->求导等于零，即为局部最大（小）值

2 多元线性回归

（1）模型：建立多元变量方程
（2）策略：采用均方误差作为损失函数
（3）算法：证明凸函数（矩阵微分！）->求导等于零，即为局部最大（小）值

3 对数几率回归

在线性回归的基础上套一个映射函数（sigmoid函数）进行分类。
（1）模型：建立概率质量函数

（2）策略：采用极大似然估计作为损失函数（或者信息论中的交叉熵）

（3）算法：证明凸函数（矩阵微分！）->求导等于零，即为局部最大（小）值

4 线性判别分析

（1）模型：建立多元变量方程
（2）策略：采用均方误差作为损失函数

（3）算法：采用拉格朗日乘子法求解最优值

5 多分类学习

目前还不是很理解

6 类别不平衡问题