Task02：详读西瓜书+南瓜书第3章 线性模型

机器学习三要素

https://blog.csdn.net/qq_35240204/article/details/106864541

“线性回归”试图学得一个线性模型以尽可能准确地预测 实值输出标记
这里我学习了元线性回归 和 多元线性回归

一元线性回归

模型

一元线性回归我们试图学得模型

均方误差

均方误差E斜体样式是回归任务最常用的的性能度量，我们需要做的就是试图让均方误差最小化

最小二乘法

那么基于均方误差最小化来进行模型求解的方法就是“最小二乘法”。

事实上，最小二乘法不仅限于线性回归，最小二乘法还可用于曲线拟合。
在这里我先只考虑线性回归

确定损失函数（策略）

因此，对于一元线性回归，我们的目的就很清楚了。
我们希望找到一个目标函数，
那么想要找到这个目标函数，我们就需要基于最小二乘法求解w和b

这里我们先不考虑怎么证明凸函数，先来求解

求解w和b（优化算法）

基于“均方误差最小化”来进行模型求解的方法就称为最小二乘法。
求解w和b就死使其最小化的过程，称为线性回归模型的最小二乘“参数估计”

事实上，当E关于w和b的偏导数均为0的时候，我们得到w和b的最优解
因此，分为两步。
（1）求函数E对未知数w的偏导数和对未知数b的偏导数
（2）令这两个偏导数为0，解得w和b的最优解的闭式解

（1）

（2）
这里，我们就求得了w和b，即学得了模型中的未知参数
也就确定了 模型

为什么这么求w和b

什么是凸函数

这里我们要注意，数学上的凸函数定义和这里的凸函数定义不同

梯度（多元函数的一阶导数）

Hession（海塞）矩阵（多元函数的二阶导数）

多元函数的凸函数判定

多元线性回归

模型

在日常生活中，数据集 D 中的样本一般由d个属性描述。
多元线性回归试图学得模型：

策略

类似的，利用最小二乘法对ω和b进行估计，得到均方误差

求解ω和b

接下来就是求解ω和b，

最终解得

因此，学得模型

对数几率回归

使用线性模型进行回归学习，我们学得了模型f（χ）

看图可知，对于一个样本x，线性回归模型f(x)之后获得预测标记
那么分类任务怎么学得模型：
事实上，我们需要找一个单调可微函数将分类任务的真实标记ỿ与线性回归模型的预测值联系起来。
如图所示。

那么怎么联系起来。
如图所示

首先，线性回归模型产生的预测值Z是实数，而在二分类任务中，其输出标记y∈{0,1}。我们就需要将这个实数转化为
0或者1.
如何转化： 我们首先考虑了单位阶跃函数。但其不符合前面所要求的条件：单调可微。
因此，我们希望寻找近似单位阶跃函数（unit-step function）的替代函数（surrogate function）。
我们找到了一种“Sigmoid函数”：对数几率函数

因此，我们试图学得的模型就变为了

也可以变化为

这里的y表示样本x作为正例（取1）的概率
1-y表示样本x作为反例（取0）的概率

策略和算法

如何求解ω和b？
第一步：通过“极大似然法”（maximum likelihood method）得到了ω和b的损失函数
第二步：根据凸优化理论，经典的数值优化算法如梯度下降法（gradient descent method）、牛顿法（Newton method）等都可求得其最优解；

线性判别分析(Linear Discriminant Analysis–LDA)

思想：对于给定的训练样例集D，试图将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离。
在对新样本分类时，将其投影到同样这条线上，再根据投影点位置判断样本类别。

损失函数（策略）

在经过损失函数推导之后，得到损失函数，也就是LDA欲优化的目标（最大化J）

求解ω（算法）

算法：求解损失函数，确定最优模型。
这里求解ω/优化问题的求解使用的是拉格朗日乘积法
通过拉格朗日乘积法最终求得

关于最小值点

我们知道，使用拉格朗日乘积法求解出的结果是极值点。那么在这里为什么求出来的我们说是最小值点。