机器学习_周志华 第三章 线性模型 学习笔记 3.3 3.4-3.6（略）

文章仅用来记录学习，若有侵权行为，联系我，将删除

3.3 对数几率回归

对数几率回归是线性模型在进行分类任务时的一种运用。

当我们要用线性模型去进行分类任务时，我们可以根据 3.2 中所提到的广义线性模型，找到一个单调可微函数  ,将分类任务的真实标记  与线性回归模型的预测值联系起来。

对于二分类的任务，输出标记  ，但我们由线性回归模型所产生的预测值  是一个实值，所以我们要办法，将我们预测得到的实值  转化为  值。最理想的函数是“单位阶跃函数”(也叫Heaviside函数)

即当预测值大于零时，就判为正例，小于零时，就判为反例，等于零时，随意判别。

上图红色部分就是单位阶跃函数，从图中给我们可以看出，红色部分是不连续的，我们要找的是一个单调可微函数，所以我们要找一个单位阶跃函数的替代函数，并且要单调可微，对数几率函数（简称对率函数）就是一个常用的替代函数：

从上图我们可以看出，对数几率函数是一种“Sigmoid函数”（形似S形的函数），这个函数将  值转化成了一个接近0或1的  值，并且在接近  附近变得很陡，我们将对数几率函数作为广义线性模型中的  ，我们可以得到：

上式可变化为：

将  看作是样本  是正例的可能性，则  是反例的可能性，两者的比值： 被称为“几率”，反映的是样例  作为正例的相对可能性，对几率取对数，即得到“对数几率”，即。

对数几率回归实际上是用线性回归模型的预测结果去逼近真实标记的对数几率。对数几率函数是一个任意阶可导的凸函数，有很好的数学性质。

3.3.1 用极大似然法求解对数几率回归

极大似然法学习参考：https://blog.csdn.net/zengxiantao1994/article/details/72787849

求解过程及公式推导参考：https://blog.csdn.net/uncle_gy/article/details/78788737

3.4 线性判别分析

觉得有必要单独写。

3.5 多分类学习

书中讲的很明白，故略。

3.6 类别不平衡问题

书中讲的很明白，故略。