第三章 线性模型总结

目录

第三章  线性模型总结

 1.线性模型的基本形式

标量形式：

 向量形式：

 广义线性模型：

  2.线性回归

一元线性回归（只有一个特征x）：

多元线性回归：

3.对数几率回归--也称作逻辑回归，用来解决分类问题

对数几率函数（对率函数）：

 对数几率：

 损失函数：

信息熵--衡量事情的不确定性：

 相对熵：

交叉熵：

4.线性判别分析（LDA）

广义特征值;

广义瑞利商：

5.将LDA推广到多分类任务中，对于多分类学习基本思路是将多分类任务拆解成若干个二分类任务。

 6.类别不平衡问题

---

第三章  线性模型总结

线性模型是通过线性组合的形式学得预测的函数。本章主要内容有线性模型的基本形式、线性回归、对数几率回归、线性判别分析、多分类学习、类别不平衡。

 1.线性模型的基本形式

标量形式：

 向量形式：

 广义线性模型：

  2.线性回归

一元线性回归（只有一个特征x）：

多元线性回归：

 注意：1.通过最小二乘法或极大似然估计得出损失函数；2.问题变为求凸函数最值；3.海瑟矩阵半正定就为凸函数；4.矩阵求导一般是分母布局，默认矩阵为列向量；5.当X的维度大于样本的个数，会造成w多解，类比线性方程因变量过多，就会存在多组解。

3.对数几率回归--也称作逻辑回归，用来解决分类问题

对数几率函数（对率函数）：

 对数几率：

 损失函数：

 根据信息论也可以求得损失函数：

信息熵--衡量事情的不确定性：

 相对熵：

交叉熵：

 交叉熵用来度量两个分布的差异，典型的是理想分布与预测分布之间的差异。

4.线性判别分析（LDA）

基本思想：存在一条直线，使得同类样本的投影尽可能接近，异类样本的投影尽可能远离。

LDA也被常视作一种经典的监督降维技术。

求解w过程用到了广义特征值和广义瑞利商。

广义特征值;

为A相对于B的广义特征值，x为A相对于B的属于广义特征值的特征向量。

广义瑞利商：

5.将LDA推广到多分类任务中，对于多分类学习基本思路是将多分类任务拆解成若干个二分类任务。

 6.类别不平衡问题

不同类别的训练样例数目差别很大的情况。

再平衡策略：

欠采样：去除一些反例样本，使得正，反例数目接近，代表算法EasyEnsemble;

过采样：增加一些正例，使得正反例数目接近，代表算法SMOTE；

阈值移动：将再缩放嵌入到分类器预测的决策过程中。