第三章 线性模型总结

目录

第三章  线性模型总结

 1.线性模型的基本形式

标量形式:

 向量形式:

 广义线性模型:

  2.线性回归

一元线性回归(只有一个特征x):

多元线性回归:

3.对数几率回归--也称作逻辑回归,用来解决分类问题

对数几率函数(对率函数):

 对数几率:

 损失函数:

信息熵--衡量事情的不确定性:

 相对熵:

交叉熵:

4.线性判别分析(LDA)

广义特征值;

广义瑞利商:

5.将LDA推广到多分类任务中,对于多分类学习基本思路是将多分类任务拆解成若干个二分类任务。

 6.类别不平衡问题


第三章  线性模型总结

线性模型是通过线性组合的形式学得预测的函数。本章主要内容有线性模型的基本形式、线性回归、对数几率回归、线性判别分析、多分类学习、类别不平衡。

第三章 线性模型总结_第1张图片

 1.线性模型的基本形式

标量形式:

 向量形式:

 广义线性模型:

  2.线性回归

一元线性回归(只有一个特征x):

第三章 线性模型总结_第2张图片

多元线性回归:第三章 线性模型总结_第3张图片

 注意:1.通过最小二乘法或极大似然估计得出损失函数;2.问题变为求凸函数最值;3.海瑟矩阵半正定就为凸函数;4.矩阵求导一般是分母布局,默认矩阵为列向量;5.当X的维度大于样本的个数,会造成w多解,类比线性方程因变量过多,就会存在多组解。

3.对数几率回归--也称作逻辑回归,用来解决分类问题

对数几率函数(对率函数):

第三章 线性模型总结_第4张图片

 对数几率:

 损失函数:

 根据信息论也可以求得损失函数:

信息熵--衡量事情的不确定性:

 相对熵:

交叉熵:

 交叉熵用来度量两个分布的差异,典型的是理想分布与预测分布之间的差异。

4.线性判别分析(LDA)

基本思想:存在一条直线,使得同类样本的投影尽可能接近,异类样本的投影尽可能远离。

LDA也被常视作一种经典的监督降维技术。

求解w过程用到了广义特征值和广义瑞利商。

广义特征值;

Ax=\lambda Bx

\lambda为A相对于B的广义特征值,x为A相对于B的属于广义特征值\lambda的特征向量。

广义瑞利商:

5.将LDA推广到多分类任务中,对于多分类学习基本思路是将多分类任务拆解成若干个二分类任务。

第三章 线性模型总结_第5张图片

 6.类别不平衡问题

不同类别的训练样例数目差别很大的情况。

再平衡策略:

欠采样:去除一些反例样本,使得正,反例数目接近,代表算法EasyEnsemble;

过采样:增加一些正例,使得正反例数目接近,代表算法SMOTE;

阈值移动:将再缩放嵌入到分类器预测的决策过程中。

你可能感兴趣的:(西瓜书/南瓜书,大数据,机器学习)