吃瓜教程2|线性模型

线性回归

吃瓜教程2|线性模型_第1张图片

吃瓜教程2|线性模型_第2张图片

“广义的线性模型”(generalized linear model),其中,g(*)称为联系函数(link function)。

线性几率回归(逻辑回归)

吃瓜教程2|线性模型_第3张图片

吃瓜教程2|线性模型_第4张图片

线性判别分析

想让同类样本点的投影点尽可能接近,不同类样本点投影之间尽可能远,即:让各类的协方差之和尽可能小,不用类之间中心的距离尽可能大。基于这样的考虑,LDA定义了两个散度矩阵。

  • 类内散度矩阵(within-class scatter matrix)

吃瓜教程2|线性模型_第5张图片

  • 类间散度矩阵(between-class scaltter matrix)

Image Name

因此得到了LDA的最大化目标:“广义瑞利商”(generalized Rayleigh quotient)。

Image Name

从而分类问题转化为最优化求解w的问题,当求解出w后,对新的样本进行分类时,只需将该样本点投影到这条直线上,根据与各个类别的中心值进行比较,从而判定出新样本与哪个类别距离最近。求解w的方法如下所示,使用的方法为λ乘子。

吃瓜教程2|线性模型_第6张图片


若将w看做一个投影矩阵,类似PCA的思想,则LDA可将样本投影到N-1维空间(N为类簇数),投影的过程使用了类别信息(标记信息),因此LDA也常被视为一种经典的监督降维技术。

 类别不平衡问题

类别不平衡(class-imbanlance)就是指分类问题中不同类别的训练样本相差悬殊的情况,例如正例有900个,而反例只有100个,这个时候我们就需要进行相应的处理来平衡这个问题。常见的做法有三种:

  1. 在训练样本较多的类别中进行“欠采样”(undersampling),比如从正例中采出100个,常见的算法有:EasyEnsemble。
  2. 在训练样本较少的类别中进行“过采样”(oversampling),例如通过对反例中的数据进行插值,来产生额外的反例,常见的算法有SMOTE。
  3. 直接基于原数据集进行学习,对预测值进行“再缩放”处理。其中再缩放也是代价敏感学习的基础。

你可能感兴趣的:(机器学习)