机器学习 西瓜书 Day03 线性模型

p53-72

第三章 线性模型

3.1 基本形式 p33

3.2 线性回归

3.3 对数几率回归

为了解决分类问题。引入一个单调可微函数，将分类任务的真实标记y与线性回归模型的预测值联系起来。

常用对数几率函数。

3.4 线性判别分析

简称LDA
经典的线性学习方法

找到一条直线，使同类样例的投影点尽可能接近。

最大化J （p61）
如何确定w：式3.39

3.5 多分类学习

基本思路：拆解法，将多分类问题拆为若干个二分类任务求解。

拆分策略：1v1,1vR(rest),M(many)vM(many)
1v1 ：分成C(2,n)个任务，最终结果由投票决定。

1vR：每次将一类作为正例，其他作为负例。执行n次。
最终若只有一个正例，则就是他。
若多个正例，则选置信度大的。

MvM：若干个类作为正，若干个作为负。
咋选？纠错输出码技术：p65
构造coding matrix。最终计算距离。

3.6 类别不平衡问题

令y为预测值，越靠近1越正例

决策规则： y/(1-y) > 1：预测为正例。

改进规则：y/(1-y) > m+ / m- ：预测正例，其中m+为正例个数

即令y'/(1-y') = y/(1-y) x (m- / m+) >1 预测为正例
即 "再缩放”策略