西瓜书-线性模型

线性模型.png

1.基本形式
1.线性模型：试图学得一个通过属性的线性组合来进行预测函数
2.非线性模型：在线性模型的基础上引入层级结构或高维映射
3.可解释性：w直观表达了各属性在预测中的重要性

2.线性回归
线性回归：试图学得一个线性模型以尽可能准确地预测实值输出标记

image.png

对离散属性，若属性间存在“序”关系，可通过连续化将其转化为连续值；若属性间不存在“序”关系，假定有k个属性值，则通常转化为k维向量。
性能度量：均方误差最小化
均方误差对应了常用的欧几里得距离或简称“欧氏距离”。基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。
多元线性回归：轶矩阵或正定矩阵，归纳偏好决定多个解的选择，常见做法是引入正则化项

image.png

对数线性回归：令模型预测值逼近y的衍生物

image.png

实质上已是在求取输入空间到输出空间的非线性函数映射，对数函数起到了将线性回归模型的预测值与真实标记联系起来的作用
广义线性模型：对数线性回归是广义线性模型在g(.)=ln(.)时的特例

image.png

3.对数几率回归

分类任务：找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来
二分类任务：单位阶跃函数
替代函数：在一定程度上近似单位阶跃函数，单调可微
单调阶跃函数与对数几率函数：

image.png

对数几率：对几率取对数

image.png

image.png

对数几率回归优点：
1.直接对分类可能性建模，无需事先假设数据分布；
2.可得到近似概率；
3.是任意阶可导凸函数便于求取最优解
极大似然法：凸优化理论。
数值优化经典算法：梯度下降法、牛顿法

4.线性判别分析

线性判别分析一种经典的学习方法简称LDA，亦称“Fisher判别分析”
LDA思想：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类尽可能远离。

image.png

LDA最大化的目标:即类内散度矩阵Sw与类间散度矩阵Sb的广义瑞利商
LDA最优分类：两类数据同先验、满足高斯分布、协方差相等
LDA可以推广到多分类任务：矩阵的迹

5.多分类学习
基本思路：拆解法，将多分类任务拆为若干个二分类任务求解
拆分策略：
1.一对一OvO
2.一对其余OvR
3.多对多MvM
OvO和OvR是MvM的特例

image.png

MvM技术：纠错输出码ECOC，将编码思想引入类别拆分并尽可能在解码过程中具有容错性。
编码矩阵：
1.二元码-正类、反类；
2.三元码-正类、反类、停用类

image.png

6.类别不平衡问题
定义：分类任务中不同类别的训练样例数目差别很大的情况
处理方法：再缩放，也称再平衡。是敏感性学习的基础，研究非均等代价下的学习
解决无偏采样的做法：
1.欠采样：去除一些反例使得正反例数目接近再进行学习
2.过采样：增加一些正例使得正反例数目接近再进行学习
3.阈值移动：直接基于原始训练集进行学习