第三章，线性模型笔记

3.1 基本形式

一般形式：
向量形式：
目的：求解确定模型

注意点：

1. nonlinear model 可通过 linear model 引入层次结构 和 高维映射
2. 具有很高的可解释性（comprehensibility）

3.2 线性回归(linear regression)

注意点：
有序属性可转化为连续值
无序属性可转化为k维向量
！！无序属性转为连续值会导致错误

均方误差（square loss）:

优点：非常好的几何意义，Euclidean distance =》 least square method
注意点：和是解

多元线性回归(multivariate linear regression):


对求导若为满秩矩阵（full-rank matrix）或正定矩阵（positive definite matrix）
则

实际情况中满秩矩阵意味着样例数大于变量数
若实际情况中样例数小于变量数，则需要引入正则化项

线性回归的变化：对数线性回归
对于单调可微函数
广义线性模型generalized linear model 其中联系函数（link function）

3.3 对数几率回归(logistic regression)

二分类任务 单位阶跃函数（unit-step function) Heaviside函数
问题：不连续 =》替代函数 surrogate function =》 对数几率函数 logistic function
==>
merit：无需先假设数据分布，近似概率预测，任意阶可导凸函数

3.4 线性判别分析（Linear discriminant analysis) Fisher判别分析

投影法：相似点协方差尽可能小，类中心距离大
令为均值向量和协方差矩阵，两类数据的中心投影在直线上的取值为，如果将所有点都投影到直线上，则两类数据的协方差分别为和，由于直线是一维空间，所以以上都为实数

同类相近，则最小
异类远离，则最大
则最大化目标：最大
类内散度矩阵（within-class scatter matrix)

类间散度矩阵（between-class scatter matrix)

则
即 广义瑞利商（generalized Rayleigh quotient)

当两类数据同先验、满足高斯分布且协方差相等时，LDA可达到最优分类
LDA可适用于多分类问题，LDA是经典的监督降维技术

3.5 多分类学习

notes： 在少数情况中，一些二分类学习方法可以直接推到到多分类学习方法中，比如LDA，在大多数情况中，我们只能基于一些基本策略使用二分类学习器来解决多分类问题。

基本思路：拆解法

1. 一对一策略（One vs. One, OvO）需要个分类器
2. 一对多策略 （One vs. Rest，OvR or OvA） 需要N个分类器，单个分类器为正，如果多个分类器为正，需要考虑预测置信度，选最大的类别标记

OvO的储存开销和测试时间开销比OvR更大，训练时间更少

3. 多对多策略（Many vs. Many，MvM）若干个正类，若干个负类，通常使用纠错输出码（Error Correcting Output Codes, ECOC）==> 二元码，三元码

3.6 类别不平衡问题

通常需要在两个类别数据数量相近的情况中进行训练 ==> class-inbalance
方法：再缩放 rescaling or rebalance

1. 欠采样 undersampling 去除数量多的至平衡 EasyEnsemble 集成学习
2. 过采样 oversampling 增加数量少的至平衡 SMOTE 算法 ->插值
3. 阈值移动 threshold-moving
   ==》 代价敏感学习（cost-sensitive learning）