《ESL》第四章 分类的线性回归方法（阅读笔记）

1 导言

1.1 问题一览

仿射集

仿射集、凸集和锥的概念

log-odds

对数几率

线性判别分析和逻辑斯蒂回归

逻辑回归和线性判别分析LDA

1.2 小结

分类的线性方法根据是否建立显性的线性边界可分为两类：

• 间接建立线性边界：逻辑斯蒂回归，LDA
• 直接建立线性边界：感知机，SVM

2 指示矩阵的线性回归

2.1 问题一览

形心

几何中心

▶Figure4.3的理解

2.2 小结

指示矩阵线性回归的操作步骤：

• 进行多重相应的多变量线性回归
• 利用值最大所对应的类进行预测

该方法存在的问题：

• 不一定能很好的近似类别指示变量的条件期望（亦即分到该类的概率）

  如果我们允许在输入的基展开 上做线性回归，则可以导出概率的一致估计。

• 当类别数目过大时，容易引起类别掩盖的问题

3 线性判别分析

3.1 问题一览

LDA究竟是什么？

线性判别分析LDA原理总结

▶LDA的计算

3.2 小结

LDA

• 模型假设（数据符合高斯分布；数据拥有相同的协方差矩阵且类别的先验概率相等）

• 模型特点：类与类之间的边界是线性的

• 算法出发点：后验概率（利用贝叶斯定理展开）$$Pr(G=k|X=x)=\frac{f_k(x){\pi }_k}{{\sum }_{l=1}^k{f}_l(x){\pi }_l}$$，在$f_k(x){\pi }_k$上做文章。

• 判别依据：线性判别函数（出发点：$logPr(G=k|X=x)$和$k$有关的部分）的相对大小

  QDA的判别依据为平方判别函数

• 优点：不易发生类别掩盖，鲁棒性强（即使数）

RDA（正则化判别分析）

• 思路

降维LDA

详见3.1第一个问题

4 逻辑斯蒂回归

4.1 问题一览

最优化方法——牛顿法

• 常见的几种最优化方法（梯度下降法、牛顿法、拟牛顿法、共轭梯度法等）
• 牛顿法与拟牛顿法

阅读笔记

• 用牛顿法迭代求解函数的极小值点（迫使$f^{\prime }(x)$趋于$0$）:$$x^{(k+1)}=x^{(k)}-\frac{f^{\prime }(x^{(k)})}{f^{\prime \prime }(x^{(k)})}$$
  用牛顿法迭代求解方程$g(x)=0$的零点：$$x^{(k+1)}=x^{(k)}-\frac{g(x^{(k)})}{g^{\prime }(x^{(k)})}$$

矩阵求导

通过一个例子快速上手矩阵求导

布局

• 分子布局（Numerator-layout）：分子为列向量，分母为行向量（倒T字形）
• 分母布局（Denominator-layout）：分子为行向量，分母为列向量（T字形）

查表
Wiki-Matrix calculus

4.2 小结

逻辑斯蒂回归模型

• 关注点（类别的后验概率）
• 模型的两种等价描述（相对量描述；绝对量描述）

拟合逻辑斯蒂回归模型