李航《统计学习方法》第二版 目录

李航博士告诉机器之心，《统计学习方法》第二版新加了无监督学习方面的内容，并对第一版的监督学习方法做了一些修改。总体而言，第二版可以分为监督学习和无监督学习两篇。从这两大块出发，基本上传统机器学习的主要概念就能一步步掌握了。

具体而言，第一篇介绍了感知机、朴素贝叶斯法、决策树、支持向量机、提升方法、EM 算法、隐马尔可夫模型和条件随机场等算法，它们都是非常经典的监督学习方法。第二篇主要讨论了聚类方法、奇异值分解、主成分分析、潜在语义分析、马尔可夫链蒙特卡罗法和潜在狄利克雷分配等算法，它们都是非常经典的无监督学习方法。

除有关统计学习、监督学习和无监督学习的概论和总结的四章外，每章介绍一种方法。叙述力求从具体问题或实例入手，由浅入深，阐明思路，给出必要的数学推导，便于读者掌握统计学习方法的实质，学会运用。

第一篇监督学习

• 第 1 章统计学习及监督学习概论
• 第 2 章感知机
• 第 3 章近邻法
• 第 4 章朴素贝叶斯法
• 第 5 章决策树
• 第 6 章逻辑斯谛回归与最大熵模型
• 第 7 章支持向量机
• 第 8 章提升方法
• 第 9 章 EM 算法及其推广
• 第 10 章隐马尔可夫模型
• 第 11 章条件随机场
• 第 12 章监督学习方法总结

第二篇无监督学习

第 13 章无监督学习概论

• 13.1.1 无监督学习基本原理
• 13.1.2 基本问题
• 13.1.3 机器学习三要素
• 13.1.4 无监督学习方法

第 14 章聚类方法

• 14.1 聚类的基本概念
• 14.1.1 相似度或距离
• 14.1.2 类或簇
• 14.1.3 类与类之间的距离
• 14.2 层次聚类
• 14.3 k 均值聚类
• 14.3.1 模型
• 14.3.2 策略
• 14.3.3 算法
• 14.3.4 算法特点
• 本章概要
• 继续阅读
• 习题
• 参考文献

第 15 章奇异值分解

• 15.1 奇异值分解的定义与性质
• 15.1.1 定义与定理
• 15.1.2 紧奇异值分解与截断奇异值分解
• 15.1.3 几何解释
• 15.1.4 主要性质
• 15.2 奇异值分解的计算
• 15.3 奇异值分解与矩阵近似
• 15.3.1 弗罗贝尼乌斯范数
• 15.3.2 矩阵的优近似
• 15.3.3 矩阵的外积展开式
• 本章概要
• 继续阅读
• 习题
• 参考文献

第 16 章主成分分析

• 16.1 总体主成分分析
• 16.1.1 基本想法
• 16.1.2 定义和导出
• 16.1.3 主要性质
• 16.1.4 主成分的个数
• 16.1.5 规范化变量的总体主成分
• 16.2 样本主成分分析
• 16.2.1 样本主成分的定义和性质
• 16.2.2 相关矩阵的特征值分解算法
• 16.2.3 数据局正的奇异值分解算法
• 本章概要
• 继续阅读
• 习题
• 参考文献

第 17 章潜在语义分析

• 17.1 单词向量空间与话题向量空间
• 17.1.1 单词向量空间
• 17.1.2 话题向量空间
• 17.2 潜在语义分析算法
• 17.2.1 矩阵奇异值分解算法
• 17.2.2 例子
• 17.3 非负矩阵分解算法
• 17.3.1 非负矩阵分解
• 17.3.2 潜在语义分析模型
• 17.3.3 非负矩阵分解的形式化
• 17.3.4 算法
• 本章概要
• 继续阅读
• 习题
• 参考文献

第 18 章概率潜在语义分析

• 18.1 概率潜在语义分析模型
• 18.1.1 基本想法
• 18.1.2 生成模型
• 18.1.3 共现模型
• 18.1.4 模型性质
• 18.2 概率潜在语义分析的算法
• 本章概要
• 继续阅读
• 习题
• 参考文献

第 19 章马尔可夫链蒙特卡罗法

• 19.1 蒙特卡罗法
• 19.1.1 随机抽样
• 19.1.2 数学期望估计
• 19.1.3 积分计算
• 19.2 马尔可夫链
• 19.2.1 基本定义
• 19.2.2 离散状态马尔可夫链
• 19.2.3 连续状态马尔可夫链
• 19.2.4 马尔可夫链的性质
• 19.3 马尔可夫链蒙特卡罗法
• 19.3.1 基本想法
• 19.3.2 基本步骤
• 19.3.3 马尔可夫链蒙特卡罗法与统计学习
• 19.4 Metropolis-Hastings 算法
• 19.4.1 基本原理
• 19.4.2 Metropolis-Hastings 算法
• 19.4.3 单分量 Metropolis-Hastings 算法
• 19.5 吉布斯抽样
• 19.5.1 基本原理
• 19.5.2 吉布斯抽样算法
• 19.5.3 抽样计算
• 本章概要
• 继续阅读
• 习题
• 参考文献

第 20 章潜在狄利克雷分配

• 20.1 狄利克雷分布
• 20.1.1 分布定义
• 20.1.2 共轭先验
• 20.2 潜在狄利克雷分配模型
• 20.2.1 基本想法
• 20.2.2 模型定义
• 20.2.3 概率图模型
• 20.2.4 随机变量序列的可交换性
• 20.2.5 概率公式
• 20.3 LDA 的吉布斯抽样算法
• 20.3.1 基本想法
• 20.3.2 算法的主要部分
• 20.3.3 算法的后处理
• 20.3.4 算法
• 20.4 LDA 的变分 EM 算法
• 20.4.1 变分推理
• 20.4.2 变分 EM 算法
• 20.4.3 算法推导
• 20.4.4 算法总结
• 本章概要
• 继续阅读
• 习题
• 参考文献

第 21 章 PageRank 算法

• 21.1 PageRank 的定义
• 21.1.1 基本想法
• 21.1.2 有向图和随机游走模型
• 21.1.3 PageRank 的基本定义
• 21.1.4 PageRank 的一般定义
• 21.2 PageRank 的计算
• 21.2.1 迭代算法
• 21.2.2 幂法
• 21.3.3 代数算法
• 本章概要
• 继续阅读
• 习题
• 参考文献

第 22 章无监督学习方法总结

• 22.1 无监督学习方法的关系和特点
• 22.1.1 各种方法之间的关系
• 22.1.2 无监督学习方法
• 22.1.3 基础及其学习方法
• 22.2 话题模型之间的关系和特点
• 参考文献

附录 A 梯度下降法

附录 B 牛顿法和拟牛顿法

附录 C 拉格朗日对偶性

附录 D 矩阵的基本子空间

附录 E KL 散度的定义和狄利克雷分布的性质

索引