一起啃西瓜书

        以前都没有好好把机器学习的这些书看完，现在闲下来刚好整理一下，水平有限，内容压缩较少，下次再努努力。

一起啃西瓜书（一）：绪论

• • 基本术语；

  • 假设空间；

  • 归纳偏好；

一起啃西瓜书（二）：模型评估与选择

• • 经验误差和过拟合：错误率，精度，误差；

  • 评估方法：留出法，交叉验证法，自助法，调参与最终模型；

  • 性能优度：均方误差，错误率和精度，查准率、查全率、F1，混淆矩阵，PR曲线，ROC和AUC，代价敏感错误率和代价曲线；

  • 偏差和方差：偏差，方差，噪声，偏差方差分解，偏差方差窘境；

一起啃西瓜书（三）：线性模型

• • 基本形式；

  • 线性回归：一元线性回归，多元线性回归，广义线性回归；

  • 逻辑回归：基本形式，优点，求解；

  • 线性判别分析LDA；

  • 多分类学习：一对一，一对多，多对多；

  • 类别不平衡问题：再缩放，欠采样，过采样，阈值移动；

一起啃西瓜书（四）：决策树

• • 基本流程；

  • 划分选择：信息增益gain，信息增益率 gain ratio，gini指数；

  • 剪枝：预剪枝，后剪枝；

  • 连续和缺失值：连续值处理，缺失值处理；

  • 多变量决策树；

一起啃西瓜书（五）：神经网络

• • 神经元模型：M-P神经元模型；

  • 感知机与多层网络；

  • 误差逆向传播算法；

  • 全局最小和局部最小；

  • 其他常见神经网络：BRF网络，ART网络，SOM网络，级联相关网络，Elman网络，Boltzmann机；

  • 深度学习；

一起啃西瓜书（六）：支持向量机

• • 间隔和支持向量；

  • 核函数；

  • 软间隔与正则化；

  • 支持向量回归；

一起啃西瓜书（七）：贝叶斯分类器

• • 贝叶斯决策论；

  • 极大似然估计；

  • 朴素贝叶斯分类器：贝叶斯公式。朴素贝叶斯，拉普拉斯修正；

  • 半朴素贝叶斯分类器：半朴素贝叶斯分类器，独依赖估计，SPODE，TAN；

  • 贝叶斯网；

  • EM算法；

一起啃西瓜书（八）：集成学习

• • 个体与集成：集成学习，一般结构，同质集成，异质集成；

  • Boosting：基本原理，Adaboost；

  • Bagging和随机森林：自助采样法，Bagging基本流程，最终输出，随机森林；

  • 结合策略：平均法，投票法，学习法；

  • 多样性：误差-分歧 分解，多样性度量，多样性增强；

一起啃西瓜书（九）：聚类

• • 聚类任务：无监督学习，聚类；

  • 性能度量：相似度，外部指标，内部指标；

  • 距离计算：闵可夫斯基距离，VDM，加权距离；

  • 原型聚类：k-means算法，学习向量量化，高斯混合聚类；

  • 密度聚类：DBSCSN；

  • 层次聚类：AGENS聚类；

一起啃西瓜书（十）：降维和度量学习

• • K近邻学习；

  • 低维嵌入；

  • 主成分分析；

  • 核化线性降维；

  • 流形学习；

一起啃西瓜书（十一）：特征选择和稀疏学习

• • 子集搜索与评价：子集搜索，子集评价；

  • 过滤式选择；包裹式选择；

  • 嵌入式选择与正则化：嵌入式选择，L1正则化；

  • 稀疏表示与字典学习；

一起啃西瓜书（十二）：计算学习理论

• • 基础知识；

  • PAC概率近似正确学习：概率近似正确，PAC辨识，PAC可学习，PAC算法，样本复杂度；

  • 有限假设空间：可分情形，不可分情形；

  • VC维：增长函数，对分与打散，VC维；

  • 稳定性：训练集的两种变化，损失估计，均匀稳定性，泛化误差界；

一起啃西瓜书（十四）：概率图模型

• • 隐马尔可夫模型：概率模型，推断，概率图模型，隐马尔可夫模型；

  • 马尔可夫随机场；

  • 条件随机场；

  • 学习与推断：变量消去，信念传播；

  • 近似推断：MCMC采样，变分推断；

  • 话题模型：话题模型，词，文档，话题；

一起啃西瓜书（十五）：规则学习

• • 基本概念：规则，规则学习，规则学习优势，规则基本概念；

  • 序贯覆盖；

  • 剪枝优化：减错剪枝，RIPPER算法；

  • 一阶规则学习；

  • 归纳逻辑程序设计；

一起啃西瓜书（十六）：强化学习

• • 任务与奖励；

  • K-摇臂赌博机：探索与利用，贪心，Softmax；