自学数据分析提纲

升级版IV的内容变化：

1.  拒绝简单的“调包”——增加3次“机器学习的角度看数学”和3次“Python数据清洗和特征提取”，提升学习深度、降低学习坡度。

2.  增加网络爬虫的原理和编写，从获取数据开始，重视将实践问题转换成实际模型的能力，分享工作中的实际案例或Kaggle案例：广告销量分析、环境数据异常检测和分析、数字图像手写体识别、Titanic乘客存活率预测、用户-电影推荐、真实新闻组数据主题分析、中文分词、股票数据特征分析等。

3.  强化矩阵运算、概率论、数理统计的知识运用，掌握机器学习根本。

4.  阐述机器学习原理，提供配套源码和数据；确保“懂推导，会实现”。

5.  删去过于晦涩的公式推导，代之以直观解释，增强感性理解。

6.  重视项目实践(如工业实践、Kaggle等)，重视落地。

7.  对比不同的特征选择带来的预测效果差异。

8.  思考不同算法之间的区别和联系，提高在实际工作中选择算法的能力。

9.  涉及和讲解的部分Python库有：Numpy/Scipy/matplotlib/Pandas/scikit-learn/XGBoost/libSVM/LDA/Gensim/NLTK/HMMLearn，涉及的其他“小”库在课程的实践环节会逐一讲解。

10.  每个算法模块按照“原理讲解->自己动手实现->使用已有机器学习库”的顺序，切实做到“顶天立地”。

课程大纲

1、机器学习的数学基础1 - 数学分析

机器学习的一般方法和横向比较

数学是有用的：以SVD为例

机器学习的角度看数学

复习数学分析

直观解释常数e

导数/梯度

随机梯度下降

Taylor展式的落地应用

gini系数

凸函数

Jensen不等式

组合数与信息熵的关系

2、机器学习的数学基础2 - 概率论与贝叶斯先验

概率论基础

古典概型

贝叶斯公式

先验分布/后验分布/共轭分布

常见概率分布

泊松分布和指数分布的物理意义

协方差(矩阵)和相关系数

独立和不相关

大数定律和中心极限定理的实践意义

深刻理解最大似然估计MLE和最大后验估计MAP

过拟合的数学原理与解决方案

3、机器学习的数学基础3 - 矩阵和线性代数

线性代数在数学科学中的地位

马尔科夫模型

矩阵乘法的直观表达

状态转移矩阵

矩阵和向量组

特征向量的思考和实践计算

QR分解

对称阵、正交阵、正定阵

数据白化及其应用

向量对向量求导

标量对向量求导

标量对矩阵求导

3、机器学习的数学基础3 - 数理统计与参数估计

统计量

期望/方差/偏度/峰度

中心矩/原点矩

矩估计

深刻理解最大似然估计

过拟合的数学原理与解决方案

最大后验估计MAP

偏差方差二难

4、Python基础1 - Python及其数学库

解释器Python2.7与IDE：Anaconda/Pycharm

Python基础：列表/元组/字典/类/文件

Taylor展式的代码实现

numpy/scipy/matplotlib/panda的介绍和典型使用

多元高斯分布

泊松分布、幂律分布

典型图像处理

5、Python基础2 - 机器学习库

scikit-learn的介绍和典型使用

损失函数的绘制

多种数学曲线

多项式拟合

快速傅里叶变换FFT

奇异值分解SVD

Soble/Prewitt/Laplacian算子与卷积网络

卷积与(指数)移动平均线

股票数据分析

6、Python基础3 - 数据清洗和特征选择

实际生产问题中算法和特征的关系

股票数据的特征提取和应用

一致性检验

缺失数据的处理

环境数据异常检测和分析

模糊数据查询和数据校正方法、算法、应用

7、回归

线性回归

Logistic/Softmax回归

广义线性回归

L1/L2正则化

Ridge与LASSO

Elastic Net

梯度下降算法：BGD与SGD

特征选择与过拟合

Softmax回归的概念源头

最大熵模型

K-L散度

8、回归实践

机器学习sklearn库介绍

回归代码实现和调参

Ridge回归/LASSO/Elastic Net

Logistic/Softmax回归

广告投入与销售额回归分析

鸢尾花数据集的分类

回归代码实现和调参

交叉验证

数据可视化

9、决策树和随机森林

熵、联合熵、条件熵、KL散度、互信息

最大似然估计与最大熵模型

ID3、C4.5、CART详解

决策树的正则化

预剪枝和后剪枝

Bagging

随机森林

不平衡数据集的处理

利用随机森林做特征选择

使用随机森林计算样本相似度

10、随机森林实践

随机森林与特征选择

决策树应用于回归

多标记的决策树回归

决策树和随机森林的可视化

葡萄酒数据集的决策树/随机森林分类

11、提升

提升为什么有效

Adaboost算法

加法模型与指数损失

梯度提升决策树GBDT

XGBoost算法详解

12、XGBoost实践

自己动手实现GBDT

XGBoost库介绍

Taylor展式与学习算法

KAGGLE简介

泰坦尼克乘客存活率估计

13、SVM

线性可分支持向量机

软间隔的改进

损失函数的理解

核函数的原理和选择

SMO算法

支持向量回归SVR

14、SVM实践

libSVM代码库介绍

原始数据和特征提取

调用开源库函数完成SVM

葡萄酒数据分类

数字图像的手写体识别

SVR用于时间序列曲线预测

SVM、Logistic回归、随机森林三者的横向比较

15、聚类

各种相似度度量及其相互关系

Jaccard相似度和准确率、召回率

Pearson相关系数与余弦相似度

K-means与K-Medoids及变种

AP算法(Sci07)/LPA算法及其应用

密度聚类DBSCAN/DensityPeak(Sci14)

谱聚类SC

聚类评价和结果指标

16、聚类实践

K-Means++算法原理和实现

向量量化VQ及图像近似

并查集的实践应用

密度聚类的代码实现

谱聚类用于图片分割

17、EM算法

最大似然估计

Jensen不等式

朴素理解EM算法

精确推导EM算法

EM算法的深入理解

混合高斯分布

主题模型pLSA

18、EM算法实践

多元高斯分布的EM实现

分类结果的数据可视化

EM与聚类的比较

Dirichlet过程EM

三维及等高线等图件的绘制

主题模型pLSA与EM算法

19、贝叶斯网络

朴素贝叶斯

贝叶斯网络的表达

条件概率表参数个数分析

马尔科夫模型

D-separation

条件独立的三种类型

Markov Blanket

混合(离散+连续)网络：线性高斯模型

Chow-Liu算法：最大权生成树MSWT

20、朴素贝叶斯实践

GaussianNB

MultinomialNB

BernoulliNB

朴素贝叶斯用于鸢尾花数据

朴素贝叶斯用于18000+篇新闻文本的分类

21、主题模型LDA

贝叶斯学派的模型认识

共轭先验分布

Dirichlet分布

Laplace平滑

Gibbs采样详解

22、LDA实践

网络爬虫的原理和代码实现

停止词和高频词

动手自己实现LDA

LDA开源包的使用和过程分析

Metropolis-Hastings算法

MCMC

LDA与word2vec的比较

23、隐马尔科夫模型HMM

概率计算问题

前向/后向算法

HMM的参数学习

Baum-Welch算法详解

Viterbi算法详解

隐马尔科夫模型的应用优劣比较

24、HMM实践

动手自己实现HMM用于中文分词

多个语言分词开源包的使用和过程分析

文件数据格式UFT-8、Unicode

停止词和标点符号对分词的影响

前向后向算法计算概率溢出的解决方案

发现新词和分词效果分析

高斯混合模型HMM

GMM-HMM用于股票数据特征提取