the Outline of Machine Learning
第1课 数学分析与概率论
Taylor展式及其应用、凸函数、Jensen不等式、常见分布与共轭分布
第2课 数理统计与参数估计
Chebyshev不等式、大数定理、中心极限定理、矩估计、最大似然估计
第3课 矩阵和线性代数
从马尔科夫模型看矩阵、特征向量、对称矩阵、线性方程
第4课 凸优化
凸函数、共轭函数、凸优化、Lagrange对偶函数
第5课 回归
高斯分布、Logistic回归、梯度下降、特征选择与过拟合
应用方向：线性回归、Logistic回归实现和分析
第6课 梯度下降与拟牛顿法
梯度下降算法、自适应学习率、拟牛顿、LBFGS
应用方向：自适应学习率代码实现和参数调试分析
第7课 最大熵模型
熵、相对熵、信息增益、最大熵模型、Softmax回归
应用方向：独立成分分析ICA求解盲源分离BSS问题
第8课 决策树和随机森林
ID3、C4.5、CART、Bagging
应用方向：使用随机森林进行数据分类
第9课 SVM
线性可分支持向量机、软间隔、核函数、SMO
应用方向: 使用SVM进行数据分类
第10课 聚类
K-means/K-Medoids、密度聚类、谱聚类
应用方向：K-means、谱聚类代码实现和参数调试分析
第11课 推荐系统
相似度度量方案、协同过滤(User-based/Item-based)、PCA/SVD、随机游走
应用方向：协同过滤用于商品推荐、SVD隐变量的推荐
第12课 提升
梯度提升决策树GBDT、Adaboost、前向分步算法
应用方向：Adaboost与随机森林结合，用于数据分类
第13课 EM算法和GMM
EM算法、GMM、主题模型pLSA
应用方向：分解部分观测数据的男女身高、图像分解
第14课 朴素贝叶斯和贝叶斯网络初步
有向分离、(隐)马尔科夫模型HMM
第15课 主题模型
用EM算法计算pLSA、Dirichlet分布、LDA、Gibbs采样
应用方向：使用Gibbs采样计算给定语料的主题
第16课 采样
MCMC(Markov chain Monte Carlo)、Metropolis-Hastings算法、Gibbs采样
第17课 变分
KL(p||q)与KL(q||p)分析、平均场理论
第18课 隐马尔科夫模型HMM
概率计算问题、HMM参数学习问题、状态预测问题
应用方向：使用HMM进行中文分词
第19课 条件随机场CRF
无向图模型、MRF、前向-后向算法
第20课 深度学习
全连接网络、链式法则与BP算法、卷积网络
应用方向：使用BP网络对样本分类