一、数学基础
1)常数e
2)导数
3)梯度
4)Taylor
5)gini系数
6)信息熵与组合数
1)概率论基础
2)古典模型
3)常见概率分布
4)大数定理和中心极限定理
5)协方差(矩阵)和相关系数
6)最大似然估计和最大后验估计
1)线性空间及线性变换
2)矩阵的基本概念练
3)状态转移矩阵
4)特征向量
5)矩阵的相关乘法
6)矩阵的QR分解
7)对称矩阵、正交矩阵、正定矩阵
8)矩阵的SVD分解
9)矩阵的求导
10)数据白化及其应用
二、Python基础
1)变量
2)数据类型
3)列表
4)元组
5)字典
6)控制语句
7)循环语句
8)函数
9)类对象
1)numpy:
用Numpy创建数组并查看其属性Numpy的基本运算Numpy的基本函数索引,切片和迭代形状操作深拷贝广播法则
2)pandas:
Series的创建和基本的操作DataFrame的创建和基本的操作Panel的创建和基本的操作用Pandas常用函数查看和操作数据
3)scipy:
基本可以代替Matlab的工具包,方便、易于使用、专为科学和工程设计的Python工具包.它包括统计,优化,整合,线性代数模块,傅里叶变换,信号和图像处理,常微分方程求解器等
4)matplotlib:
Python中最著名的绘图系统
散点图,折线图,条形图,直方图,饼状图,箱形图的绘制
坐标轴的调整,添加文字注释,区域填充,及特殊图形patches的使用
5)seaborn:
在matplotlib的基础上进行了更高级API的封装,从而使得作图变得更加容易。
6)time
Python 时间模块常用函数
Scikit-Learn
三、机器学习
1)机器学习概述
2)定义问题
1)特征抽取
2)特征转换
3)归一化
1)线性回归
2)Ridge岭回归
3)Lasso回归
4)Elastic Net算法
1)KNN算法原理
2)KNN算法应用
1)sigmoid函数
2)逻辑回归的损失函数
3)逻辑回归的优化
4)逻辑回归的多分类问题
5)Softmax回归多分类
1)批量梯度下降
2)随机梯度下降
3)mini-batch梯度下降
1)牛顿法求函数根
2)牛顿法求解函数最优化问题
3)拟牛顿法—L-BFGS
1)决策树的简介
2)CART、ID-3、C4.5
3)gini系数
4)信息增益
5)信息增益率
6)叶子节点的表达
7)回归树
8)预剪枝和后剪
1)bootstrap
2)随机森林
1)Adaboost算法流程
2)Adaboost算法损失函数优化
1)函数空间梯度下降
2)GBM框架
3)GBDT算法解决回归问题
1)目标函数的建立
2)子树的分裂条件
3) 子树叶子节点的表达
4)与传统GBDT的比较
1)线性可分支持向量机
2)软间隔支持向量机
3)核函数方法
4)SMO算法
5)SVM回归SVR和分类SVC
1)各种相似度距离测度方法
2)K-Means算法
3)K-Means算法优缺点
4)密度聚类
5)层级聚类
6)谱聚类
1) 方差最大化投影
2) 矩阵的特征值与特征向量
3) PCA降维
1) LDA投影标准
2) LDA降维算法
1) 基于空间距离保持的方法
2) MDS算法原理
1) 近似测地距离的计算
2) 最短路径距离算法
3) ISO-map算法原理
1) 数据点的局部线性关系
2) LLE算法原理
1) 方阵的特征值分解
2) 矩阵的奇异值分解
3) 左右奇异向量
4) 推荐系统应用
1) 矩阵分解的另一种方式
2) 评估近似矩阵的方法
3) ALS矩阵分解
1) FM模型介绍
2) FM算法详解
1)朴素贝叶斯
2)文本分类上的应用
1) 有向概率图模型
2) 生成模型
3) 贝叶斯网络联合分布的表达
4) 贝叶斯网络性质
1)隐马可夫模型的基本概念
2)概率计算问题
3)前向/后向算法
4)维特比算法
1) 随机变量的熵、联合熵、相对熵、互信息
2) 最大熵原理
3)最大熵模型的学习
4)最大似然估计
5)模型学习的最优化算法
1) 前向传播
2) 反向传播
3) 激活函数
4) 梯度弥散/消失
5) 参数初始化
6) 多层感知机
四、深度学习
1)TensorFlow框架特性与安装
2)Tensorflow编程基础
Tensorflow深度神经网络实现
1)Tensorflow卷积神经网络实现
2)Tensorflow实现经典AlexNet模型
3)Tensorflow实现经典VGG模型
1) BasicRNNCell
2) GRU单元
3) LSTM单元
1) Tensorflow 自编码网络实现
1) 深度卷积生成网络DCGAN
1)Tensorflow源代码解析
2)Tensorboard可视化
1) CBOW模式
2) Skip-Gram模式
3) Tensorflow实现Word2Vec词向量算法
1)Keras简介及Keras中的数据处理
2)Keras中的模型
3)Keras中的重要对象
4)Keras中的网络层构造