机器学习基础

自己总结的机器学习基础算法，和相应的python代码实现，直接上传word和python代码

机器学习算法基础及Python实现

目录

一 机器学习概述... 4

1.1 统计学习... 4

1.2 监督学习... 4

1.3 模型评估与选择... 4

1.4 模型的泛化能力... 5

二 预测算法... 5

1 一元线性回归... 5

1.1 为什么用回归... 5

1.2 一元线性回归模型... 5

2 最优化方法-梯度下降法... 7

3 基函数... 10

3.1 多项式回归... 10

3.2 回归模型中的基函数... 13

4 欠拟合与过拟合... 13

4.1 欠拟合... 13

4.2 过拟合... 13

5 多元线性回归... 15

6 应用实例-. 18

三 分类算法... 18

1 线性分类器-感知器... 18

1.1 感知器... 18

1.2 感知器的学习策略... 18

1.3 优化损失函数... 19

1.4 代码实现... 19

2 线性分类器-逻辑回归... 20

2.1 逻辑回归分布... 21

2.2 二项逻辑回归... 21

2.3 参数估计... 21

2.4 基函数... 22

2.5 过拟合（正则化）... 22

2.6 参数的矩阵表示... 22

2.7 代码实现... 22

3 贝叶斯分类器... 24

3.1 贝叶斯公式... 24

3.2 高斯贝叶斯分类器... 24

3.2.1 理论简介... 24

3.2.2 代码实现... 25

3.3 多项式贝叶斯分类器... 25

3.3.1、构造数据集信息... 26

3.3.2、计算特征（单词）概率... 26

3.3.3、计算整篇文档的频率... 27

3.3.4、贝叶斯公式... 27

3.3.5、选择分类... 28

3.3.6、费舍尔方法... 28

3.3.7、增量式训练... 28

4 总结... 29

5 应用实例-主动客服... 29

四 聚类算法... 29

1 Kmeans. 29

2 谱聚类... 32

3 应用实例-网格化配送... 34

五 降维算法... 34

1 主成分分析（PCA）... 34

1.1 主成分应用... 34

1.2 一个例子... 35

1.2.1 求主成分和主成分得分... 35

1.2.2 确定分析精度... 37

1.2.3 分析结果... 37

1.2.4 程序解析... 38

2 隐性语意分析（LSA）... 38

2.1 基于LSA的文本摘要算法... 38

2.2 文本降维... 40

3 应用实例-文本聚类... 41

六 模型选择... 41

1 模型选择方法... 41

2 交叉验证... 41

2.1 计算交叉验证指标.... 42

2.2 数据集分割方法... 42

2.2.1 K折法.... 42

2.2.2 留一验证法（LOO）.... 42

2.2.3 留P个样本验证（LPO）.... 42

3 模型性能的评价准则... 42

3.1 混淆矩阵... 42

3.2 准确率、召回率、F-得分... 43

七 推荐算法... 44

7.1、推荐系统概述... 44

7.2、推荐系统类型... 44

7.3、推荐系统的组成... 44

7.4、基于协同过滤的推荐... 45

7.4.1 什么是协同过滤... 45

7.4.2 协同过滤的核心... 45

7.4.3 协同过滤算法... 45

4.3.1 基于用户的协同过滤推荐... 45

4.3.2 基于项目的协同过滤推荐算法... 46

7.5 推荐算法评价... 47

7.5.1 训练数据和得分... 47

7.5.2 准确率和召回率... 48

八 技术前沿... 50

1 深度学习... 50

2 流形学习... 50

3 知识图谱... 50

4 推荐阅读... 50