前面的几篇都是无监督学习，接着开始监督学习的算法

监督学习中主要的算法模型：

K—近邻算法（k-Nearest Neighbor）

决策树（Decision Tree）

朴素贝叶斯（Naive Bayes）

逻辑回归（Logistic Regression）

1. 近邻算法

K-近邻算法里的K，是人为设定的一个值，图中的K就是3，那么被框住的三个同学就都算小曹的“邻居”。有句老话说得好啊，人以类聚，物以群分，小曹的体重肯定和周围的人差不多，我们就取三个人的平均值110kg作为小曹的体重，不是邻居的同学们就不考虑了。这是近邻算法的回归模型。

好了，如果是近邻算法的分类模型呢？

应该不用我说了吧，小曹的三个邻居都胖，所以小曹也肯定胖。

这就是K-近邻算法的核心思想，由K确定“近邻”的范围，由近邻的数值和属性得出特定未知变量的数值和属性。

当然了，这个模型是简化之后的，在实际处理的时候，数据的分布都是经过了处理，按一定规则在某个特征空间规律分布的（不是我这样乱画的），只有这样“近邻”才有意义。

特别的，当K值过大的是时候会欠拟合（underfitting），K值过小的时候会过拟合（overfitting）。欠拟合和过拟合在后文解释，想深入了解算法可以在文末查看参考资料。

决策树，就是N个“if”和“then”搭配组成的集合，通过多次决策返回某一特征/类别，以结果的高纯度为目标。决策树只要了解几个名词（熵、信息增益、信息增益率），一个模型（特征选择、生成决策树、剪枝）和三个算法（ID3、C4.5、CART）。

朴素贝叶斯（Naive Bayes）中的“朴素”，表示所有特征变量间相互独立，不会影响彼此。主要思想就是：如果有一个需要分类的数据，它有一些特征，我们看看这些特征最多地出现在哪些类别中，哪个类别相应特征出现得最多，就把它放到哪个类别里。基本原理还是来自贝叶斯定理。

比如说：我们要判断一个长得像胶囊（特征1），通体黄色（特征2），穿着背带裤（特征3），有点智障（特征4）的东西属于什么类别，我们经过遍历（把所有类别和类别包含的所有特征看一遍），发现小黄人（某个类别）出现这些特征的频率很高，那我们得出一个结论，他们是小黄人。

但是朴素贝叶斯方法对特征的划分很敏感，比如说：如果我们没有“长得像胶囊”这一项特征，那它就可能是很多东西了…

我们知道，线性回归就是根据已知数据集求一线性函数，使其尽可能拟合数据，让损失函数最小，常用的线性回归最优法有最小二乘法和梯度下降法。而逻辑回归是一种非线性回归模型，相比于线性回归，它多了一个sigmoid函数（或称为Logistic函数）。逻辑回归是一种分类算法，主要用于二分类问题。

和上次一样，今天只是整个算法的介绍，明天开始继续整个代码的实现