【机器学习】K近邻算法；朴素贝叶斯；决策树和随机森林

分类算法-k近邻算法(KNN)

定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

计算距离公式：

两个样本的距离可以通过如下公式计算，又叫欧式距离。比如说，a(a1,a2,a3),b(b1,b2,b3)

基本语法
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')

n_neighbors：int,可选（默认= 5），k_neighbors查询默认使用的邻居数 
algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：

DataFrame.query()
用于缩小范围

具体步骤：
1、数据集的处
2、分割数据集
3、对数据集进行标准化
4、estimator流程进行分类预测

•优点：

•简单，易于理解，易于实现，无需估计参数，无需训练

•缺点：

•懒惰算法，对测试样本分类时的计算量大，内存开销大

•必须指定K值，K值选择不当则分类精度不能保证

使用场景：

小数据场景，几千～几万样本，具体场景具体业务去测试

混淆矩阵