6. 分类算法-k近邻算法（KNN）

分类算法-k近邻算法（KNN）

你的“邻居”来推断出你的类别
定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

计算距离公式

两个样本的距离可以通过如下公式计算，又叫欧式距离
比如说，a(a1,a2,a3),b(b1,b2,b3)

WechatIMG49.png

sklearn k-近邻算法api

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=‘auto’)
n_neighbors：int,可选（默认= 5），k_neighbors查询默认使用的邻居数
algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：‘ball_tree’将会使用 BallTree，‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)
k值取很小：容易受异常点影响
k值取很大：容易受最近数据太多导致比例变化

优缺点

• 优点：
  简单，易于理解，易于实现，无需估计参数，无需训练
• 缺点：
  懒惰算法，对测试样本分类时的计算量大，内存开销大
  必须指定K值，K值选择不当则分类精度不能保证
  使用场景：小数据场景，几千～几万样本，具体场景具体业务去测试

分类模型的评估

estimator.score()
一般最常见使用的是准确率，即预测结果正确的百分比

混淆矩阵

在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)

精确率(Precision)与召回率(Recall)

精确率：预测结果为正例样本中真实为正例的比例（查得准）
召回率：真实为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）

分类算法-k近邻算法（KNN）

你的“邻居”来推断出你的类别
定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
计算距离公式
两个样本的距离可以通过如下公式计算，又叫欧式距离
比如说，a(a1,a2,a3),b(b1,b2,b3)

sklearn k-近邻算法api

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=‘auto’)
n_neighbors：int,可选（默认= 5），k_neighbors查询默认使用的邻居数
algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：‘ball_tree’将会使用 BallTree，‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)
k值取很小：容易受异常点影响
k值取很大：容易受最近数据太多导致比例变化

优缺点

• 优点：
  简单，易于理解，易于实现，无需估计参数，无需训练
• 缺点：
  懒惰算法，对测试样本分类时的计算量大，内存开销大
  必须指定K值，K值选择不当则分类精度不能保证
  使用场景：小数据场景，几千～几万样本，具体场景具体业务去测试

分类模型的评估

estimator.score()
一般最常见使用的是准确率，即预测结果正确的百分比

混淆矩阵

在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)

WechatIMG50.png

精确率(Precision)与召回率(Recall)

精确率：预测结果为正例样本中真实为正例的比例（查得准）

WechatIMG51.png

召回率：真实为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）

WechatIMG52.png

分类模型评估API

sklearn.metrics.classification_report
sklearn.metrics.classification_report(y_true, y_pred, target_names=None)
y_true：真实目标值
y_pred：估计器预测目标值
target_names：目标类别名称
return：每个类别精确率与召回率