Scikit-learn_分类算法_k-近邻算法

通过训练已知分类的数据集，从中可以发现分类规则，并以此预测新数据的所属类别，这被称为分类算法

一.描述

• 对于待分类的样本，从训练集中找出k个和它距离最近的样本，考察这些样本中哪一个标签最多，就给-待分类样本贴上改标签。
• k值的最佳选择高度依赖数据，通常较大的k值会抑制噪声的影响，但同时也会使分类界限不明显。通常k值是不大于20的整数。

二.用法和参数

neighbors提供了两种不同的最近邻分类器：

• 一种是基于待分类样本点的k个最近邻实现，其中k是用户指定的整数值
• 另一种是基于待分类样本点的固定半径r内的邻居数量实现，其中r是用户指定的浮点数值

三.实例

• 查看鸢尾花数据集中的样本集合分类标签集

  from sklearn.datasets import load_iris
  # 获取鸢尾花数据集
  iris = load_iris()
  # 150个样本，每个样本4项特征：花萼的长度和宽度，花瓣的长度和宽度
  iris.data.shape
  # 鸢尾花3个品种的名字
  iris.target_names
  # 150个样本的分类标签编号， 0、1、2分别对应3个品种
  iris.target
  

• 使用10%的样本作为测试集对鸢尾花进行分类，模型精度在93%左右

  # 获取鸢尾花数据集，返回样本集和标签集
  X, y = load_iris(return_X_y=True)
  # 拆分
  x_train, X_test, y_train, y_test = tsplit(X, y, test_size=0.1)
  # 实例化模型。n_neighbors参数指定k值，默认k=5
  m = KNeighborsClassifier()
  # 模型训练
  m.fit(x_tarin, y_train)
  # 模型测试精度
  m.score(X_test, y_test)
  

四.注意事项

k-近邻分类模型理论成熟，计算精度高，对异常值不敏感，但相对其他分类模型而言计算量大，占用内存多。由于k-近邻分类模型主要靠周围有限的近邻样本，而不是靠判别类域的方法来确定所属类别，因此对于类域交叉或重叠较多的待分类样本集来说，k-近邻分类模型较其他模型来说更为合适。k-近邻分类模型比较适用于样本数量比较大的自动分类，当样本数量较小时容易产生错误分类