KNN算法-测试分类iris数据集

K近邻算法

原理:核心原理:越相近越相似,根据最近的K个近邻特征的距离,来判断归属于哪个蔟。
关键词:距离,K个近邻
1.一般距离计算有欧式距离,曼哈顿距离,等等,这里默认欧氏距离(方便计算)
2.近邻数K的取值,直接影响到算法的结果。*值的思考的是,根据距离最近的K个近邻所属的蔟,以类似投票制的方式,是否合理?距离是否需要加上权重?

以iris数据集为例,简单运行下KNN的算法:

#导入常规要用的包
from sklearn.datasets import load_iris
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
import numpy as np
import pandas as pd
from sklearn.preprocessing import StandardScaler
#准备数据集
li=load_iris()
#划分数据集
x_train ,x_test,y_train,y_test=train_test_split(li.data,li.target,test_size=0.25,random_state=100)
#特征工程之标准化
#(特别注意2点:1.如果先标准化再划分数据集,标准化的过程中,train集已经用到了test集的信息,这是一定要避免的。
#2.test集直接用transform,不能用fit,用已获取的train集期望和方差,对以后的数据做统一的标准化)
std=StandardScaler()
x_train=std.fit_transform(x_train)
x_test=std.transform(x_test)
#实例化KNN算法
knn=KNeighborsClassifier(n_neighbors=3,weights='distance') #随意加了weights尝试下
knn.fit(x_train,y_train)
#输出yhat及准确率
y_predict=knn.predict(x_test)
knn.score(x_test,y_test)

0.9736842105263158

你可能感兴趣的:(KNN算法-测试分类iris数据集)