机器学习算法基础——KNN算法

KNN (K-Nearest Neighbor)–K近邻分类算法

• 为了判断未知实例的类别,以所有已知类别的实例作为参照选择参数K
• 计算未知实例与所有已知实例的距离
• 选择最近K个已知实例
• 根据少数服从多数的投票法则(majority-voting),让未知实例归类为K个最邻近样本中最多数的类别

简单来说,KNN算法就是看预测数据距离哪一类数据接近就把它预测成哪一类。
举一个简单的例子:

机器学习算法基础——KNN算法_第1张图片

机器学习算法基础——KNN算法_第2张图片
如图,红色的点和蓝色的点分别为已知分类的两种数据点,现在想要预测黑色的点的所属类别,显而易见应该属于红色类别,因为距离红色类别的距离较近,KNN算法大致就是这样的分类思路。

那么在计算距离的时候,我们应该采取什么样的方法呢?
一般来讲,我们通常会使用欧几里得距离作为计算的标准。
机器学习算法基础——KNN算法_第3张图片
K值又是如何确定呢?
这个问题往往需要根据实际问题来进行确定,也可以通过实践的方法找出最优的K值。
机器学习算法基础——KNN算法_第4张图片
机器学习算法基础——KNN算法_第5张图片
因为该算法的复杂度较高,在处理大规模数据的时候往往表现的非常糟糕,因此,此类算法适用于解决小规模的数据问题。

下面我来实现一个简单的KNN算法:

# 导入算法包以及数据集
from sklearn import neighbors
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
import random
iris = datasets.load_iris() #载入数据

# 打乱数据切分数据集
# x_train,x_test,y_train,y_test = train_test_split(iris.data, iris.target, test_size=0.2) #分割数据0.2为测试数据,0.8为训练数据

#打乱数据
data_size = iris.data.shape[0]
index = [i for i in range(data_size)] 
random.shuffle(index)  
iris.data = iris.data[index]
iris.target = iris.target[index]

#切分数据集
test_size = 40
x_train = iris.data[test_size:]
x_test =  iris.data[:test_size]
y_train = iris.target[test_size:]
y_test = iris.target[:test_size]

# 构建模型
model = neighbors.KNeighborsClassifier() #默认K=5
model.fit(x_train, y_train)
prediction = model.predict(x_test)

print(classification_report(y_test, prediction))

机器学习算法基础——KNN算法_第6张图片

你可能感兴趣的:(#,机器学习,人工智能AI,算法,人工智能)