机器学习 knn算法简单实现
二、实验内容：
实现K最近邻居算法
三、实验详细步骤
1、算法描述
输入：训练集（iris数据集）、测试样本（）
输出：测试样本的类别
1）计算测试数据与各个训练数据之间的距离；
2）按照距离的递增关系进行排序；
3）选取距离最小的K个点；
4）确定前K个点所在类别的出现频率；
5）返回前K个点中出现频率最高的类别作为测试数据的预测分类。
2、算法测试
输入多条测试集测试分类算法的精度
精度=被正确分类的样本/总样本数
提示：可以使用交叉验证方法将iris数据集划分为训练集和测试集合
3、欧氏距离(Euclidean Distance)
欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。
（1）二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离：
2.三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离：
(3)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的欧氏距离：
(4)也可以用表示成向量运算的形式：
# 计算两点之间的距离
def eucliDist(A,B):
return np.sqrt(sum(np.power((A - B), 2)))
# return math.sqrt(sum([(a - b)**2 for (a,b) in zip(A,B)]))
X = np.array([1,2,3,4])
Y = np.array([0,1,2,3])
print(eucliDist(X,Y))
knn简单实现:
最终代码：
import numpy as np
import pandas as pd
data = pd.read_csv('iris.csv',header=None).values
x = [5.2,3.2,1.0,0.3]
dist=[]
a=0
b=0
c=0
def eucliDist(A,B):
return np.sqrt(sum(np.power((A - B), 2)))
for i in range(150):
d=eucliDist(x,data[i,0:4])
dist.append(round(d,2))
print(dist)
index =np.argsort(dist)
print(index)
indexk =index[0:3]
print(indexk)
for i in indexk:
x=int(data[i,4])
if x==0:
a=a+1
if x==1:
b=b+1
if x==2:
c=c+1
y=max(a,b,c)
if y==a:
print(0.0)
if y==b:
print(1.0)
if y==c:
print(2.0)
1、算法描述
输入：训练集（iris数据集）、测试样本（5.2,3.2,1.0,0.3)
输出：测试样本的类别
1.计算测试数据与各个训练数据之间的距离；
def eucliDist(A,B):
return np.sqrt(sum(np.power((A - B), 2)))
2.按照距离的递增关系进行排序；
index =np.argsort(dist)
3.选取距离最小的K个点；
indexk =index[0:3]
4.确定前K个点所在类别的出现频率；
for i in indexk:
x=int(data[i,4])
if x==0:
a=a+1
if x==1:
b=b+1
if x==2:
c=c+1
y=max(a,b,c)
5.返回前K个点中出现频率最高的类别作为测试数据的预测分类。
最终代码：
import numpy as np
import pandas as pd
data = pd.read_csv('iris.csv',header=None).values
x = [5.2,3.2,1.0,0.3]
dist=[]
a=0
b=0
c=0
def eucliDist(A,B):
return np.sqrt(sum(np.power((A - B), 2)))
for i in range(150):
d=eucliDist(x,data[i,0:4])
dist.append(round(d,2))
print(dist)
index =np.argsort(dist)
print(index)
indexk =index[0:3]
print(indexk)
for i in indexk:
x=int(data[i,4])
if x==0:
a=a+1
if x==1:
b=b+1
if x==2:
c=c+1
y=max(a,b,c)
if y==a:
print(0.0)
if y==b:
print(1.0)
if y==c:
print(2.0)
2、算法测试
输入多条测试集测试分类算法的精度
精度=被正确分类的样本/总样本数
提示：可以使用交叉验证方法将iris数据集划分为训练集和测试集合
# 计算精度
def getAccuracy(testSet, predictions):
correct = 0
for x in range(len(testSet)):
if testSet[x][-1] == predictions[x]:
correct += 1
return (correct / float(len(testSet))) * 100.0
return ("{:2f}%".format(100 * correct / len(testSet)))
def main():
trainingSet = [] # 训练集
testSet = [] # 测试集
split = 0.75 # 分割的比例
loadDataset("iristest.csv", split, trainingSet, testSet)
print("训练集:" + repr(len(trainingSet)))
print("测试集:" + repr(len(testSet))) # 其中repr() 函数将对象转化为供解释器读取的形式。
predictions = [] # 预测值
k = 5
# k = 5 #定义返回5个最近邻居数
for x in range(len(testSet)):
neighbors = getNeighbors(trainingSet, testSet[
x], k)
result = getResponse(neighbors)
predictions.append(result)
print("预测值为： " + repr(result) + ",实际值为： " + repr(testSet[x][-1]))
accuracy = getAccuracy(testSet, predictions)
print("精度为：" + repr(accuracy) + "%")
