机器学习100天-Day10 Tensorflow实现KNN算法

基于github上的一个学习项目进行https://github.com/Avik-Jain/100-Days-Of-ML-Code
由浅入深，省去前期手工推导，练习中引入库来完成。
一般一天更新一次练习，我会将里面的英文引导翻译成中文。
代码已经进行更新，我的github地址：https://github.com/jwc19890114/-02-learning-file-100days
今天进入第八天，昨天使用sklearn中打包的KNeighborsClassifier()完成KNN分类器，今天使用Tensorflow来重写。

欧氏距离

算法思路

• 计算待分类样本和样本空间中已标记的样本的欧氏距离
• 取得最短距离的K个点并对K个点所属标签进行计数。

算法优缺点

• 优点
  算法简单有效
• 缺点
  一方面计算量大。当训练集比较大的时候，每一个样本分类都要计算与所有的已标记样本的距离。解决方法是事先对已知样本点进行剪辑，事先去除对分类作用不大的样本（例如在样本空间进行划分区域）。
  另一方面是当已标记样本是不平衡，分类会向占样本多数的类倾斜。解决方案是引进权重。

引入库和数据集

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
from tensorflow.examples.tutorials import mnist

mnist_image = mnist.input_data.read_data_sets('.\MNIST_data/', reshape=True, one_hot=True)
pixels, real_values = mnist_image.train.next_batch(10)
# 获取前10个图片，这段代码用来显示获取到的数据
# n=5
# image=pixels[n,:]
# image=np.reshape(image, [28,28])
# plt.imshow(image)
# plt.show()

生成训练集和测试集，初始化训练张量和测试张量

traindata, trainlabel = mnist_image.train.next_batch(100)
testdata, testlabel = mnist_image.test.next_batch(10)
traindata_tensor = tf.placeholder(shape=[None, 784], dtype=tf.float32)
testdata_tensor = tf.placeholder(shape=[784], dtype=tf.float32)

几个基本运算

• tf.abs取绝对值
• tf.negative取负，y=-x
• 安照reduction_indices指定的轴进行求和
• tf.arg_min()返回张量维度上最小值的索引

distance = tf.reduce_sum(tf.abs(tf.add(traindata_tensor, tf.negative(testdata_tensor))), reduction_indices=1)
pred = tf.arg_min(distance, 0)
test_num = 10
accuracy = 1
init = tf.global_variables_initializer()
with tf.Session() as sess:
    sess.run(init)
    for i in range(test_num):
        idx = sess.run(pred, feed_dict={traindata_tensor: traindata, testdata_tensor: testdata[i]})
        print('test No.%d,the real label %d, the predict label %d' % (
        i, np.argmax(testlabel[i]), np.argmax(trainlabel[idx])))
        if np.argmax(testlabel[i]) == np.argmax(trainlabel[idx]):
            accuracy += 1
    print("result:%f" % (1.0 * accuracy / test_num))

最后结果

这个结果是有误差的，第一次跑是100%，我们再尝试增加测试数据集。

机器学习100天-Day10 Tensorflow实现KNN算法

当数据集增加到100的时候，正确率只有66%啦~

机器学习100天-Day10 Tensorflow实现KNN算法