大话机器学习（二）--KNN

一、有监督与无监督学习

总体来说讲呢，机器学习又两种学习方法，一个叫有监督学习（Supervised），一种叫无监督学习（Unsupervised）。顾名思义啊，一个就是有人看着，一个就是没有。在机器学习中呢，就是有监督学习，会先告诉学习算法，我有200本书，这些是我喜欢的，那些是我觉得一般的，那些是我讨厌的。好，现在又给你一本书，请你告诉我，我对这本书的态度。

这样的学习过程就是有监督的。

无监督的就是直接给你200本书，告诉你，给我分成几类吧。分好后，你在给他一本书，问他，这本书和哪些是同一类？

大致就是这样的意思。

二、KNN

今天，我们就来看一个很简单的监督学习算法，KNN（k-Nearest Neighbor）。基本步骤就是这样:

1.把书分成n类，告诉算法每一本书分别属于哪一类

2.给算法一本新书

3.算法计算这本书和之前200本书的距离

4.取k个与这本书距离最近的已知类别的书。k本书中，哪种类别的书最多，那么算法就认为这本新书属于哪种类别。换句话说，这些已知类别的书在投票。

可见，这本书与200本书的距离计算是一个很重要的点。投票的方法也是很重要的点。上诉只是讲了最简单的投票方法而已，可以按照不同的方法计算权重。KNN更加纤细的一些概要可以看我转载的这一文章： http://blog.csdn.net/qtlyx/article/details/50618659

三、sklearn机器学习方法函数概要

咱们大概了解这一算法之后呢，看一下sklearn的函数。

从刚才的讲述中可以看出，算法的输入是样本（samples），就是我们说的两百本书；以及这些书对应的标签（labels）。把这两个告诉算法之后，就是学习完成了。

sklearn里面的机器学习方法函数有如下基本方法

1.设置。

这就是设置一个方法的参数，比如KNN算法，就可以设置距离计算的方法，欧式距离啊、明科夫斯基距离之类的；还有k的取值，我们要最邻近的10个样本还是15个；还有投票权重的计算；等等等等。

一般设置语句是这样的：

设置完成可用的机器学习方法 = 机器学习方法名（参数1，参数2，参数3.。。。。。。） 。

2.训练

设置好参数，就是训练，有监督的放样本和标签，无监督的，只有样本。通常设置语句是这样的：

设置完成可用的机器学习方法.fit（训练样本，[标签]）

3.预测。

训练完之后就可以用这个东西来预测新的输入的类别了。通常设置语句是这样的：

设置完成可用的机器学习方法.predict(新样本)

四、sklearn的KNN算法示例

1.数据

我们使用鸢尾花数据集，这是sklearn自带的数据集，也是数据挖掘领域里面相当有名的数据集。每一条记录都是一类鸢尾花，记录的内容是鸢尾花的属性，比如多高啊，花的直径啊这类。

数据是这样的：

这是数据集的内容，共150条，这里只截取了部分

这是对应的150个类别。

2.提取训练数据集和测试数据集

i = 0
list = []

for i in range(0,150):
    if i%3 != 0 :
        list.append(i)

上面的代码产生了一个0到149，不能被三整除的数，就是说，我们从150个数据中选出三分之一。、

samples= iris.data[list]
lab = iris.target[list]

如此就提取出来了。

3.设置

n_neighbors = 15
clf = neighbors.KNeighborsClassifier(n_neighbors, weights='uniform')

如此，设置了算法的参数，k取15，投票权重为最简单的，大家权重都一样。

4.训练

clf.fit(samples,lab)

5测试

clf.predict(iris.data[3])
clf.predict(iris.data[6])
clf.predict(iris.data[147])

将这数据和iris.target对应下表比较发现时一样的。
如：

五.完整代码

# -*- coding: utf-8 -*-
"""
Created on Mon Feb 01 16:27:13 2016

@author: Luyixiao
"""
# -*- coding: utf-8 -*-


import numpy as np
from sklearn import neighbors, datasets

n_neighbors = 15
iris = datasets.load_iris()

i = 0
list = []
for i in range(0,150):
    if i%3 != 0 :
        list.append(i)
        
samples= iris.data[list]
lab = iris.target[list]

n_neighbors = 15
clf = neighbors.KNeighborsClassifier(n_neighbors, weights='uniform')