《机器学习实战》（二）：K-近邻算法实现与shape[0],argsort(),sorted(),iteritems(),tile()等的用法与解释

1、K-NN算法：

算法基本流程：
对未知类别属性的数据集中的每个点依次执行以下操作:
(1) 计算已知类别数据集中的点与当前点之间的距离;
(2) 按照距离递增次序排序;
(3) 选取与当前点距离最小的k个点;
(4) 确定前k个点所在类别的出现频率;
(5) 返回前k个点出现频率最高的类别作为当前点的预测分类。
K-NN算法理解起来不难，重点在于一些numpy所带函数的熟练使用。
有遇到不理解的可以看下面第二部分，一些小问题的深入。
代码如下：
test_knn.py

#!/usr/bin/python
#-*-coding:utf-8-*-

from numpy import *
import operator

sample=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
lables=['A','A','B','B']
def classify0(inputvector,dataset,labels,k)
#shape[0]返回矩阵第一维度的长度
    setsize=dataset.shape[0]
#按行复制，将输入向量扩展到和dataset一样的行数，再减去dataset
    diffmat=tile(inputvector,(setsize,1))-dataset
    sq_diffmat=diffmat**2
#按行相加求和
    sq_dist=sq_diffmat.sum(axis=1)
    distances=sq_dist**0.5
#以上就是求输入向量和各训练样本向量的欧式距离
#argsort()排序后，返回下标向量
    dis_sort_indicies=distances.argsort()
#初始化一个字典，也就是c++的map
    class_count={}
    for i in range(k):
#通过循环，依次找出前k距离的下标（第几行样本，也就是第几个样本),映射到labels上，找出对应分类label
        votedlabel=labels[dist_sort_indicies[i]]
#字典：{'标签'：出现次数}
        class_count{votedlabel}=class_count.get(votedlabel,0)+1
    result=sorted(class_count.iteritems(),key=operator.itemgetter(1),reverse=True)
    return result[0][0]

print classify0([10,0],sample,label,3)

2、遇到的一些小问题的深入

简单聊聊shape

>>> from numpy import *
>>> shape([1])
(1,)
>>> shape(1)
()
>>> shape([[1],[2]])
(2, 1)
>>> shape([[1,1],[1,1],[1,1]])
(3, 2)

# mymatrix.shape[0]:也可以作为矩阵的方法调用，0代表返回矩阵第一维度的长度,二维矩阵第一维也就是行数。

mymatrix.sum(axis=1)
# 对于一维数组而言，只有axis=0可以使用（没必要使用）。
# 二维数组axis=1表示按行相加 , axis=0表示按列相加，none即无参数时候代表所有元素相加

argsort()：

# argsort()函数是将x中的元素从小到大排列，提取其对应的index(索引)，然后输出到y
>>> argsort([1,4,3,9,2])
array([0, 4, 2, 1, 3])
#还有其他例子，后面再补充example

get(key,0)的解释：

 >>>dict1 #空的字典  
{}  
>>>dict1.get('a') #键‘a’在dict1中不存在，返回none  
>>> dict1.get('d1','no1') #default参数给出值'no1'，所以返回'no1'  
'no1'

iteritems():

在Python2.x中，items( )用于 返回一个字典的拷贝列表，占额外的内存。
iteritems() 用于返回本身字典列表操作后的迭代，不占用额外的内存，iteritems方法作用：与items方法相比作用大致相同，只是它的返回值不是列表，而是一个迭代器。
而在python 3.x 里面，iteritems() 和 viewitems() 这两个方法都已经废除了，而items() 得到的结果是和 2.x 里面 viewitems() 一致的。在3.x 里 用 items()替换iteritems() ，可以用于 for 来循环遍历。

sorted(class_count.iteritems(),key=operator.itemgetter(1),reverse=True)的含义:

先来看sorted()的参数：
sorted(iterable[, cmp[, key[, reverse]]])
参数解释：
（1）iterable指定要排序的list或者iterable，不用多说；
（2）cmp为函数，指定排序时进行比较的函数，可以指定一个函数或者lambda函数，如：
      students为类对象的list，没个成员有三个域，用sorted进行比较时可以自己定cmp函数，例如这里要通过比较第三个数据成员来排序，代码可以这样写：
      students = [('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10)]
      sorted(students, key=lambda student : student[2])
（3）key为函数，指定取待排序元素的哪一项进行排序，函数用上面的例子来说明，代码如下：
      sorted(students, key=lambda student : student[2])
      key指定的lambda函数功能是去元素student的第三个域（即：student[2]），因此sorted排序时，会以students所有元素的第三个域来进行排序。

有了上面的operator.itemgetter函数，也可以用该函数来实现，例如要通过student的第三个域排序，可以这么写：
sorted(students, key=operator.itemgetter(2)) 
sorted函数也可以进行多级排序，例如要根据第二个域和第三个域进行排序，可以这么写：
sorted(students, key=operator.itemgetter(1,2))

即先跟句第二个域排序，再根据第三个域排序。
（4）reverse参数就不用多说了，是一个bool变量，表示升序还是降序排列，默认为false（升序排列），定义为True时将按降序排列。

举个栗子说一下tile()是怎么复制的
比如：tile(A,(2,3,4))，将
其中：A=[1,2]
4代表:A->B=[1,2,1,2,1,2,1,2]
3代表:B->C=[[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2]]
2代表:C->D[[[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2]],[[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2]]]

>>> from numpy import tile
>>> tile(A,(2,3,4))
array([[[1, 2, 1, 2, 1, 2, 1, 2],
        [1, 2, 1, 2, 1, 2, 1, 2],
        [1, 2, 1, 2, 1, 2, 1, 2]],

       [[1, 2, 1, 2, 1, 2, 1, 2],
        [1, 2, 1, 2, 1, 2, 1, 2],
        [1, 2, 1, 2, 1, 2, 1, 2]]])
>>>