使用K近邻（KNN）对鸢尾花分类

KNN算法的精髓在于近朱者赤近墨者黑，所以距离通过欧氏距离或者夹角余弦来计算。

他的主要计算步骤为：

1.算距离：给定测试对象，计算它与训练集中的每个对象的距离

2.寻找邻居：圈定距离最近的K个训练对象，作为测试对象的近邻。

3.做分类：根据这K个近邻归属的主要类别，来对测试对象分类。

对kNN算法的伪代码：

1.采用load_iris读取数据并查看 

2.分割数据，产生75%的训练样本，25%的测试样本

3.标准化数据

4.导入K近邻分类模块

5.测试与性能评估，生成评估报告

# 从sklearn.datasets 导入 iris数据加载器。
from sklearn.datasets import load_iris
# 使用加载器读取数据并且存入变量iris。
iris = load_iris()
# 查验数据规模。
iris.data.shape

# 查看数据说明。对于一名机器学习的实践者来讲，这是一个好习惯。
print iris.DESCR

# 从sklearn.cross_validation里选择导入train_test_split用于数据分割。
from sklearn.cross_validation import train_test_split
# 从使用train_test_split，利用随机种子random_state采样25%的数据作为测试集。
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.25, 
                                                    random_state=33)

# 从sklearn.preprocessing里选择导入数据标准化模块。
from sklearn.preprocessing import StandardScaler
# 从sklearn.neighbors里选择导入KNeighborsClassifier，即K近邻分类器。
from sklearn.neighbors import KNeighborsClassifier

# 对训练和测试的特征数据进行标准化。
ss = StandardScaler()
X_train = ss.fit_transform(X_train)
X_test = ss.transform(X_test)

# 使用K近邻分类器对测试数据进行类别预测，预测结果储存在变量y_predict中。
knc = KNeighborsClassifier()
knc.fit(X_train, y_train)
y_predict = knc.predict(X_test)

# 使用模型自带的评估函数进行准确性测评。
print 'The accuracy of K-Nearest Neighbor Classifier is', knc.score(X_test, y_test) 

# 依然使用sklearn.metrics里面的classification_report模块对预测结果做更加详细的分析。
from sklearn.metrics import classification_report
print classification_report(y_test, y_predict, target_names=iris.target_names)