Python机器学习基础教程学习笔记（2）——KNN处理Iris数据集

Python机器学习基础教程学习笔记（2）——KNN处理Iris数据集

1 常规引用

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import mglearn

2 加载数据集

from sklearn.datasets import load_iris
iris_dataset = load_iris()

# Bunch对象，和字典相似
print("keys of iris_dataset: \n{}".format(iris_dataset.keys()))

keys of iris_dataset: 
dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

print('target names:{}'.format(iris_dataset['target_names']))# 要预测的花的品种
print('feature names:{}'.format(iris_dataset['feature_names']))# 特征

target names:['setosa' 'versicolor' 'virginica']
feature names:['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']

print("type of data :{}".format(type(iris_dataset['data'])))# 数据的类型
print("shape of data :{}".format(iris_dataset['data'].shape))# 数据形状，150条记录，每条记录4个特征值，（样本数，特征数）

type of data :
shape of data :(150, 4)

print("first five rows of data:\n{}".format(iris_dataset['data'][:5]))

first five rows of data:
[[5.1 3.5 1.4 0.2]
 [4.9 3.  1.4 0.2]
 [4.7 3.2 1.3 0.2]
 [4.6 3.1 1.5 0.2]
 [5.  3.6 1.4 0.2]]

print("type of target:{}".format(type(iris_dataset['target'])))
print("shape of target:{}".format(iris_dataset['target'].shape))

type of target:
shape of target:(150,)

print("target:\n{}".format(iris_dataset['target']))

target:
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
 2 2]

3 拆分训练集和测试集

# train_test_split 打乱数据集并进行拆分，75%的数据作为训练集，剩下的25作为测试集
from sklearn.model_selection import train_test_split
# random_state参数指定了随机数生成器的种子
X_train, X_test, y_train, y_test = train_test_split(iris_dataset['data'],iris_dataset['target'],random_state=0)

# train的数据是112个，为150的75%
print("X_train shape :{}".format(X_train.shape))
print("y_train shape :{}".format(y_train.shape))

X_train shape :(112, 4)
y_train shape :(112,)

# train的数据是112个，为150的75%
print("X_test shape :{}".format(X_test.shape))
print("y_test shape :{}".format(y_test.shape))

X_test shape :(38, 4)
y_test shape :(38,)

4 构建dataframe并可视化

观察数据：

• 看看如果不用机器学习能不能轻松完成任务
• 需要的信息有没有包含在数据中
• 检查数据也是发现异常值和特殊值的好办法
• 检查数据的最佳方法之一就是将其可视化
• 散点图（sactter plot）能做二个特征的可视化，多个特征时，可以做散点图矩阵（pair plot）

# 利用X_train中的数据创建DataFrame
# 利用iris_dataset.feature_names中的字符串对数据列进行标记
iris_dataframe = pd.DataFrame(X_train,columns=iris_dataset.feature_names)

# 通过pd.plotting.scatter_matrix绘制散点图矩阵，从图中，看出可以通过四个特征将三种花区分开
grr = pd.plotting.scatter_matrix(
    iris_dataframe, # 数据集
    c=y_train, # c是指color，设置点的颜色，这里没指定颜色，通过下面的cmap来设置颜色，这个参数是由scatter_matrix方法传到scatter方法的
    figsize=(15,15), # 大小（宽，高）
    marker='o', # 标注点的样式，我所知道的'.'是小圆点，'o'是大圆点，'^'是上三角，'v'是下三角
    hist_kwds={'bins':20}, # other plotting keyword arguments To be passed to hist function ? 目测和柱型图的宽有关
    s=60, # The size of each point. 这个参数是由scatter_matrix方法传到scatter方法的
    alpha=.8, # 透明度
    cmap=mglearn.cm3 # 这个参数是由scatter_matrix方法传到scatter方法的，然后scatter方法里，把传给plotting方法
)

output_17_0

5 用knn分类算法进行分类

knn算法

• k近邻分类器
• 只保存训练集的数据
• 对新数据点进行预测，算法会在训练集中寻找与这个新数据点距离最近的数据点，然后将找到的数据点的标签赋值给这个新数据点
• k的含义是，训练集中与新数据点最近的任意的k个邻居（比如3个或者5个），用这些邻居中数量最多的类别做出预测。

5.1 训练

from sklearn.neighbors import KNeighborsClassifier
# n_neighbors=1，设置knn算法中的k值为1，只考虑最近的一个邻居数据点。
knn = KNeighborsClassifier(n_neighbors=1)

# 调用knn对象的fit方法进行训练，输入参数为X_train（训练数据）和y_train（训练标签）。
knn.fit(X_train,y_train)

KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=None, n_neighbors=1, p=2,
           weights='uniform')

5.2 预测

X_new = np.array([[5,2.9,1,0.2]])#必须是二维数组，才能传入到predict方法中
print("X_new.shape:{}".format(X_new.shape))

X_new.shape:(1, 4)

prediction = knn.predict(X_new)
print("Prediction:{}".format(prediction))
print("Predicted target name:{}".format(iris_dataset["target_names"][prediction]))

Prediction:[0]
Predicted target name:['setosa']

6 评价模型

6.1 方法1

y_pred = knn.predict(X_test)
print("Test set predictions\n{}".format(y_pred))

Test set predictions
[2 1 0 2 0 2 0 1 1 1 2 1 1 1 1 0 1 1 0 0 2 1 0 0 2 0 0 1 1 0 2 1 0 2 2 1 0
 2]

print("Test set score:{:.2f}".format(np.mean(y_pred==y_test)))

Test set score:0.97

6.2 直接调用knn.score

print("Test set score:{:.2f}".format(knn.score(X_test,y_test)))

Test set score:0.97

7 小结

fit、predict、score方法是scikit-learn监督学习模型中最常用的接口。