机器学习基础课 (3)：机器学习案例之K-近邻（附详细python代码注释）

数据集

Sklearn 数据集

1. 数据集划分
2. 接口介绍（API）
3. 分类数据集
4. 回归数据集

特征工程的步骤

1. 实例化（实例化的是一个转换器类）
2. 用fit_transform获得转换后的数据集

转化器和估计器

转化器

Fit_transform():输入数据直接转换 = Fit() 输入数据 +Transform（）：数据转换。如果fit和transform的样本不同，那得到的结果也会改变。

估计器

估计器：实现了算法API
分类的估计器：sklearn.neighbors k-近邻
Sklearn.naive_bayes 贝叶斯
Sklearn.linear_model.LogisticRegression 逻辑回归
Sklearn.tree 决策树和随机森林

回归的估计器：
Sklearn.linear_model.LogisticRegression 线性回归
Sklearn.linear_model.Ridge 岭回归

使用

调用fit(x.train, y.train)
y_predict = predict(x_test)
score(x_test, y_test)
输入测试集数据

from sklearn.datasets import load_iris,fetch_20newsgroups，boston
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from pandas as pd

## 分类数据集
# 直接实例化这个API，这个li是base.batch的格式
li = load_iris()
print("获取特征值")
print(li.data)
print("获取目标值")
print(li.target)
# 显示描述
print(li.DESCR)

# 对数据集进行划分
# 注意返回值，既含有训练集 train x_train,y_train 也有测试集test。
x_train , x_test , y_train, y_test = train_test_split(li.data, li.target, test_size=0.25)
print("训练集特征值和目标值：", x_train, y_train)
print("测试集特征值和目标值：", x_test, y_test)

# 比较大一点的数据集,选择所有数据
news = fetch_20newsgroups(subset="all")

print(news.data)
print(news.target)

实例之K-近邻

1. 使用KNN时对特征做标准化，防止某个极端值影响结果。
2. K值取很小，容易受异常点影响；K值取很大，容易样本数量的影响。

# KNN
def knncls():
    """
    K-近邻预测用户签到位置
    :return: None
    """
    ## 读取当前文件路径的数据
    data = pd.read_csv("./data/train.csv")

    print(data.head(10))

    ## 处理数据
    # 数据量太大，缩小数据的范围,查询数据筛选
    data.query("x > 1 & x < 1.25 & y >2.5 & y < 2.75")
    # 处理时间的数据,可以转换成年月日的格式
    time_value = pd.to_datatime(data["time"], unit = "s")
    # 构造特征
    # 把日期格式转换为字典格式
    time_value = pd.DatetimeIndex(time_value)

    data["day"] = time_value.day
    # 删除时间戳特征,按列删除
    data = data.drop(['time'], axis = 1)

    # 把签到数量少于n个目标位置删除
    place_count = data.groupby("place_id").count()
    tf = place_count[place_count.row_id > 3].reset_index()
    data = data[data["place_count"]].isin(tf.place_id)

    y = data['place_id']

    x = data.drop(['place_id'], axis=1)

    # 进行数据的分割训练集合测试集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    ## 特征工程（标准化）
    std = StandardScaler()

    # 对测试集和训练集的特征值进行标准化
    x_train = std.fit_transform(x_train)

    x_test = std.transform(x_test)

    # 进行算法流程 # 超参数
    knn = KNeighborsClassifier()

    # 构造一些参数的值进行搜索
    param = {"n_neighbors": [3, 5, 10]}

    # 进行网格搜索
    gc = GridSearchCV(knn, param_grid=param, cv=2)

    gc.fit(x_train, y_train)

    # 预测准确率
    print("在测试集上准确率：", gc.score(x_test, y_test))

    print("在交叉验证当中最好的结果：", gc.best_score_)

    print("选择最好的模型是：", gc.best_estimator_)

    print("每个超参数每次交叉验证的结果：", gc.cv_results_)

    return None


if __name__ == "__main__":
    knncls()

数据集原始格式：

准确率和召回率

交叉验证

在训练集中挑出验证集, 展示一个4折交叉验证的流程:

求出平均值模型结果，不能只选一个最好的结果

超参数搜索-网格搜索：调参

通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。

KNN代码修改:

# 进行算法流程 # 超参数 
    knn = KNeighborsClassifier()

    # 构造一些参数的值进行搜索
    param = {"n_neighbors": [3, 5, 10]}

    # 进行网格搜索
    gc = GridSearchCV(knn, param_grid=param, cv=2)

    gc.fit(x_train, y_train)

    # 预测准确率
    print("在测试集上准确率：", gc.score(x_test, y_test))

    print("在交叉验证当中最好的结果：", gc.best_score_)

    print("选择最好的模型是：", gc.best_estimator_)

print("每个超参数每次交叉验证的结果：", gc.cv_results_)

注意：如果要用网格搜索选择参数，就不能在分类器API中输入参数，否则没有效果。