机器学习No.4

任务七——深挖K近邻

一.缺失值的处理

1.也就是数据清洗的一步，最简单的方法是删除法：删除列、删除行。

2.另一种是填补法：

对于数值型变量：平均值填补、中位数填补等。

其他的方法：

（1）填补上下值

（2）插值法拟合出缺失的数据进行填补

for f in features: # 插值法填充

    train_data[f] = train_data[f].interpolate()
    

train_data.dropna(inplace=True)

 

二.特征编码技术

主要是解决将字符串转换成数值类型(向量或矩阵）

1.类别型变量

（1）标签编码

直接用0、1、2 等去标，不能直接输到模型里。

（2）独热编码

使用向量，除了一个位置是1，其他位置均为0， 1的位置对应的是相应类别出现的位置。

2.数值型变量

连续性特征的离散化操作可以增加模型的非线性型，同时也可以有效地处理数据分布的不均匀的特点。

主要知识我就不罗列了，直接放链接吧：https://www.cnblogs.com/zongfa/p/9434418.html

3.顺序变量

看做数值型变量来处理。

 

三.KNN解决回归

1.使用read_csv读取数据, 并显示数据内容

import pandas as pd

df = pd.read_csv('D:/car price.csv')

print(df)

读取结果：

2.特征处理

把类别型特征转换成独热编码：

df_colors = df['Color'].str.get_dummies().add_prefix('Color:')
df_type = df['Type'].apply(str).str.get_dummies().add_prefix('Type:')
df = pd.concat([df,df_colors,df_type],axis = 1)
df = df.drop(['Brand','Type','Color'],axis = 1)

print(df)

读取结果：

3.特征相关性

corr（）函数：pandas的一个函数，可以计算两列值的相关系数，默认用的是pearson相关系数。取值范围是[-1, 1]，越接近 1 表示正相关性越强，越接近-1 表示负相关性越强。 想看两列数据的相关性，可以用seaborn的热力图来可视化。

我觉得这个还挺好玩的，就用我们树蛙大作业的数据，截了50条来试了一下（指标是污染物和AQI）。

4.特征归一化

把原始特征转换成均值为0方差为1的高斯分布。

5.训练模型然后进预测。

 

四.KD树

使用KD树来加速搜索速度，一般只适合用在低维的空间。

把KD树看作是一种数据结构，而且这种数据结构把样本按照区域重新做了组织，这样的好处是一个区域里的样本互相离得比较近。假如之后来了一个新的预测样本，这时候我们首先来判定这个预测样本所在的区域，而且离它最近的样本很有可能就在这个区域里面。KD树的经典应用场景：在地图上的搜索。如搜索离当前点最近的加油站、餐馆，等等。