天池&Datawhale--零基础入门数据挖掘 Task1&Task2

一、赛题理解

---

1、赛题题目：零基础入门数据挖掘 - 二手车交易价格预测

2、 赛题概况

训练集：15万条

测试集A：5万条

测试集B：5万条

特征+标签（包括15个显著特征和15个匿名特征）

SaleID - 销售样本ID

name - 汽车编码

regDate - 汽车注册时间

model - 车型编码

brand - 品牌

bodyType - 车身类型

fuelType - 燃油类型

gearbox - 变速箱

power - 汽车功率

kilometer - 汽车行驶公里

notRepairedDamage - 汽车有尚未修复的损坏

regionCode - 看车地区编码

seller - 销售方

offerType - 报价类型

creatDate - 广告发布时间

和规范化

price - 汽车价格

v_0', 'v_1', 'v_2', 'v_3', 'v_4', 'v_5', 'v_6', 'v_7', 'v_8', 'v_9', 'v_10', 'v_11', 'v_12', 'v_13','v_14' 【匿名特征，包含v0-14在内15个匿名特征】

3、 预测指标

本赛题为典型的回归问题，赛题使用的评价标准为MAE(Mean Absolute Error)

一般问题评价指标说明:

分类问题：①对于二类分类器/分类算法，评价指标主要有accuracy， [Precision，Recall，F-score，Pr曲线]，ROC-AUC曲线。②对于多类分类器/分类算法，评价指标主要有accuracy， [宏平均和微平均，F-score]。

回归问题：平均绝对误差（Mean Absolute Error，MAE），均方误差（Mean Squared Error，MSE），平均绝对百分误差（Mean Absolute Percentage Error，MAPE），均方根误差（Root Mean Squared Error）， R2（R-Square）

分类指标评价计算示例

## accuracy

import numpy as np

from sklearn.metrics import accuracy_score

y_pred = [0, 1, 0, 1]

y_true = [0, 1, 1, 1]

print('ACC:',accuracy_score(y_true, y_pred))

结果：ACC: 0.75

## Precision,Recall,F1-score

from sklearn import metrics

y_pred = [0, 1, 0, 0]

y_true = [0, 1, 0, 1]

print('Precision',metrics.precision_score(y_true, y_pred))

print('Recall',metrics.recall_score(y_true, y_pred))

print('F1-score:',metrics.f1_score(y_true, y_pred))

结果：Precision 1.0

Recall 0.5

F1-score: 0.666666666667

## AUC

import numpy as np

from sklearn.metrics import roc_auc_score

y_true = np.array([0, 0, 1, 1])

y_scores = np.array([0.1, 0.4, 0.35, 0.8])

print('AUC socre:',roc_auc_score(y_true, y_scores))

结果：AUC socre: 0.75

回归指标评价计算示例

# coding=utf-8

import numpy as np

from sklearn import metrics

# MAPE需要自己实现

def mape(y_true, y_pred):

    return np.mean(np.abs((y_pred - y_true) / y_true))

y_true = np.array([1.0, 5.0, 4.0, 3.0, 2.0, 5.0, -3.0])

y_pred = np.array([1.0, 4.5, 3.8, 3.2, 3.0, 4.8, -2.2])

# MSE

print('MSE:',metrics.mean_squared_error(y_true, y_pred))

# RMSE

print('RMSE:',np.sqrt(metrics.mean_squared_error(y_true, y_pred)))

# MAE

print('MAE:',metrics.mean_absolute_error(y_true, y_pred))

# MAPE

print('MAPE:',mape(y_true, y_pred))

结果：MSE: 0.287142857143

RMSE: 0.535857123815

MAE: 0.414285714286

MAPE: 0.14619047619

## R2-score

from sklearn.metrics import r2_score

y_true = [3, -0.5, 2, 7]

y_pred = [2.5, 0.0, 2, 8]

print('R2-score:',r2_score(y_true, y_pred))

结果：R2-score: 0.948608137045

4、宝贵的前人经验

1） 赛题理解究竟是理解什么：①分析赛题的任务逻辑②寻找赛题数据的关联逻辑②寻找对赛题可能有意义的外在数据④如何做到线上线下的一致性⑤EDA

2） 有了赛题理解后能做什么：①分析赛题的难点，关键点，突破点②分析那些数据可靠，哪些数据需要进行精密处理，哪些数据时关键数据（此处可以通过业务进行一些分析）

3） 赛题理解的-评价指标：①构建一个合理的本地的验证集和验证的评价指标②不同的评价指标有一定的差异性，这值得注意

4） 赛题背景中可能潜在隐藏的条件：遇到问题，反复斟酌赛题背景

二、EDA-数据探索性分析

1、EDA目标

①EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。

②当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。

③引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。

④完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结并打卡。

2、EDA代码示例

1、载入各种数据科学以及可视化库

#coding:utf-8

#导入warnings包，利用过滤器来实现忽略警告语句。

import warnings

warnings.filterwarnings('ignore')

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

import seaborn as sns

import missingno as msno

2、载入数据（遇到问题：文件中斜杠尽量用\,不要用/）

## 1) 载入训练集和测试集；

path = './datalab/231784/'

Train_data = pd.read_csv(path+'used_car_train_20200313.csv', sep=' ')

Test_data = pd.read_csv(path+'used_car_testA_20200313.csv', sep=' ')

## 2) 简略观察数据(head()+shape)

Train_data.head().append(Train_data.tail())

Train_data.shape

Test_data.head().append(Train_data.tail())

Test_data.shape

3、总览数据概况

## 1) 通过describe()来熟悉数据的相关统计量（包括count，mean，std，min，25%，50%，75%，max）

Train_data.describe()

Test_data.describe()

## 2) 通过info()来熟悉数据类型（显示每一列的数据类型）

Train_data.info()

Test_data.info()

4、判断数据缺失和异常

## 1) 查看每列的存在nan情况

Train_data.isnull().sum()

Test_data.isnull().sum()

# nan可视化

missing = Train_data.isnull().sum()

missing = missing[missing > 0]

missing.sort_values(inplace=True)

missing.plot.bar()

# 可视化看下缺省值（sample是随机采样函数）

msno.matrix(Train_data.sample(250))    

#热力图（展示的是两个特征的缺失关系--从-1到1）

msno.heatmap(Train_data,figsize=(7, 7))#figsize是指图的大小

msno.bar(Train_data.sample(1000))

# 可视化看下缺省值

msno.matrix(Test_data.sample(250))

msno.bar(Test_data.sample(1000))

## 2) 查看异常值检测

Train_data.info()

运行上述代码可以看出发现除了notRepairedDamage 为object类型其他都为数字，这里我们把他的几个不同的值都进行显示就知道了

Train_data['notRepairedDamage'].value_counts()  #显示notRepairedDamage各值的个数

Train_data['notRepairedDamage'].replace('-', np.nan, inplace=True) #替换

Train_data['notRepairedDamage'].value_counts()

Train_data.isnull().sum()

Test_data['notRepairedDamage'].value_counts()

Test_data['notRepairedDamage'].replace('-', np.nan, inplace=True)

#以下有两个类别特征严重倾斜

Train_data["seller"].value_counts()

Train_data["offerType"].value_counts()

del Train_data["seller"]

del Train_data["offerType"]

del Test_data["seller"]

del Test_data["offerType"]

5、了解预测值的分布

Train_data['price']

Train_data['price'].value_counts()

## 1) 总体分布概况（无界约翰逊分布等）

import scipy.stats as st

y = Train_data['price']

plt.figure(1); plt.title('Johnson SU')

sns.distplot(y, kde=False, fit=st.johnsonsu)

plt.figure(2); plt.title('Normal')

sns.distplot(y, kde=False, fit=st.norm)

plt.figure(3); plt.title('Log Normal')

sns.distplot(y, kde=False, fit=st.lognorm)

## 2) 查看skewness and kurtosis

sns.distplot(Train_data['price']);

print("Skewness: %f" % Train_data['price'].skew())

print("Kurtosis: %f" % Train_data['price'].kurt())

Train_data.skew(), Train_data.kurt()

sns.distplot(Train_data.skew(),color='blue',axlabel ='Skewness')

sns.distplot(Train_data.kurt(),color='orange',axlabel ='Kurtness')

## 3) 查看预测值的具体频数

plt.hist(Train_data['price'], orientation = 'vertical',histtype = 'bar', color ='red')

plt.show()

6、特征分为类别特征和数字特征，并对类别特征查看unique分布

# 分离label即预测值

Y_train = Train_data['price']

# 这个区别方式适用于没有直接label coding的数据

# 这里不适用，需要人为根据实际含义来区分

# 数字特征

# numeric_features = Train_data.select_dtypes(include=[np.number])

# numeric_features.columns

# # 类型特征

# categorical_features = Train_data.select_dtypes(include=[np.object])

# categorical_features.columns

numeric_features = ['power', 'kilometer', 'v_0', 'v_1', 'v_2', 'v_3', 'v_4', 'v_5', 'v_6', 'v_7', 'v_8', 'v_9', 'v_10', 'v_11', 'v_12', 'v_13','v_14' ]

categorical_features = ['name', 'model', 'brand', 'bodyType', 'fuelType', 'gearbox', 'notRepairedDamage', 'regionCode',]

# 特征nunique分布

for cat_fea in categorical_features:

    print(cat_fea + "的特征分布如下：")

    print("{}特征有个{}不同的值".format(cat_fea, Train_data[cat_fea].nunique()))

    print(Train_data[cat_fea].value_counts())

# 特征nunique分布

for cat_fea in categorical_features:

    print(cat_fea + "的特征分布如下：")

    print("{}特征有个{}不同的值".format(cat_fea, Test_data[cat_fea].nunique()))

    print(Test_data[cat_fea].value_counts())

7、数字特征分析

numeric_features.append('price')

numeric_features

Train_data.head()    

## 1) 相关性分析

price_numeric = Train_data[numeric_features]

correlation = price_numeric.corr()

print(correlation['price'].sort_values(ascending = False),'\n')

f , ax = plt.subplots(figsize = (7, 7))

plt.title('Correlation of Numeric Features with Price',y=1,size=16)

sns.heatmap(correlation,square = True,  vmax=0.8) 

#square使每个单元格为正方形

#annot: 默认为False，为True的话，会在格子上显示数字

#vmax, vmin: 热力图颜色取值的最大值，最小值，默认会从data中推导

del price_numeric['price']

## 2) 查看几个特征得 偏度和峰值

for col in numeric_features:

    print('{:15}'.format(col),

          'Skewness: {:05.2f}'.format(Train_data[col].skew()) ,

          '  ' ,

          'Kurtosis: {:06.2f}'.format(Train_data[col].kurt()) 

        )

## 3) 每个数字特征得分布可视化

f = pd.melt(Train_data, value_vars=numeric_features)

g = sns.FacetGrid(f, col="variable",  col_wrap=2, sharex=False, sharey=False)

g = g.map(sns.distplot, "value")

```swift

print（"ok"）

```