天池-二手车价格预测-Modeling

接上两篇：天池-二手车价格预测-EDA、天池-二手车价格预测-FE

0.Modeling简介

经过EDA和FE环节，原始数据已经经过相应的处理，此时可以将处理后的数据重新拆分为两个集合：特征集合和目标集合，然后，通过建模用特征预测目标。

1.主要流程

1.1 数据划分

通常，在训练有监督的机器学习模型的时候，会将数据划分为训练集、验证集和测试集，目的是为了能够选出效果最好、泛化最佳的模型。

训练集（Training set）：训练出同一参数不同取值的模型。

验证集(Cross Validation set)：验证训练集训练出的各个模型的效果，得到效果最好的模型的参数。

测试集(Test set)：通过训练集、验证集中不存在的数据对模型泛化能力做出评估。

1.2 模型构建

此次直接使用XGBoost和LightGBM模型，有关详细介绍可以参考：Datawhale阿泽的文章。
基本的步骤如下：

1. 搭建Baseline，对特征工程效果做初步评估；
2. 根据Baseline进一步特征工程后，开始做参数的调整，此处直接采用贝叶斯调参，主要参考：Kaggled的相关Kernel；
3. 重复1、2步，直至获取满意的模型，最后可进一步通过模型融合等技巧做提升。

2.核心代码

• 待填坑

3.下一步工作

目前仅对LightGBM进行调参，特征工程也仅对时间特征做了年月周日的切分处理，在50轮贝叶斯搜索（耗时约半小时）后线上分数为520分，线下即便进行400轮搜索仍然没有提升，可见，在不进一步改进特征工程的情况下，模型已经很难再有提升，后期应该再对数据尝试更多的处理。另外，还可以尝试通过训练其它多个模型后做模型融合，以期达到更好的效果。