datawhale数据竞赛组队学习-比赛总结

数据分析

使用describe()，cov()函数查看数据之间的联系，使用折线图查看变量之间的关系。

数据清洗

• 处理缺失值，使用平均值，最大值，频次最多的值代替缺失值，甚至可以将缺失值作为新的特征值。
• 异常值处理，可视化处理方式：箱图，散点图，数学处理方法：孤立森林

特征工程

• 特征合并：将类似的特征进行合并
• 计算统计特征：对特征进行求平方差，均值等统计量。
• 特征选择：对已经构造的特征进行选取，选取方法有Filter，wrapper，embeded。

模型选择

使用XGBoost,ligthBGM对处理后的train_data进行训练，调节参数。
在预给的代码中，lightBGM的评分是0.9.

模型融合

模型融合的方法有投票法，stacking，bagging，blending，Boosting。