机器学习模型构建时正负样本不平衡带来的问题及解决方法

在机器学习模型构建的时候，我们往往会遇到数据样本正负比例极其不平衡的情况，例如在征信模型或者判断客户购买商品是否使用分期时，往往正负样本比达到10:1，这样会造成许多实际问题。

样本不均衡会导致：对比例大的样本造成过拟合，也就是说预测偏向样本数较多的分类。这样就会大大降低模型的范化能力。往往accuracy（准确率）很高，但auc很低。

解决办法：

1.上采样：

增加样本数较少的样本，其方式是直接复制原来的样本。样本较少时采用。

2.下采样：

减少样本数较多的样本，其方式是丢弃这些多余的样本。样本较多时采用。

实际情况下，上采样用的更多一些。

3.合成样本：

增加样本数目较少的那一类的样本，合成指的是通过组合已有的样本的各个 feature 从而产生新的样本。

一种最简单的方法就是从各个 feature 中随机选出一个已有值，然后拼接成一个新的样本，这种方法增加了样本数目较少的类别的样本数，作用与上面提到的上采样方法一样，不同点在于上面的方法是单纯的复制样本，而这里则是拼接得到新的样本。这类方法中的具有代表性的方法是 SMOTE（Synthetic Minority Over-sampling Technique），这个方法通过在相似样本中进行 feature 的随机选择并拼接出新的样本。

4.改变样本权重：

增大样本数较少类别的样本的权重，当这样的样本被误分时，其损失值要乘上相应的权重，从而让分类器更加关注这一类数目较少的样本。