机器学习之类别不平衡问题

1. 再缩放

以线性分类器为例，决策规则为：
公式（1）
然而，当训练集中正反例的数目不同时，令m+表示正例数目，m-表示反例数目，则观测几率是m+/m-，由于我们通常假设训练集是真实样本总体的无偏采样，因此观测几率就代表了真实几率。于是，只要分类器的预测几率高于观测几率就应判定为正例，即：
公式（2）
但是，我们的分类器是基于公式（1）进行决策，因此，需对其预测值进行调整，使其在基于公式（1）决策时，实际是在执行公式（2）。要做到这一点只需令
公式（3）

这就是不平衡学习的一个基本策略——“再缩放”。

但是，再缩放的思想虽然简单，但是实际操作却不平凡，主要因为“训练集是真实样本总体的无偏采样”这个假设往往并不成立，也就是说，我们未必能有效的基于训练集观测几率来推断出真实几率。现在技术上大体有三种做法：欠采样、过采样和阈值移动。

2. 欠采样

欠采样是指去除一些样本，使得正反样本数量接近，之后再进行学习。
代表性算法：EasyEnsemble是利用集成学习机制，将数量多的类别的样本划分为若干个集合供不同的学习器使用。

3. 过采样

过采样是指增加一些样本，再进行学习。
代表性算法：SMOTE 插值产生额外的样本。

4. 阈值移动

阈值移动是指直接基于原始的训练集进行学习，但在用训练好的分类器进行预测时，将公式（3）嵌入到其决策过程中。

值得一提的是，“再缩放”也是“代价敏感学习”的基础。在代价敏感学习中，将m-/m+用cost+/cost-代替即可。

参考文献
《机器学习》周志华著