数据不均衡问题的解决
目录
数据不均衡问题可以使用的方法：
1. 使用正确指标评估权值
2. 采样
3.数据合成
4.算法层面
分类器算法上的改进
代价敏感学习算法(Cost-Sensitive Learning)
例子：改进分类器的代价函数：C-SVC算法的SVM
数据不均衡问题可以使用的方法：
一、使用正确指标评估权值
AUC_ROC ACC SPEC SENS PPV NPV MCC F1score AUC_PRC
二、数据层面
1. 数据重采样
1).欠抽样
删减大比例类的样本量
2).过抽样
增加小比例类的样本量
| 上采样 | 下采样 | |
|---|---|---|
| 使用情况 | 数据不足时 | 数据充足 (支撑得起你的浪费) |
| 数据集变化 | 增加 | 间接减少(量大类被截流了) |
| 具体手段 | 大量复制量少类样本；数据扩充 | 批处理训练时，控制从量大类取的图像数量 |
| 风险 | 过拟合 |
2. 类别平衡采样
通过设计 样本列表 来实现平衡采样。
3.数据合成
eg:SMOTE算法
概念：
合成少数类过采样技术，利用小众样本在特征空间的相似性来生成新样本
算法流程：
(1)对于少数类中每一个样本x，欧氏距离为标准计算它到少数类样本集中所有样本的距离，得到其k近邻。
(2)根据样本不平衡比例设置一个采样比例以确定采样倍率N，对于每一个少数类样本x，从其k近邻中随机选择若干个样本，假设选择的近邻为Xn。
(3)对于每一个随机选出的近邻Xn，分别与原样本按照如下的公式构建新的样本。
算法的缺陷：
该算法主要存在两方面的问题:
1)在近邻选择时,存在一定的盲目性
需要根据实验结果调整临近点数
2)容易产生分布边缘化问题
可能将边缘复制，产生模糊的边界
3)人造数据不靠谱
三、算法层面
在目标函数中，增加 量少类 样本 被错分 的 损失值 。
1. 基于代价敏感矩阵的代价敏感
利用 K×KK×K 的 矩阵CC 对不同样本类别施加错分惩罚。
在目标函数中，增加量少类样本被错分的损失值 。
准确度这个评价指标在类别不均衡的分类任务中并不能work.
代价敏感学习算法(Cost-Sensitive Learning)
不同类型的五分类情况导致的代价是不一样的。因此定义代价矩阵，Cij表示将类别j误分类为i的代价，显然C00=C11=0.C01和C10为两种不同的误分类代价，当两者相等时为代价不敏感的学习问题。
代价敏感学习方法主要有以下的实现方式：
(1)从学习模型出发，着眼于对某一具体学习方法的改造，使之能适应不平衡数据下的学习，研究者们针对不同的学习模型如感知机，支持向量机，决策树，神经网络等分别提出了其代价敏感的版本。以代价敏感的决策树为例，可从三个方面对其进行改进以适应不平衡数据的学习，这三个方面分别是决策阈值的选择方面、分裂标准的选择方面、剪枝方面，这三个方面中都可以将代价矩阵引入。
(2)从贝叶斯风险理论出发，把代价敏感学习看成是分类结果的一种后处理，按照传统方法学习到一个模型，以实现损失最小为目标对结果进行调整，优化公式如下所示。此方法的优点在于它可以不依赖所用具体的分类器，但是缺点也很明显它要求分类器输出值为概率。
(3)从预处理的角度出发，将代价用于权重的调整，使得分类器满足代价敏感的特性。
例子：改进分类器的代价函数：C-SVC算法的SVM
对于少类和多类，分别采用不同的惩罚系数c,使得超平面向一类方向偏移
2. 基于代价敏感向量的代价敏感
每个样本 都具有自己的 代价敏感矩阵。一旦这样些代价敏感矩阵相同，则该方法 退化 为“基于代价敏感矩阵的代价敏感向量”。
Example：
- Focal Loss
focal loss 的出现，是一个伟大的里程碑。它的出现，直接将类别不平衡处理从原来繁杂的人工时代进化到了 纯计算时代 。管你类别再不平衡，只需一个简单的公式，统统搞定：
其中pt为：
展开来看，Kaiming 大神的 Focal Loss 形式是：
如果落实到 ŷ =σ(x) 这个预测，那么就有：
特别地，如果 K 和 γ 都取 1，那么 L∗∗=Lfl。
事实上 K 和 γ 的作用都是一样的，都是调节权重曲线的陡度，只是调节的方式不一样。注意 L∗∗ 或 Lfl 实际上都已经包含了对不均衡样本的解决方法，或者说，类别不均衡本质上就是分类难度差异的体现。
比如负样本远比正样本多的话，模型肯定会倾向于数目多的负类（可以想象全部样本都判为负类），这时候，负类的 ŷ γ 或 σ(Kx) 都很小，而正类的 (1−ŷ )γ 或 σ(−Kx) 就很大，这时候模型就会开始集中精力关注正样本。
当然，Kaiming 大神还发现对 Lfl 做个权重调整，结果会有微小提升。
通过一系列调参，得到 α=0.25, γ=2（在他的模型上）的效果最好。注意在他的任务中，正样本是属于少数样本，也就是说，本来正样本难以“匹敌”负样本，但经过 (1−ŷ )γ 和 ŷγ 的“操控”后，也许形势还逆转了，还要对正样本降权。
参考资料：
https://blog.csdn.net/u013102349/article/details/79309198
https://blog.csdn.net/jningwei/article/details/79249195
https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/78920998