过采样之SMOTE算法

算法思想

SMOTE（Synthetic Minority Oversampling Technique），合成少数类过采样技术．它是基于随机过采样算法的一种改进方案，由于随机过采样采取简单复制样本的策略来增加少数类样本，这样容易产生模型过拟合的问题，即使得模型学习到的信息过于特别(Specific)而不够泛化(General)，SMOTE算法的基本思想是对少数类样本进行分析并根据少数类样本人工合成新样本添加到数据集中，具体如下图所示，算法流程如下。

• 对于少数类中每一个样本x，以欧氏距离为标准计算它到少数类样本集中所有样本的距离，得到其k近邻。
• 根据样本不平衡比例设置一个采样比例以确定采样倍率N，对于每一个少数类样本x，从其k近邻中随机选择N个样本（采样倍率），假设选择的近邻为x.
• 对于每一个随机选出的近邻o，分别与原样本按照公式构建新的样本。
• $$o(new)=o+rand(0,1)\ast (x-o)$$

算法流程

1. 随机选定n个少类样本

2.选择其中一个少类样本X，找出它的K近邻

3.根据采样倍率N在K近邻中随机选择N个点，将N个点分别与X的连线，然后在它们的连线之间随机选择一个点，这就是新增加的样本点。

SMOTE函数的使用：

from collections import Counter
from sklearn.datasets import make_classification
from imblearn.over_sampling import SMOTE
import matplotlib.pyplot as plt
x,y = make_classification(n_classes=2, class_sep=2,
weights=[0.1, 0.9], flip_y=0,n_repeated=0,n_redundant=0,
n_features=2, n_clusters_per_class=1, n_samples=500, random_state=1)
Counter(y)
# Counter({1: 450, 0: 50})
def devide(x,y):
    idx_0=[]
    idx_1=[]
    for idx,i in enumerate(y):
        if i==0:
            idx_0.append(idx)
        if i==1:
            idx_1.append(idx)
    x_0=x[idx_0,0]
    y_0=x[idx_0,1]
    x_1=x[idx_1,0]
    y_1=x[idx_1,1]
    return x_0,y_0,x_1,y_1
def draw(x,y):
    x_0,y_0,x_1,y_1=devide(x,y)
    plt.scatter(x_0,y_0,label='class 0')
    plt.scatter(x_1,y_1,label='class 1')
    plt.xlabel('feature 0')
    plt.ylabel('feature 1')
    plt.legend()
    plt.show()
    
draw(x,y)

x,y=SMOTE().fit_sample(x,y)
Counter(y)
# Counter({1: 450, 0: 450})
draw(x,y)

SMOTE算法的缺陷

该算法主要存在两方面的问题:

• 一是在近邻选择时,存在一定的盲目性。从上面的算法流程可以看出,在算法执行过程中,需要确定K值,即选择多少个近邻样本,这需要用户自行解决。从K值的定义可以看出,K值的下限是M值(M值为从K个近邻中随机挑选出的近邻样本的个数,且有M< K),M的大小可以根据负类样本数量、正类样本数量和数据集最后需要达到的平衡率决定。但K值的上限没有办法确定,只能根据具体的数据集去反复测试。因此如何确定K值,才能使算法达到最优这是未知的。
• 另外,该算法无法克服非平衡数据集的数据分布问题,容易产生分布边缘化问题。由于负类样本的分布决定了其可选择的近邻,如果一个负类样本处在负类样本集的分布边缘,则由此负类样本和相邻样本产生的“人造”样本也会处在这个边缘,且会越来越边缘化,从而模糊了正类样本和负类样本的边界,而且使边界变得越来越模糊。这种边界模糊性,虽然使数据集的平衡性得到了改善,但加大了分类算法进行分类的难度．

参考文献

https://www.cnblogs.com/wqbin/p/11117616.html