SMOTE算法——合理样本生成器，告别样本不均衡

首先，看Smote算法之前，我们先看下当正负样本不均衡的时候，我们通常用的方法：

• 抽样
  常规的包含过抽样、欠抽样、组合抽样
  过抽样：将样本较少的一类sample补齐
  欠抽样：将样本较多的一类sample压缩
  组合抽样：约定一个量级N，同时进行过抽样和欠抽样，使得正负样本量和等于约定量级N

       这种方法要么丢失数据信息，要么会导致较少样本共线性，存在明显缺陷

• 权重调整
  常规的包括算法中的weight，weight matrix
  改变入参的权重比，比如boosting中的全量迭代方式、逻辑回归中的前置的权重设置

       这种方式的弊端在于无法控制合适的权重比，需要多次尝试

• 核函数修正
  通过核函数的改变，来抵消样本不平衡带来的问题

        这种使用场景局限，前置的知识学习代价高，核函数调整代价高，黑盒优化

• 模型修正
  通过现有的较少的样本类别的数据，用算法去探查数据之间的特征，判读数据是否满足一定的规律
  比如，通过线性拟合，发现少类样本成线性关系，可以新增线性拟合模型下的新点

       实际规律比较难发现，难度较高

SMOTE（Synthetic minoritye over-sampling technique,SMOTE）是Chawla在2002年提出的过抽样的算法，一定程度上可以避免以上的问题

下面介绍一下这个算法：

很明显的可以看出，蓝色样本数量远远大于红色样本，在常规调用分类模型去判断的时候可能会导致之间忽视掉红色样本带了的影响，只强调蓝色样本的分类准确性，这边需要增加红色样本来平衡数据集

Smote算法的思想其实很简单，先随机选定n个少类的样本，再找出最靠近它的m个少类样本，如下图

再任选最临近的m个少类样本中的任意一点，在这两点上任选一点，这点就是新增的数据样本

假设，我们利用上述的算法产生了两个青色方框的新数据点，这个结果我们可以综合Tomek link做一个集成的数据扩充的算法，思路如下：

对于新产生的青色数据点与其他非青色样本点距离最近的点，构成一对Tomek link，如下图框中的青蓝两点

我们可以定义规则：
当以新产生点为中心，Tomek link的距离为范围半径，去框定一个空间，空间内的少数类的个数/多数类的个数<最低阀值的时候，认为新产生点为“垃圾点”，应该剔除或者再次进行smote训练；空间内的少数类的个数/多数类的个数>=最低阀值的时候,在进行保留并纳入smote训练的初始少类样本集合中去抽样
所以，剔除左侧的青色新增点，只保留右边的新增数据如下：

算法参数：

SMOTE(ratio=’auto’, random_state=None, k_neighbors=5, m_neighbors=10,out_step=0.5,

               kind=’regular’,svm_estimator=None, n_jobs=1)
ratio：用于指定重抽样的比例，如果指定字符型的值，可以是’minority’，表示对少数类别的样本进行抽样、’majority’，表示对多数类别的样本进行抽样、’not minority’表示采用欠采样方法、’all’表示采用过采样方法，默认为’auto’，等同于’all’和’not minority’；如果指定字典型的值，其中键为各个类别标签，值为类别下的样本量；
k_neighbors：指定近邻个数，默认为5个；

m_neighbors：指定从近邻样本中随机挑选的样本个数，默认为10个；

kind：用于指定SMOTE算法在生成新样本时所使用的选项，默认为’regular’，表示对少数类别的样本进行随机采样，也可以是’borderline1’、’borderline2’和’svm’；

svm_estimator：用于指定SVM分类器，默认为sklearn.svm.SVC，该参数的目的是利用支持向量机分类器生成支持向量，然后再生成新的少数类别的样本；

random_state：用于指定随机数生成器的种子，默认为None,表示使用默认的随机数生成器；

代码：python开发：特征工程代码模版