Python实现DE差分进化算法优化支持向量机分类模型(SVC算法)项目实战

说明：这是一个机器学习实战项目（附带数据+代码+文档+视频讲解），如需数据+代码+文档+视频讲解可以直接到文章最后获取。

1.项目背景

差分进化算法(Differential Evolution，DE)由Storn和Price于1995年首次提出，主要用于求解实数优化问题。1996年在日本名古屋举行的第一届国际演化计算(ICEO)竞赛中，差分进化算法被证明是速度最快的进化算法。

差分进化思想来源于遗传算法（GeneticAlgorithm，GA），模拟遗传学中的杂交(crossover)、变异(mutation)、复制(reproduction)来设计遗传算子。该算法是一类基于群体的自适应全局优化算法，属于演化算法的一种。差分进化算法具有结构简单、容易实现、收敛快速、鲁棒性强等特点，被广泛应用在数据挖掘、模式识别、数字滤波器设计、人工神经网络、电磁学等各个领域。

差分进化算法相对于遗传算法而言，相同点都是通过随机生成初始种群，以种群中每个个体的适应度值为选择标准，主要过程也都包括变异、交叉和选择三个步骤。不同之处在于遗传算法是根据适应度值来控制父代杂交，变异后产生的子代被选择的概率值，在最大化问题中适应值大的个体被选择的概率相应也会大一些。而差分进化算法变异向量是由父代差分向量生成，并与父代个体向量交叉生成新个体向量，直接与其父代个体进行选择。显然差分进化算法相对遗传算法的逼近效果更加显著。

本项目通过DE差分进化算法优化支持向量机分类模型。

2.数据获取

本次建模数据来源于网络(本项目撰写人整理而成)，数据项统计如下：

 数据详情如下(部分展示)：

3.数据预处理

3.1 用Pandas工具查看数据

使用Pandas工具的head()方法查看前五行数据：

 

关键代码：

3.2数据缺失查看

使用Pandas工具的info()方法查看数据信息：

 

从上图可以看到，总共有7个变量，数据中无缺失值，共1000条数据。

关键代码：

3.3数据描述性统计

通过Pandas工具的describe()方法来查看数据的平均值、标准差、最小值、分位数、最大值。

 关键代码如下：

4.探索性数据分析

4.1 y变量柱状图

用Matplotlib工具的plot()方法绘制柱状图：

4.2 y=1样本x1变量分布直方图

用Matplotlib工具的hist()方法绘制直方图：

 4.3 相关性分析

从上图中可以看到，数值越大相关性越强，正值是正相关、负值是负相关。

5.特征工程

5.1 建立特征数据和标签数据

关键代码如下：

5.2 数据集拆分

通过train_test_split()方法按照80%训练集、20%测试集进行划分，关键代码如下：

6.构建DE差分进化算法优化支持向量机分类模型

主要使用DE差分进化算法优化SVC算法，用于目标分类。

6.1 算法介绍

     说明：DE算法介绍来源于网络，供参考,需要更多算法原理，请自行查找资料。

(1)算法原理:

初始化种群:

在解空间中随机均匀产生M个个体，每个个体由n维向量组成:

 

第i个个体的第j维值初始化方式如下：

变异操作：

差分进化算法与遗传算法最显著的区别在于DE的个体变异是通过差分策略实现的

在第g次迭代中，从种群中随机选择3个个体Xp1(g)，Xp2(g)，Xp3(g)，且p1≠p2≠p3≠i，生成的变异向量为：

 

其中 F是缩放因子，F越大，越不容易陷入局部极值点；F越小，越有利于收敛到局部极值点。

交叉操作：

以一定概率让新产生的变异个体与原种群中个体进行交叉重组，增强种群的多样性

 

其中cr∈[0,1]为交叉概率

选择操作：

不是在所有的Vi ( g )， X_i(g)的总共2M个个体中选出适应度最高的那M个个体，而是对于这一代的每个个体的Vi( g ) 和Xi ( g )都进行一次判断，留下适应度最好的那个作为下一代同样位置上的个体。

 

对于每个个体， Xi(g+1)要好于或持平于 Xi(g)。

(2)算法步骤：

step1：确定差分进化算法控制参数，确定适应度函数。差分进化算法控制参数包括:种群大小NP、缩放因子F与杂交概率CR。

step2：随机产生初始种群。

step3：对初始种群进行评价，即计算初始种群中每个个体的适应度值。

step4：判断是否达到终止条件或进化代数达到最大。若是，则终止进化，将得到最佳个体作为最优解输出；若否，继续。

step5：进行变异和交叉操作，得到中间种群。

step6：在原种群和中间种群中选择个体，得到新一代种群。

step7：进化代数g=g+1，转step4。

(3)参数说明与选择：

1. 种群规模（M）：一般介于5n到10n之间，但不能少于4，否则变异算则无法进行。
2. 缩放因子（F）：F主要影响算法的全局寻优能力。F越小，算法对局部的搜索能力更好，F越大算法越能跳出局部极小点，但是收敛速度会变慢。此外，F还影响种群的多样性。F一般取[0,2]，通常取0.5
3. 交叉概率（cr）：反映的是在交叉的过程中，子代与父代、中间变异体之间交换信息量的大小程度。CR的值越大，信息量交换的程度越大。反之，如果CR的值偏小，将会使种群的多样性快速减小，不利于全局寻优。cr一般取[0,1]。CR越大，收敛速度越快，但易发生早熟现象。

6.2 DE差分进化算法寻找最优参数值

关键代码：

迭代过程数据：

 最优参数：

6.3 最优参数值构建模型

7.模型评估

7.1评估指标及结果

评估指标主要包括准确率、查准率、查全率、F1分值等等。

从上表可以看出，F1分值为0.9061，说明模型效果良好。

关键代码如下：

 7.2 查看是否过拟合

从上图可以看出，训练集和测试集分值相当，无过拟合现象。

7.3 分类报告

从上图可以看出，分类为0的F1分值为0.92；分类为1的F1分值为0.91。  

7.4 混淆矩阵

从上图可以看出，实际为0预测不为0的 有9个样本；实际为1预测不为1的 有8个样本，整体预测准确率良好。  

8.结论与展望

综上所述，本文采用了DE差分进化算法寻找支持向量机SVC算法的最优参数值来构建分类模型，最终证明了我们提出的模型效果良好。此模型可用于日常产品的预测。

本次机器学习项目实战所需的资料，项目资源如下：

项目说明：
链接：https://pan.baidu.com/s/1dW3S1a6KGdUHK90W-lmA4w 
提取码：bcbp