挺完整的一篇博客,这里转载记录一下。
原文链接:PSO-LSSVM算法及其MATLAB代码
一、PSO
1.概念
粒子群优化算法(PSO:Particle swarm optimization)是一种进化计算技术。它的基本思想:通过群体中个体之间的协作和信息共享来寻找最优解。
2.算法的原理和实现步骤
2.1算法原理
PSO初始化为一群随机粒子(随机解),然后通过迭代找到最优解。在每一次的迭代中,粒子通过跟踪两个“极值”(pbest,gbest)来更新自己。在找到这两个最优值后,粒子通过下面的公式来更新自己的速度和位置。
2.2实现步骤
1)初始化一群微粒(群体规模为N),包括随机位置和速度;
2)评价每个粒子的初始适应值;
3)将初始适应值作为当前每个粒子的最优值,并记录当前的位置作为局部最优位置;
4)将最佳初始适应值作为当前全局最优值,并记录当前位置;
5)依据上文提到的计算速度和位置公式进行计算(要注意最大速度限幅处理);
6)比较当前适应值与之前的适应值,如果更优则进行更新;
7)找到当前粒子群的全局最优;
8)重复5-7步直到达到最小误差或者达到最大迭代次数;
9)输出。
3.算法的优缺点
3.1优点:
1)需要调整的参数少,原理简单,容易实现;
2)协同搜索,同时利用个体局部信息和群体全局信息进行指导搜索;
3)收敛速度快;
4)更容易飞跃局部最优信息。
3.2缺点:
1)算法局部搜索能力较差,搜索精度不高;
2)算法容易陷入局部最优,无法获取全局最优近似解。
二、LSSVM(最小二乘支持向量机)
1.LSSVM介绍
最小二乘支持向量机是支持向量机的一种改进,它是将传统支持向量机中的不等式约束改为等式约束,且将误差平方和(SumSquaresError)损失函数作为训练集的经验损失,这样就把解二次规划问题转化为求解线性方程组问题,提高求解问题的速度和收敛精度。
2.最小二乘支持向量机MATLAB工具箱
最小二乘支持向量机MATLAB工具箱下载地址见参考文献[4],工具箱用于解决分类问题主要用到3个函数,trainlssvm函数用来训练建立模型,simlssvm函数用于预估模型,plotlssvm函数是工具箱的专用绘图函数。
LSSVM要求调整的参数有两个:gam和sig2。其中gam是正则化参数,决定了适应误差的最小化和平滑程度,sig2是RBF函数的参数。type有两种类型,一种是classfication,用于分类,一种是function estimation,用于函数回归。
三、PSO优化LSSVM实现多分类
PSO通过优化LSSVM的两个参数gam和sig2,寻找参数的最优组合,从而提高分类精度。
LSSVM工具箱的trainlssvm函数和simlssvm函数一般用于二分类问题,多分类问题则需要构造多个二分类器。LSSVM工具箱的code函数可以将多分类任务编码和解码为多个二分类器。
首先使用code函数对多分类问题进行编码,然后用trainlssvm函数和simlssvm函数分别对数据进行训练和测试,再使用code函数对测试结果进行解码。PSO优化LSSVM实现多分类的源代码见参考文献[6],分类的精确率能达到90%以上。
参考文献
[1]粒子群优化算法(PSO)
[2]粒子群算法PSO详解
[3]MATLBA中最小二乘支持向量机原理+实例分析
[4]最小二乘支持向量机算法及工具
[5]PSO-LSSVM的matlab实现
[6]PSO-LSSVM的MATLAB代码