matlab 实现感知器，最小二乘法两种线性分类器

感知器算法

一、原理
引例：感知器就像一个老师在训一个学生，学生一件事做错了，就纠正他一下，如果下一次另一个事再做错了，就再
纠正一下，而对的就不管他，这样一直纠正，最后那个学生做什么事都是“完美的”。
感知器任务：通过已知的实例调节权重，使其能够预测出未知实例的结果。

符号表示：

if (w1*x1+w2*x2+…….>b) return true

else return false

由于b是常数，我们可以将b表示为-w0×X0，则可以表示为

if (w1*x1+w2*x2+…….+w0×x0>0) return true

else return false

训练方法：

当预测值等于我们期待的结果时： 什么也不用做

但当其小于的时候，说明我们增加的权值小了，赢补上一个正数数 例如所有xi××2的和数学表达推导如下：

w1*x1+a*x1*x1+w2*x2+a*x2*x2+…… 住：a为学习速率因子，会影响学习速率

w的更新值相当于wi=wi+a×xi
当其大于时候应改为减号，归结起来应为如下表达式：
wi=wi+a*(y-h(x))*xi
二、代码实现

function[w,b]=perceptionLearning(trainData,trainLabel,studyRate)
%trainData 训练数据
%trainLabel 训练数据的标签，取值为1和-1
%studyRate 感知器的学习率(0,1];
[nums,demens]=size(trainData);
%初始化w 和 b
w=zeros(1,demens);
b=0;
%训练过程
for i=1:nums
    flag=(trainData(i,:)*w'+b)*trainLabel(i);
    if flag<=0
        w=w+studyRate*trainLabel(i)*trainData(i,:);
        b=b+studyRate*trainLabel(i);
    end
end
%可视化 只实现了2维的可视化
color = {'r.', 'g.', 'm.', 'b.', 'k.', 'y.'}; 
if demens==2
    subplot(1,1,1);
    plot(trainData(trainLabel==1,1),trainData(trainLabel==1,2),char(color(2)));
    hold on;
    plot(trainData(trainLabel==-1,1),trainData(trainLabel==-1,2),char(color(3)));
    hold on;
    x=linspace(0,12,5000);
    y=(-b-w(1)*x)/w(2);
    plot(x,y,'r');
    title('训练数据');        
else
    disp('维度不符合画图标准（1维的懒得画），咱就不画啦');
end
end

最小二乘法

一、原理
我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？ 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空间线性是一个超平面…

对于一元线性回归模型, 假设从总体中获取了n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。 选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。有以下三个标准可以选择：

    （1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。
    （2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。
    （3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。

　 最常用的是普通最小二乘法（ Ordinary Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。（Q为残差平方和）- 即采用平方损失函数。
　 二、代码实现
　

function [ w ] = leastSquares( trainData,trainLabel )
%UNTITLED 此处显示有关此函数的摘要
%   此处显示详细说明
[nums,demens]=size(trainData);
trainData=[trainData,ones(nums,1)];
R=trainData'*trainData;
E=trainData'*trainLabel;
w=inv(R)*E;
%b=norm(trainLabel-trainData*w,2);

%可视化 只实现了2维的可视化
color = {'r.', 'g.', 'm.', 'b.', 'k.', 'y.'}; 
if demens==2
    subplot(1,1,1);
    plot(trainData(trainLabel==1,1),trainData(trainLabel==1,2),char(color(2)));
    hold on;
    plot(trainData(trainLabel==-1,1),trainData(trainLabel==-1,2),char(color(3)));
    hold on;
    x=linspace(0,12,5000);
    y=(-w(1)/w(2))*x-w(3)/w(2);
    plot(x,y,'r');
    title('训练数据');        
else
    disp('维度不符合画图标准（1维的懒得画），咱就不画啦');
end



end

两个方法的测试函数

clear;
clc;
n=100;
%生成训练数据
mu1=[2 10];
mu2=[10 2];
sigma1=[1.5 0;0 1];
sigma2=[1 0.5;0.5 2];
r1=mvnrnd(mu1,sigma1,n);
r2=mvnrnd(mu2,sigma2,n);
trainData=[r1;r2];
trainLabel=[ones(100,1);-1*ones(100,1)];
studyRate=0.7;
%[w,b]=perceptionLearning(trainData,trainLabel,studyRate);
[w]=leastSquares(trainData,trainLabel);