玩转Perceptron Learning Algorithm

数据:https://www.csie.ntu.edu.tw/~htlin/course/ml15fall/hw1/hw1_15_train.dat

总共含有400条数据,其中前四个为特征,最后的是label,类别有两类,+1和-1.


对这样特征思维,类别两类的分类问题,并且我们已知这些数据是线性可分的,我们采用PLA来进行分类。

算法很简单:

玩转Perceptron Learning Algorithm_第1张图片

来源台大林轩田的机器学习基石


1. 顺序调整

matlab实现:

load 'hw1_15_train.txt'
w = [0,0,0,0,0];
x0 = 1;
times = 0;

train_x = ones(400,1);
train_x = [train_x,hw1_15_train(:,1:4)];
train_y = hw1_15_train(:,5);

for i = 1:400
    dotvalue = dot(w,train_x(i,:));
    if(sign(dotvalue)~=train_y(i))
        w = w + train_x(i,:)*train_y(i);
        fprintf('%d  %s\n',i,'makes mistake.');
        times = times + 1;
    end
end


最开始的权重初始化为0,并且0的符号设置为-1,x0=1.

总共迭代37次, 按顺序最后一次调整是在第234个数据。

2.如果安装乱序,并且做2000次,统计迭代次数

matlab实现:

load 'hw1_15_train.txt'
w = [0,0,0,0,0];
x0 = 1;
times = 0;

train_x = ones(400,1);
train_x = [train_x,hw1_15_train(:,1:4)];
train_y = hw1_15_train(:,5);

alltimes = [];
for k = 1:2000
    times = 0;
    w = [0,0,0,0,0];
    id = randperm(400);
    rtrain_x = train_x(id,:);
    rtrain_y = train_y(id);

    for i = 1:400
        dotvalue = dot(w,rtrain_x(i,:));
        if(sign(dotvalue)~=rtrain_y(i))
            w = w + rtrain_x(i,:)*rtrain_y(i);
            fprintf('%d  %s\n',i,'makes mistake.');
            times = times + 1;
        end
    end
    alltimes = [alltimes,times];
end
 %tabulate(alltimes) 统计出现的频次和频率
 hist(alltimes,unique(alltimes)); %直方图

统计直方图:

玩转Perceptron Learning Algorithm_第2张图片

最好的情况是迭代次数只需要7次,最差的情况是58次迭代,平均迭代次数为34.09,由此可以看出数据的顺序对PLA算法具有很强烈的影响。


3. 调整权重更新公式


之前相当于去1,现在减慢权重的更新速度,看看有什么不一样,取=0.5,

直接上结果,

玩转Perceptron Learning Algorithm_第3张图片

最小迭代次数是7,最大迭代次数是58,平均值是34.10,跟调整前的结果差别并不是很大。



最开始我们说了,我们已知数据是线性可分的,但是并不是所有的数据都有这么好的特性,那线性不可分的情况下,我们能够怎么利用PLA感知器算法,就是设置一个最大的迭代次数,然后保存最好的权重,这也被称为pocket algorithm,即口袋算法。

算法流程:

玩转Perceptron Learning Algorithm_第4张图片

现在换一批数据,

训练数据:

https://www.csie.ntu.edu.tw/~htlin/course/ml15fall/hw1/hw1_18_train.dat
测试数据:

https://www.csie.ntu.edu.tw/~htlin/course/ml15fall/hw1/hw1_18_test.dat


先用训练数据训练PLA,每次调整权重时都用测试数据测试预测准确率,如果超过之前的准确率则保存这个权重为最好权重,也就是把这个权重放到口袋里。直到达到迭代次数达到50次,停止迭代。重复做2000次。


matlab实现:

load 'hw1_18_train.txt'
load 'hw1_18_test.txt'
w = [0,0,0,0,0];
x0 = 1;
times = 0;

one = ones(500,1);
train_x = [one,hw1_18_train(:,1:4)];
train_y = hw1_18_train(:,5);
test_x = [one,hw1_18_test(:,1:4)];
test_y = hw1_18_test(:,5);

alltimes = [];
allAcc = [];
bestacc = 0;
bestw = [];
for k = 1:2000
    times = 0;
    w = [0,0,0,0,0];
    id = randperm(500);
    rtrain_x = train_x(id,:);
    rtrain_y = train_y(id);

    for i = 1:500
        dotvalue = dot(w,rtrain_x(i,:));
        if(sign(dotvalue)~=rtrain_y(i))
            w = w + rtrain_x(i,:)*rtrain_y(i);
            fprintf('%d  %s\n',i,'makes mistake.');
            times = times + 1;
        end
        predict_y = sign(w*test_x');
        acc = sum(predict_y==test_y')/size(test_y,1);
        if(acc>bestacc)
            bestw = w;
            bestacc = acc;
        end
        if(times>50)
            break;
        end
    end
    allAcc = [allAcc,bestacc];
end
 %tabulate(alltimes) %统计出现的频次和频率
 hist(allAcc,unique(allAcc)); %直方图

结果:

玩转Perceptron Learning Algorithm_第5张图片

可以看到,准确率基本都有90%,如果不保存最好的权重,任由其调整,甚至会出现20%的准确率,因此这个算法在某种程度上保证了较好的识别率。


如果我们增加迭代次数,比说说改为100,结果如下:

玩转Perceptron Learning Algorithm_第6张图片

还是有提升的,毕竟增加了50次权重的可能性。


PLA算法是机器学习的入门级算法,但是通过这个例子能够对机器学习的整个流程有个大致的了解,通过这个例子希望给正在入门的童鞋一些帮助!

你可能感兴趣的:(MachineLearning)