機器學習基石 (Machine Learning Foundations) 作业1 Q15-17的C++实现

大家好，我是Mac Jiang。今天和大家分享Coursera-台湾大学-機器學習基石 (Machine Learning Foundations) -作业1的Q15-17题的C++实现。这部分作业的任务主要是写一个PLA分类器，用于解决一个4维数据的分类问题。我的代码也许能较好的运行PLA算法，但它不一定是最好最快的实现过程，如果各位博友有更好的思路，请留言联系，谢谢！希望我的博客能给您带来一些学习上的帮助!

PLA是一种十分简单，快速的分类算法，有速度快、实现简单的特点，特别适用于样本是线性可分的情况。对于线性可分的样本，PLA的实现过程为：
{
1.寻找w(t)的下一个错误分类点（x,y）（即sign（w(t)’*x）！=y）；
2.纠正错误：w(t+1) = w(t) + y*x；
}until(每个样本都无错)

1.第15题

（1）题意：从https://d396qusza40orc.cloudfront.net/ntumlone%2Fhw1%2Fhw1_15_train.dat 下为训练数据，他的x是4维的，而且这个数据集是线性可分的，编写PLA算法进行分类，问迭代多少次后算法结束？
（2）代码实现

#include<fstream>
#include<iostream>
#include<vector>
using namespace std;

#define DEMENSION 5

double weight[DEMENSION];//权重值
int step = 0;//修改次数
int n = 0;//训练样本数
char *file = "training_data.txt";//读取文件名

//存储训练样本，input为x，output为y
struct record{
    double input[DEMENSION];
    int output;
};

//把记录存在向量里而不是存在结构体数组内，这样可以根据实际一项项添加
vector<record> trainingSet;

//将数据读入训练样本向量中
void getData(ifstream &datafile)
{
    while(!datafile.eof())
    {
        record curRecord;
        curRecord.input[0] = 1;
        int i;
        for(i = 1; i < DEMENSION; i++){
            datafile>>curRecord.input[i];
        }
        datafile>>curRecord.output;
        trainingSet.push_back(curRecord);
    }
    datafile.close();
    n = trainingSet.size(); 
}

//计算sign值
int sign(double x){
    if(x <= 0)return -1;
    else return 1;
}

//两向量相加(实际为数组相加)，将结果保存在第一个数组内，用于计算w(i+1)=w(i)+y*x
void add(double *v1,double *v2,int demension){
    int i;
    for(i = 0;i < demension; i++)v1[i] += v2[i];
}

//计算两数值相乘值，用于判断w*x是否小于0，若小于0要执行修正算法
double multiply(double *v1,double *v2,int demension){
    double temp = 0.0;
    int i;
    for(i = 0; i < demension; i++)temp += v1[i] * v2[i];
    return temp;
}

//计算实数num与向量乘积放在result中，用于计算y*x
void multiply(double *result,double *v,int demension,int num){
    int i;
    for(i = 0; i < demension; i++)result[i] = num * v[i];
}

void PLA()
{
    int correctNum = 0;//当前连续正确样本数，当等于n则表明轮完一圈，则表示全部正确，算法结束
    int index = 0;//当前正在计算第几个样本
    bool isFinished = 0;//算法是否全部完成的表示，=1表示算法结束
    while(!isFinished){
        if(trainingSet[index].output == sign(multiply(weight,trainingSet[index].input,DEMENSION)))correctNum++;//当前样本无错，连续正确样本数+1
        else{//出错，执行修正算法
            double temp[DEMENSION];
            multiply(temp,trainingSet[index].input,DEMENSION,trainingSet[index].output);//计算y*x
            add(weight,temp,DEMENSION);//计算w(i+1)=w(i)+y*x
            step++;//进行一次修正，修正次数+1
            correctNum = 0;//由于出错了，连续正确样本数归0
            cout<<"step"<<step<<":"<<endl<<"index="<<index<<" is wrong"<<endl;
        }
        if(index == n-1)index = 0;
        else index++;
        if(correctNum == n)isFinished = 1;
    }
    cout<<"total step:"<<step<<endl;
}

void main()
{
    ifstream dataFile(file);
    if(dataFile.is_open()){
        getData(dataFile);
    }
    else{
        cout<<"出错，文件打开失败！"<<endl;
        exit(1);
    }

    int i;
    for(i = 0; i < DEMENSION; i++)weight[i] = 0.0;
    PLA();
}

（3）实验结果:

45次

2.第16题

（1）题意：由于样本的排列顺序不同，最终完成PLA分类的迭代次数也不同。这道题要求我们打乱训练样本的顺序，进行2000次PLA计算，得到平均迭代次数。
在C++中自带打乱顺序的算法：random_shuffle函数，在调用之前，需要#include
（2）实现：

#include<fstream>
#include<iostream>
#include<vector>
#include<algorithm>
using namespace std;

#define DEMENSION 5

double weight[DEMENSION];//权重值
int step = 0;//修改次数
int totalStep = 0;
int n = 0;//训练样本数
char *file = "training_data.txt";//读取文件名

//存储训练样本，input为x，output为y
struct record{
    double input[DEMENSION];
    int output;
};

//把记录存在向量里而不是存在结构体数组内，这样可以根据实际一项项添加
vector<record> trainingSet;

//将数据读入训练样本向量中
void getData(ifstream &datafile)
{
    while(!datafile.eof())
    {
        record curRecord;
        curRecord.input[0] = 1;
        int i;
        for(i = 1; i < DEMENSION; i++){
            datafile>>curRecord.input[i];
        }
        datafile>>curRecord.output;
        trainingSet.push_back(curRecord);
    }
    datafile.close();
    n = trainingSet.size(); 
}

//计算sign值
int sign(double x){
    if(x <= 0)return -1;
    else return 1;
}

//两向量相加(实际为数组相加)，将结果保存在第一个数组内，用于计算w(i+1)=w(i)+y*x
void add(double *v1,double *v2,int demension){
    int i;
    for(i = 0;i < demension; i++)v1[i] += v2[i];
}

//计算两数值相乘值，用于判断w*x是否小于0，若小于0要执行修正算法
double multiply(double *v1,double *v2,int demension){
    double temp = 0.0;
    int i;
    for(i = 0; i < demension; i++)temp += v1[i] * v2[i];
    return temp;
}

//计算实数num与向量乘积放在result中，用于计算y*x
void multiply(double *result,double *v,int demension,double num){
    int i;
    for(i = 0; i < demension; i++)result[i] =  num * v[i];
}

void PLA()
{
    int correctNum = 0;//当前连续正确样本数，当等于n则表明轮完一圈，则表示全部正确，算法结束
    int index = 0;//当前正在计算第几个样本
    bool isFinished = 0;//算法是否全部完成的表示，=1表示算法结束
    while(!isFinished){
        if(trainingSet[index].output == sign(multiply(weight,trainingSet[index].input,DEMENSION)))correctNum++;//当前样本无错，连续正确样本数+1
        else{//出错，执行修正算法
            double temp[DEMENSION];
            multiply(temp,trainingSet[index].input,DEMENSION,trainingSet[index].output);//计算y*x
            add(weight,temp,DEMENSION);//计算w(i+1)=w(i)+y*x
            step++;//进行一次修正，修正次数+1
            correctNum = 0;//由于出错了，连续正确样本数归0
            //cout<<"step"<<step<<":"<<endl<<"index="<<index<<" is wrong"<<endl;
        }
        if(index == n-1)index = 0;
        else index++;
        if(correctNum == n)isFinished = 1;
    }
}

void main()
{
    ifstream dataFile(file);
    if(dataFile.is_open()){
         getData(dataFile);
     }
     else{
         cout<<"出错，文件打开失败！"<<endl;
         exit(1);
     }
    int i;
    for(i = 0; i < 2000; i++)
    {
      random_shuffle(trainingSet.begin(), trainingSet.end());
      int j;
      for(j = 0; j < DEMENSION; j++)weight[j] = 0.0;
      PLA();
      totalStep += step;
      cout<<"第"<<i<<"次迭代的step:"<<step<<endl;
      step = 0;
    }
    cout<<"average step:"<<totalStep/2000<<endl;
}

（3）实验结果：

平均40次

3.第17题

这道题实现更加简单，只要在num之前*0.5就可以了

void multiply(double *result,double *v,int demension,double num){
    int i;
    for(i = 0; i < demension; i++)result[i] =  num * v[i];
}

大约为40次

from：http://blog.csdn.net/a1015553840/article/details/50979434