機器學習基石 (Machine Learning Foundations) 作业1 Q15-17的C++实现

大家好,我是Mac Jiang。今天和大家分享Coursera-台湾大学-機器學習基石 (Machine Learning Foundations) -作业1的Q15-17题的C++实现。这部分作业的任务主要是写一个PLA分类器,用于解决一个4维数据的分类问题。我的代码也许能较好的运行PLA算法,但它不一定是最好最快的实现过程,如果各位博友有更好的思路,请留言联系,谢谢!希望我的博客能给您带来一些学习上的帮助!

PLA是一种十分简单,快速的分类算法,有速度快、实现简单的特点,特别适用于样本是线性可分的情况。对于线性可分的样本,PLA的实现过程为:
{
1.寻找w(t)的下一个错误分类点(x,y)(即sign(w(t)’*x)!=y);
2.纠正错误:w(t+1) = w(t) + y*x;
}until(每个样本都无错)

1.第15题
機器學習基石 (Machine Learning Foundations) 作业1 Q15-17的C++实现_第1张图片
(1)题意:从https://d396qusza40orc.cloudfront.net/ntumlone%2Fhw1%2Fhw1_15_train.dat 下为训练数据,他的x是4维的,而且这个数据集是线性可分的,编写PLA算法进行分类,问迭代多少次后算法结束?
(2)代码实现

#include<fstream>
#include<iostream>
#include<vector>
using namespace std;

#define DEMENSION 5

double weight[DEMENSION];//权重值
int step = 0;//修改次数
int n = 0;//训练样本数
char *file = "training_data.txt";//读取文件名

//存储训练样本,input为x,output为y
struct record{
    double input[DEMENSION];
    int output;
};

//把记录存在向量里而不是存在结构体数组内,这样可以根据实际一项项添加
vector<record> trainingSet;

//将数据读入训练样本向量中
void getData(ifstream &datafile)
{
    while(!datafile.eof())
    {
        record curRecord;
        curRecord.input[0] = 1;
        int i;
        for(i = 1; i < DEMENSION; i++){
            datafile>>curRecord.input[i];
        }
        datafile>>curRecord.output;
        trainingSet.push_back(curRecord);
    }
    datafile.close();
    n = trainingSet.size(); 
}

//计算sign值
int sign(double x){
    if(x <= 0)return -1;
    else return 1;
}

//两向量相加(实际为数组相加),将结果保存在第一个数组内,用于计算w(i+1)=w(i)+y*x
void add(double *v1,double *v2,int demension){
    int i;
    for(i = 0;i < demension; i++)v1[i] += v2[i];
}

//计算两数值相乘值,用于判断w*x是否小于0,若小于0要执行修正算法
double multiply(double *v1,double *v2,int demension){
    double temp = 0.0;
    int i;
    for(i = 0; i < demension; i++)temp += v1[i] * v2[i];
    return temp;
}

//计算实数num与向量乘积放在result中,用于计算y*x
void multiply(double *result,double *v,int demension,int num){
    int i;
    for(i = 0; i < demension; i++)result[i] = num * v[i];
}

void PLA()
{
    int correctNum = 0;//当前连续正确样本数,当等于n则表明轮完一圈,则表示全部正确,算法结束
    int index = 0;//当前正在计算第几个样本
    bool isFinished = 0;//算法是否全部完成的表示,=1表示算法结束
    while(!isFinished){
        if(trainingSet[index].output == sign(multiply(weight,trainingSet[index].input,DEMENSION)))correctNum++;//当前样本无错,连续正确样本数+1
        else{//出错,执行修正算法
            double temp[DEMENSION];
            multiply(temp,trainingSet[index].input,DEMENSION,trainingSet[index].output);//计算y*x
            add(weight,temp,DEMENSION);//计算w(i+1)=w(i)+y*x
            step++;//进行一次修正,修正次数+1
            correctNum = 0;//由于出错了,连续正确样本数归0
            cout<<"step"<<step<<":"<<endl<<"index="<<index<<" is wrong"<<endl;
        }
        if(index == n-1)index = 0;
        else index++;
        if(correctNum == n)isFinished = 1;
    }
    cout<<"total step:"<<step<<endl;
}

void main()
{
    ifstream dataFile(file);
    if(dataFile.is_open()){
        getData(dataFile);
    }
    else{
        cout<<"出错,文件打开失败!"<<endl;
        exit(1);
    }

    int i;
    for(i = 0; i < DEMENSION; i++)weight[i] = 0.0;
    PLA();
}

(3)实验结果:

45次

2.第16题

(1)题意:由于样本的排列顺序不同,最终完成PLA分类的迭代次数也不同。这道题要求我们打乱训练样本的顺序,进行2000次PLA计算,得到平均迭代次数。
在C++中自带打乱顺序的算法:random_shuffle函数,在调用之前,需要#include
(2)实现:

#include<fstream>
#include<iostream>
#include<vector>
#include<algorithm>
using namespace std;

#define DEMENSION 5

double weight[DEMENSION];//权重值
int step = 0;//修改次数
int totalStep = 0;
int n = 0;//训练样本数
char *file = "training_data.txt";//读取文件名

//存储训练样本,input为x,output为y
struct record{
    double input[DEMENSION];
    int output;
};

//把记录存在向量里而不是存在结构体数组内,这样可以根据实际一项项添加
vector<record> trainingSet;

//将数据读入训练样本向量中
void getData(ifstream &datafile)
{
    while(!datafile.eof())
    {
        record curRecord;
        curRecord.input[0] = 1;
        int i;
        for(i = 1; i < DEMENSION; i++){
            datafile>>curRecord.input[i];
        }
        datafile>>curRecord.output;
        trainingSet.push_back(curRecord);
    }
    datafile.close();
    n = trainingSet.size(); 
}

//计算sign值
int sign(double x){
    if(x <= 0)return -1;
    else return 1;
}

//两向量相加(实际为数组相加),将结果保存在第一个数组内,用于计算w(i+1)=w(i)+y*x
void add(double *v1,double *v2,int demension){
    int i;
    for(i = 0;i < demension; i++)v1[i] += v2[i];
}

//计算两数值相乘值,用于判断w*x是否小于0,若小于0要执行修正算法
double multiply(double *v1,double *v2,int demension){
    double temp = 0.0;
    int i;
    for(i = 0; i < demension; i++)temp += v1[i] * v2[i];
    return temp;
}

//计算实数num与向量乘积放在result中,用于计算y*x
void multiply(double *result,double *v,int demension,double num){
    int i;
    for(i = 0; i < demension; i++)result[i] =  num * v[i];
}

void PLA()
{
    int correctNum = 0;//当前连续正确样本数,当等于n则表明轮完一圈,则表示全部正确,算法结束
    int index = 0;//当前正在计算第几个样本
    bool isFinished = 0;//算法是否全部完成的表示,=1表示算法结束
    while(!isFinished){
        if(trainingSet[index].output == sign(multiply(weight,trainingSet[index].input,DEMENSION)))correctNum++;//当前样本无错,连续正确样本数+1
        else{//出错,执行修正算法
            double temp[DEMENSION];
            multiply(temp,trainingSet[index].input,DEMENSION,trainingSet[index].output);//计算y*x
            add(weight,temp,DEMENSION);//计算w(i+1)=w(i)+y*x
            step++;//进行一次修正,修正次数+1
            correctNum = 0;//由于出错了,连续正确样本数归0
            //cout<<"step"<<step<<":"<<endl<<"index="<<index<<" is wrong"<<endl;
        }
        if(index == n-1)index = 0;
        else index++;
        if(correctNum == n)isFinished = 1;
    }
}

void main()
{
    ifstream dataFile(file);
    if(dataFile.is_open()){
         getData(dataFile);
     }
     else{
         cout<<"出错,文件打开失败!"<<endl;
         exit(1);
     }
    int i;
    for(i = 0; i < 2000; i++)
    {
      random_shuffle(trainingSet.begin(), trainingSet.end());
      int j;
      for(j = 0; j < DEMENSION; j++)weight[j] = 0.0;
      PLA();
      totalStep += step;
      cout<<"第"<<i<<"次迭代的step:"<<step<<endl;
      step = 0;
    }
    cout<<"average step:"<<totalStep/2000<<endl;
}

(3)实验结果:

平均40次

3.第17题
機器學習基石 (Machine Learning Foundations) 作业1 Q15-17的C++实现_第2张图片
这道题实现更加简单,只要在num之前*0.5就可以了

void multiply(double *result,double *v,int demension,double num){
    int i;
    for(i = 0; i < demension; i++)result[i] =  num * v[i];
}

大约为40次

from:http://blog.csdn.net/a1015553840/article/details/50979434

你可能感兴趣的:(C++实现,PLA,作业1,機器學習基石,Q15-17)