统计机器学习 作业一 采用交叉验证、留出法、自助法划分数据集，绘制PR图
要求：随机生成两组数据，每组50个数，其中一组服从正态分布，另一组服从N(1,1) 。编写一个code：
Input：上面产生的100个数，类别数：2
Output：1、0标签序列（每个标签对应每个数）
评估以上code输出结果的准确度。（准确度标准：查准率、查全率）
查准率：
查全率：
PR图理解错了，不是多个独立的样例，而是修改阈值，我一直用的是>=0.5判为1，即阈值设置的是0.5，应该修改这个阈值
另外老师会嫌弃只用查准率、查全率，建议画AUC曲线等（感觉被嫌弃了_(:з」∠)_）
数据生成：
X_1=normrnd(0,1,1,50);
y_1=ones(1,50);
X_2=normrnd(1,1,1,50);
y_2=zeros(1,50);
X_p=[X_1,X_2];
y_p=[y_1,y_2];
c=randperm(numel(X_p)); %打乱顺序
X=X_p(c(1:numel(X_p))); %数据集
y=y_p(c(1:numel(X_p)));
X=X';
y=y';一、十折交叉验证
function [p r]=cross(X,y,fold);
indices=crossvalind('Kfold',100,fold); %Indices = crossvalind('Kfold', N, K) K折交叉
p=0;
r=0;
% cp=classperf(X);
for i=1:fold
test=(indices==i);
train=~test;
train_x=X(train,:);
train_y=y(train,:);
test_x=X(test,:);
test_y=y(test,:);
b=glmfit(train_x,train_y,'binomial','link','logit');%用逻辑回归来计算系数矩阵
logitFit=glmval(b,test_x,'logit'); %用逻辑回归的结果预测测试集的结果
logitFit=(logitFit>=0.5); %如果概率值不小于0.5，就认为是1，否则是0
pp=0;
rr=0;
tpfp=length(find(logitFit==1)); %预测出来的正例
tpfn=length(find(test_y==1)); %正例真正个数
m=length(test_y);
tp=0;
for j=1:m
if((test_y(j)==logitFit(j))&&(test_y(j)==1))
tp=tp+1; %预测出来的正确的正例个数
end;
end;
if(tpfp)
pp=tp/tpfp; %一次验证得到的查准率
end;
if(tpfn)
rr=tp/tpfn; %一次验证得到的查全率
end;
p=p+pp;
r=r+rr;
end
p=p/fold; %求平均值
r=r/fold;数据展示：
P=zeros(100,1);
R=zeros(100,1);
for k=1:100
[P(k) R(k)]=cross(X,y,10);
end;
figure;
plot(P,R,'rx','MarkerSize',10);
title('100 times 10 fold cross valindation');
xlabel('查准率');
ylabel('查全率');
当然每次生成的数据集不一样，结果也很随机~
特例：当fold=N（样本数），就是留一法
[P R]=cross(X,y,100); %为啥留一法出来的值那么低，
训练出来的结果查准率和查全率都在0.3左右
二、留出法
留出法实现参考博客
function [P R]=split(X,y,k,ratio)
m=size(X,1);
y_labels=unique(y); %去重，只留下标记
train_x=[];
train_y=[];
d=[1:m]';
for i=1:k
class_i=find(y==y_labels(i));
if isempty(class_i)
continue;
end
size_i=length(class_i); %打乱标记i
rp=randperm(size_i);
rp_ratio=rp(1:floor(size_i*ratio)); %在标记i中取ratio作为训练集 以保证每个类别都取出一定的数量来训练
indices=class_i(rp_ratio); %i类作为训练集的下标
train_x=[train_x;X(indices,:)];
train_y=[train_y;y(indices,:)];
d=setdiff(d,indices); %训练集以外为测试集
end
test_x=X(d,:);
test_y=y(d,:);
P-R图
（注意P-R图绘制方法是错的，还没修改）
正确方法是将logitFit按照从大到小顺序排序，每次以一个logitFit作为正例和反例的界限，计算P值和R值
for r=1:1:100
tpfn=length(find(test_y==1)); %正例真正个数
b=glmfit(train_x,train_y,'binomial','link','logit');%用逻辑回归来计算系数矩阵
logitFit=glmval(b,test_x,'logit'); %用逻辑回归的结果预测测试集的结果
logitFit=(logitFit>=1.0*r/100);
% P=0;
% R=0;
tpfp=length(find(logitFit==1)); %预测出来的正例
m=length(test_y);
tp=0;
% plot(logitFit,test_y,'rx');
for j=1:m
if((test_y(j)==logitFit(j))&&(test_y(j)==1))
tp=tp+1;
end
end
if(tpfp)
P(r)=tp/tpfp;
end
if(tpfn)
R(r)=tp/tpfn;
end
end;
plot(P,R);
阈值由0.01到1，步长0.01
三、自助法
function [P R]=bootstrap(X,y)
m=size(X,1); %得到样本个数
train_x=[];
train_y=[];
d=[1:m]';
for i=1:m
indices=unidrnd(m);
train_x=[train_x;X(indices,:)];
train_y=[train_y;y(indices,:)];
d=setdiff(d,indices);
end
test_x=X(d,:);
test_y=y(d,:);
四、总结
讲道理小数据自助法应该比较好用，是不是我代码写崩了