【Matlab】ID3算法的实现

1.先回顾先验熵、后验熵、条件熵、互信息。
2.Matlab代码如下：
（1）计算熵的函数entropy

function r=entropy(z)
ind=find(z~=0);
z=z(ind);
p=z/sum(z);
r=-sum(p.*log2(p));

（2）ID3函数

function y0=ID3(X,Y,x0)
[n,m]=size(X);
if(length(unique(Y))==1)%uniue()去掉矩阵中重复的函数
    y0=Y(1);
    return;
end
A=zeros([1,m]);
for k=1:m
    q=max(X(:,k));
    l=max(Y);
    stat=zeros([q,l]);
for i=1:n
    row=X(i,k);
    col=Y(i);
    stat(row,col)=stat(row,col)+1;
end
for j=1:l
   A(k)=A(k)+sum(stat(:,j))/n*entropy(stat(:,j));
end
end

    
  
[a,b]=min(A); %返回最小值下标
x=find(X(:,b)==x0(b));
newX=X(x,[1:b-1,b+1:end]);
newY=Y(x);
newx0=x0([1:b-1,b+1:end]);

y0=ID3(newX,newY,newx0);