matlab决策树 id3算法实现多叉树树形图显示
matlab 决策树 id3算法实现多叉树树形图显示
受一个科大同学之情，是科大《机器学习》这门课的课程作业之一，暑假在家抽时间完成了这个matlab的版本。略有不足，还望多多海涵。感觉网上关于matlab问题的解答不是很多，大家共同努力吧！自己琢磨了挺久的，颇感遗憾。
感觉对你有帮助的可以去下载一下我的代码，谢谢。
https://download.csdn.net/download/justsolow/11214000
也是科大的《模式识别》课程的大作业，用python写的GUI界面K-means聚类。
https://download.csdn.net/download/justsolow/11530044
这是本文的完整代码下载链接，感谢支持。
借鉴：https://www.cnblogs.com/Kermit-Li/p/4503427.html
数据集
https://blog.csdn.net/lfdanding/article/details/50753239
在此作者基础上做了一定的改进，实现多叉树。
这是实际运行的结果：
main.m主函数
clc;
clear all;
close all;
%% 数据预处理
disp('正在进行数据预处理...');
[matrix,attributes_label,attributes] = id3_preprocess();
%% 构造ID3决策树，其中id3()为自定义函数
disp('数据预处理完成，正在进行构造树...');
tree = decissiontree(matrix,attributes_label,attributes);
%% 打印并画决策树
[nodeids,nodevalues] = print_tree(tree);
tree_plot(nodeids,nodevalues);
disp('ID3算法构建决策树完成！');
decissiontree.m主要的执行函数
注释部分是另外一种实现方法用cell形式取出数据再转换成结构体。
function [ tree ] = decissiontree(train_data,labels,activeAttributes)
%input train_data 训练数据
%labels 标签
%activeAttributes 活跃属性
%output
%% 数据预处理
[m,n] = size(train_data);
disp('original data');
disp(train_data);
%% 建立决策树
%% 结构体定义
% 创建树节点
% tree = struct('value','null');
% 提供的数据为空，则报异常
if (isempty(train_data))
error('必须提供数据！');
end
% 常量
numberAttributes = length(activeAttributes);
numberExamples = length(train_data(:,1));
% 如果最后一列全部为1，则返回“true”
lastColumnSum = sum(train_data(:, numberAttributes + 1));
if (lastColumnSum == numberExamples);
tree.value = 'true';
tree.children = 'null';
return
end
% 如果最后一列全部为0，则返回“false”
if (lastColumnSum == 0);
tree.value = 'false';
tree.children = 'null';
return
end
% 如果活跃的属性为空，则返回label最多的属性值
if (sum(activeAttributes) == 0);
if (lastColumnSum >= numberExamples / 2);
tree.value = 'true';
tree.children = 'null';
else
tree.value = 'false';
tree.children = 'null';
end
return
end
bestfeats = choose_bestfeat(train_data);
disp(['bestfeat:',num2str(bestfeats)]);
tree.value = labels{bestfeats};
disp(['bestfeature:',num2str(bestfeats)]);
activeAttributes(bestfeats) = 0;
featvalue = unique(train_data(:,bestfeats));
featvalue_num = length(featvalue);
filed = {'children'};
%labels=[labels(1:bestfeats-1) labels(bestfeats+1:length(labels))];
for i=0:featvalue_num-1
example = train_data(train_data(:,bestfeats) == i,:);
leaf = struct('value', 'null');
% 当 value = false or 0, 左分支
if (isempty(example));
if (lastColumnSum >= numberExamples / 2); % for matrix examples
leaf.value = 'true';
leaf.children = 'null';
else
leaf.value = 'false';
leaf.children = 'null';
end
tree.children(i+1) = leaf;
else
% 递归
% if class(tree.children) == 'struct'
tree.children(i+1) = decissiontree(example,labels,activeAttributes);
% end
% if class(tree.children) == 'cell'
% tree.children{i+1} = decissiontree(example,labels,activeAttributes);
% % end
% if i>=1;
% tree.children = cell2struct(tree.children,filed,1);
% end
disp('--------------------------------------------');
end
end
%返回
return
end
数据处理
function [ matrix,attributes,activeAttributes ] = id3_preprocess( )
%% ID3算法数据预处理，把字符串转换为0,1编码
% 输出参数：
% matrix： 转换后的0,1矩阵；
% attributes: 属性和Label；
% activeAttributes : 属性向量，全1；
%% 读取数据
% txt = { '序号' '天气' '是否周末' '是否有促销' '销量'
% '' '坏' '是' '是' '高'
% '' '坏' '是' '是' '高'
% '' '坏' '是' '是' '高'
% '' '坏' '否' '是' '高'
% '' '坏' '是' '是' '高'
% '' '坏' '否' '是' '高'
% '' '坏' '是' '否' '高'
% '' '好' '是' '是' '高'
% '' '好' '是' '否' '高'
% '' '好' '是' '是' '高'
% '' '好' '是' '是' '高'
% '' '好' '是' '是' '高'
% '' '好' '是' '是' '高'
% '' '坏' '是' '是' '低'
% '' '好' '否' '是' '高'
% '' '好' '否' '是' '高'
% '' '好' '否' '是' '高'
% '' '好' '否' '是' '高'
% '' '好' '否' '否' '高'
% '' '坏' '否' '否' '低'
% '' '坏' '否' '是' '低'
% '' '坏' '否' '是' '低'
% '' '坏' '否' '是' '低'
% '' '坏' '否' '否' '低'
% '' '坏' '是' '否' '低'
% '' '好' '否' '是' '低'
% '' '好' '否' '是' '低'
% '' '坏' '否' '否' '低'
% '' '坏' '否' '否' '低'
% '' '好' '否' '否' '低'
% '' '坏' '是' '否' '低'
% '' '好' '否' '是' '低'
% '' '好' '否' '否' '低'
% '' '好' '否' '否' '低' }
txt = { '天气','温度','湿度','风速','是否出门'
'sunny','hot','high','week','no';
'sunny','hot','high','strong','no';
'overcast','hot','high','week','yes';
'rain','midd','high','week','yes';
'rain','cool','nomal','week','yes';
'rain','cool','nomal','strong','no';
'overcast','cool','nomal','strong','yes';
'sunny','midd','high','week','no';
'sunny','cool','nomal','week','yes';
'rain','midd','nomal','week','yes';
'sunny','midd','nomal','strong','yes';
'overcast','midd','high','strong','yes';
'overcast','hot','nomal','week','yes';
'rain','midd','high','strong','no'};
%sunuy-0,overcast-1,rain-2;--hot-2,midd-1,cool-2---high-0,nomal-1--week-0,strong-1,no-0,yes-1
attributes=txt(1,1:end);
activeAttributes = ones(1,length(attributes)-1);
data = txt(2:end,1:end);
% attributes=txt(1,2:end);
% activeAttributes = ones(1,length(attributes)-1);
% data = txt(2:end,2:end);
%% 针对每列数据进行转换
[rows,cols] = size(data);
matrix = zeros(rows,cols);
for j=1:cols
matrix(:,j) = cellfun(@trans2onezero,data(:,j));
end
end
%sunuy-0,overcast-1,rain-2;--hot-2,midd-1,cool-2---high-0,nomal-1--week-0,strong-1,no-0,yes-1
function flag = trans2onezero(data)
% if strcmp(data,'坏') ||strcmp(data,'否')...
% ||strcmp(data,'低')
% flag =0;
% return;
if strcmp(data,'sunny') || strcmp(data,'high') || strcmp(data,'week') || strcmp(data,'no') || strcmp(data,'cool')
flag = 0;
return;
end
if strcmp(data,'rain') || strcmp(data,'hot')
flag = 2;
return;
end
flag =1;
end
取出最佳属性列
function [best_feature] = choose_bestfeat(data)
%input data 输入数据
%output bestfeature 选择特征值
[m,n] = size(data);
feature_num = n - 1;
baseentropy = calc_entropy(data);
best_gain = 0;
best_feature = 0;
%% 挑选最佳特征位
for j =1:feature_num
feature_temp = unique(data(:,j));
num_f = length(feature_temp);
new_entropy = 0;
for i = 1:num_f
subSet = splitData(data, j, feature_temp(i,:));
[m_s,n_s] = size(subSet);
prob = m_s./m;
new_entropy = new_entropy + prob * calc_entropy(subSet);
end
%信息增益=信息熵-条件熵
inf_gain = baseentropy - new_entropy;
if inf_gain > best_gain
best_gain = inf_gain;
best_feature = j;
end
end
end
function [subSet] = splitData(data, j, value)
%input data 训练数据
%input j 对应第j个属性
%input value 第j个属性对应的特征值
subSet = data;
subSet(:,j) = [];
k = 0;
for i = 1:size(data,1)
if data(i,j) ~= value
subSet(i-k,:) =[];
k = k + 1;
end
end
end
信息熵
function [entropy] = calc_entropy(train_data)
%input train_data 训练数据
%output entropy 熵值
[m,n] = size(train_data);
%% 得到类的项并统计每个类的个数
label_value = train_data(:,n);
label = unique(label_value);
label_number = zeros(length(label),2);
label_number(:,1) = label';
for i = 1:length(label)
label_number(i,2) = sum(label_value == label(i));
end
%% 计算熵值
label_number (:,2) = label_number(:,2) ./ m;
entropy = 0;
entropy = sum(-label_number(:,2).*log2 (label_number(:,2)));
end
出入队列，提取出结构体数组中的元素
function [ newqueue ] = queue_push( queue,item )
%% 进队
% cols = size(queue);
% newqueue =structs(1,cols+1);
newqueue=[queue,item];
end
function [ item,newqueue ] = queue_pop( queue )
%% 访问队列
if isempty(queue)
disp('队列为空，不能访问！');
return;
end
item = queue(1); % 第一个元素弹出
newqueue=queue(2:end); % 往后移动一个元素位置
end
function [ length_ ] = queue_curr_size( queue )
%% 当前队列长度
length_= length(queue);
end
画图函数
function [nodeids_,nodevalue_] = print_tree(tree)
%% 打印树，返回树的关系向量
global nodeid nodeids nodevalue;
nodeids(1)=0; % 根节点的值为0
nodeid=0;
nodevalue={};
if isempty(tree)
disp('空树！');
return ;
end
queue = queue_push([],tree);
while ~isempty(queue) % 队列不为空
[node,queue] = queue_pop(queue); % 出队列
visit(node,queue_curr_size(queue));
if ~strcmp(node.children,'null')
queue = queue_push(queue,node.children); % 进队
% if ~strcmp(node.children,'null')
% for i=1:length(node.children)
% if ~strcmp(node.children(i).children,'null') % 子树不为空
% queue = queue_push(queue,node.children(i).children); % 进队
% end
% end
end
end
%% 返回 节点关系，用于treeplot画图
nodeids_=nodeids;
nodevalue_=nodevalue;
end
function visit(node,length_)
%% 访问node 节点，并把其设置值为nodeid的节点
global nodeid nodeids nodevalue;
% if isleaf(node)
if strcmp(node.children,'null')
nodeid=nodeid+1;
fprintf('叶子节点，node: %d\t，属性值: %s\n', ...
nodeid, node.value);
nodevalue{1,nodeid}=node.value;
else % 要么是叶子节点，要么不是
nodeid=nodeid+1;
for i=1:length(node.children)
nodeids(nodeid+length_+i)=nodeid;
% nodeids(nodeid+length_+2)=nodeid;
fprintf('node: %d\t属性值: %s\t，子树为节点：node%d', ...
nodeid, node.value,nodeid+length_+i);
fprintf('\n');
nodevalue{1,nodeid}=node.value;
end
end
end
function flag = isleaf(node)
%% 是否是叶子节点
if strcmp(node.children,'null') % 左右都为空
flag =1;
else
flag=0;
end
end
function tree_plot( p ,nodevalues)
%% 参考treeplot函数
[x,y,h]=treelayout(p);
f = find(p~=0);
pp = p(f);
X = [x(f); x(pp); NaN(size(f))];
Y = [y(f); y(pp); NaN(size(f))];
X = X(:);
Y = Y(:);
n = length(p);
if n < 500,
hold on ;
plot (x, y, 'ro', X, Y, 'r-');
nodesize = length(x);
for i=1:nodesize
% text(x(i)+0.01,y(i),['node' num2str(i)]);
text(x(i)+0.01,y(i),nodevalues{1,i});
end
hold off;
else
plot (X, Y, 'r-');
end;
xlabel(['height = ' int2str(h)]);
axis([0 1 0 1]);
end