AdaBoost算法中寻找最优阈值分类器的代码优化

    AdaBoost每一轮的训练获得一个当前权重条件下的最优阈值。

% 逐步求精的方法获取第j个特征值上的最优分类器
% 输入:
% X      训练样本 , rows X cols 维矩阵 , rows个样本，每个样本cols个特征值
% Y      每个样本所属类别的标识 , 向量 , 长度为rows
% rows   样本容量 
% weight 权重向量 , 存放当前每个样本的权重值
% j       当前查找最佳弱分类器的特征列
% 输出:
%  bestError        %搜索到第j列最佳弱分类器得到的最小错误率
%  bestThresh   %搜索到第j列最佳弱分类器的阈值
%  bestBias        %搜索到第j列最佳弱分类器的偏置
% 
% 迭代4次 , 每次将区间划分为12个小段
%
% 调用格式为　 [ bestError,bestThresh,bestBias ] = findBestWeakLearner(X , Y , rows , weight , j)
% 最后更新  2007 - 03 - 25  
function  [ bestError,bestThresh,bestBias ] = findBestWeakLearner(X , Y , rows , weight , j)
% 检查输入特征向量与类标需为列向量
iptcheckinput(X , {'logical' , 'numeric'} , {'2d' , 'nonempty' , 'real'} , mfilename ,  'X' ,   1 ) ;
iptcheckinput(Y , {'logical' , 'numeric'} , {'column' , 'nonempty' , 'integer'} , mfilename ,  'Y' ,   2 ) ;

iteration = 4 ;                                      % 迭代次数
sectNum = 12 ;                                  % 每次迭代,将搜索区域划分的片段
maxFea = max(X(: , j)) ;                      % 搜索空间的最大值 
minFea = min(X(: , j)) ;                       % 搜索空间的最小值
step = (maxFea-minFea)/(sectNum- 1 ) ;         % 每次搜索的递增量

bestError = rows ;                             % 初值:最好的分类器错误率
for iter = 1 :iteration                         % 迭代iteration次 , 范围逐步缩小 , 寻找最优值
        tempError = rows ;                   % 初值:第iter次迭代的分类器错误率      
        for i = 1 :sectNum                    % 第iter次迭代的搜索次数
            thresh = minFea+(i- 1 )*step ;     % 第i次搜索的阈值
            for p = 1 :- 2 :- 1                      % ！这个循环可去掉
                h = zeros(rows , 1 ) ;          %每个样本对弱分类器的输出
                for ii = 1 :rows                  %！这个循环可向量化
                    if((p*X(ii , j))<(p*thresh))
                        h(ii) = 1 ;
                    else
                        h(ii) = 0 ;
                    end
                end %end for
                error = sum(weight(find(h~ = Y))) ;  % 第iter次迭代第i次搜索加权错误率
                

                   %！ 这段属冗余代码
                if(error<tempError)           % 第iter次迭代最优的错误率 阈值 偏置
                    tempError = error ;           % 第iter次迭代最小的错误率
                    tempThresh = thresh ;    % 第iter次迭代最小错误分类情况下的阈值
                    tempBias = p ;                  % 第iter次迭代最小错误分类情况下的偏置
                end
            end%end for p
        end%end for i
        if(tempError<bestError)          %  迭代获取的最优错误率 阈值 偏置
                bestError = tempError ;
                bestThresh = tempThresh ;
                bestBias = tempBias ;
        end
        %将搜索范围缩小 , 继续进行搜索
         span = (maxFea-minFea)/ 8 ;              % 搜索范围减为原有的1/4             
         maxFea = tempThresh+span ;           % 减少搜索范围后搜索空间的最大值     
         minFea = tempThresh-span ;            % 减少搜索范围后搜索空间的最小值
        
        step = (maxFea-minFea)/(sectNum- 1 ) ; % 减少搜索范围后每次搜索的递增量
end

在将循环向量化，并删除一些重复的赋值运算后。代码量大大减少，计算效率也得到极大改善。

% 在特征列上获得最优的阈值分类器
% 
% 假设分布满足高斯分布
% 通过高斯模型求取两个类别的均值
% 在两个类别的均值中间搜索最有阈值分类器
% 采用逐步求精的搜索策略
%
% 输入:
% FeatureVector 特征向量，查找最佳弱分类器的特征列 ; 列向量      
% Y             每个样本所属类别的标识 , 长度为rows ; 列向量
% rows          样本容量 
% weight        权重向量 , 存放当前每个样本的权重值
% 
% 输出:
%  bestError    搜索到第j列最佳弱分类器得到的最小错误率
%  bestThresh   搜索到第j列最佳弱分类器的阈值
%  bestBias     搜索到第j列最佳弱分类器的偏置
% 
% 迭代4次 , 每次将区间划分为8个小段
%
% 调用格式为
%  [ bestError,bestThresh,bestBias ] = searchBestWeakLearner(FeatureVector , Y , rows , weight)
% 
%  2007 - 11 - 07   
% 
% findBestWeakLearner 扩展版本
% 
function  [ bestError,bestThresh,bestBias ] = searchBestWeakLearner(FeatureVector , Y , rows , weight)
% 检查输入特征向量与类标需为列向量
iptcheckinput(FeatureVector , {'logical' , 'numeric'} , {'column' , 'nonempty' , 'real'} , mfilename ,  'FeatureVector' ,   1 ) ;
iptcheckinput(Y , {'logical' , 'numeric'} , {'column' , 'nonempty' , 'integer'} , mfilename ,  'Y' ,   2 ) ;

u1 = mean(FeatureVector(find(Y == 1 ))) ;       % 类别1均值
u2 = mean(FeatureVector(find(Y == 0 ))) ;       % 类别2均值

iteration = 4 ;                                     % 迭代次数
sectNum = 8 ;                                   % 每次迭代,将搜索区域划分的片段

maxFea = max(u1 , u2) ;                      % 搜索空间的最大值 
minFea = min(u1 , u2) ;                        % 搜索空间的最小值
step = (maxFea-minFea)/(sectNum- 1 ) ;         % 每次搜索的递增量
bestError = rows ;                           % 初值:最好的分类器错误率

for iter = 1 :iteration                        % 迭代iteration次 , 范围逐步缩小 , 寻找最优值
        tempError = rows ;                   % 初值:第iter次迭代的分类器错误率      
        for i = 1 :sectNum                  % 第iter次迭代的搜索次数
            thresh = minFea+(i- 1 )*step ;     % 第i次搜索的阈值
            h = FeatureVector<thresh ;       % 所有样本的阈值分类结果
            error = sum(weight(find(h~ = Y))) ; % 第iter次迭代第i次搜索加权错误率
            p = 1 ;
            if(error> 0.5 )                   % 若错误率超过0 .5 ，则将偏置反向
                error = 1 -error ;
                p = - 1 ;
            end
            if( error<bestError )        % 第iter次迭代最优的错误率 阈值 偏置
                bestError = error ;          % 第iter次迭代最小的错误率
                bestThresh = thresh ;    % 第iter次迭代最小错误分类情况下的阈值
                bestBias = p ;               % 第iter次迭代最小错误分类情况下的偏置
            end
        end%end for i

        % 将搜索范围缩小 , 继续进行搜索
        span = (maxFea-minFea)/ 8 ;             % 搜索范围减为原有的1/4                    
        maxFea = bestThresh+span ;           % 减少搜索范围后搜索空间的最大值     
        minFea = bestThresh-span ;             % 减少搜索范围后搜索空间的最小值
       
       step = (maxFea-minFea)/(sectNum- 1 ) ;  % 减少搜索范围后每次搜索的递增量
end

针对2000个样本，训练50轮AdaBoost分类器，采用findBestWeakLearner搜索最优分类器耗时150s，采用searchBestWeakLearner耗时50s，仅为原有1/3。

toself: 程序改变心境