Halcon 深度学习（一）：分类

---

前言

最近学习深度学习时的一些总结和看法，参照深度学习的自带案例（classify_fruit_deep_learning.hdev）

---

一、准备

1、选取深度学习的分类模型

pretrained_dl_classifier_compact.hdl模型
pretrained_dl_classifier_enhanced.hdl模型
retrained_dl_classifier_resnet50.hdl模型
具体模型的优缺点可以看：https://blog.csdn.net/qq_18620653/article/details/106035517

2、获取模型中所使用图像的参数要求

dev_close_window()
*读取网络模型
read_dl_classifier ('pretrained_dl_classifier_compact.hdl', DLClassifierHandle)
*获取模型需要的图片大小
get_dl_classifier_param (DLClassifierHandle, 'image_width', DlImageWidth)
get_dl_classifier_param (DLClassifierHandle, 'image_height', DlImageHeight)
*获取模型需要的图片通道数
get_dl_classifier_param (DLClassifierHandle, 'image_num_channels', DlNumChannels)
*获取模型需要的图片灰度值范围
get_dl_classifier_param (DLClassifierHandle, 'image_range_min', DlRangeMin)
get_dl_classifier_param (DLClassifierHandle, 'image_range_max', DlRangeMax)

3、准备分类所需图片

二、编写代码

1、设置窗体

*关闭窗体
dev_update_off ()
dev_close_window ()
*新建窗体
WindowWidth := 800
WindowHeight := 600
dev_open_window_fit_size (0, 0, WindowWidth, WindowHeight, -1, -1, WindowHandle)
*字体
set_display_font (WindowHandle, 16, 'mono', 'true', 'false')

2、将图片打上标签

*选取深度学习分类模型
read_dl_classifier ('pretrained_dl_classifier_compact.hdl', DLClassifierHandle)
*原始数据存放路径
RawDataFolder :='E:/视觉/halcon_深度学习/DeepLearning/分类检测/' + ['橙子','梨','苹果','香蕉']
*根据原始数据打标签  参数：输入路径，方法，所有图片路径，所有图片标签，所有标签索引，标签类型
read_dl_classifier_data_set (RawDataFolder, 'last_folder', RawImageFiles, Labels, LabelIndices, Classes)
*处理后图片存放文件夹的名称
PreprocessedFolder := 'E:/视觉/halcon_深度学习/DeepLearning/分类检测hobj'
*false不覆盖处理后的图片
OverwritePreprocessingFolder := false
*true执行完后删除保存的图片
RemovePreprocessingAfterExample := true

3、将图片处理为分类模型所需要的图片

*将打标签的图像，并进行处理
*判断文件是否存在
file_exists (PreprocessedFolder, FileExists)
*文件不存在或者覆盖处理后的图片
if (not FileExists or OverwritePreprocessingFolder)
    *如果覆盖时，文件夹存在，则删除
    if (FileExists)
        remove_dir_recursively (PreprocessedFolder)
    endif
    *文件不存在，则创建
    make_dir (PreprocessedFolder)
    for I := 0 to |Classes| - 1 by 1
        make_dir (PreprocessedFolder + '/' + Classes[I])
    endfor
    *定义待存放文件路径和名称
    *将文件名解析为目录，基本文件名和扩展名
    parse_filename (RawImageFiles, BaseNames, Extensions, Directories)
    *分类检测/梨/梨_001.hobj
    ObjectFilesOut := PreprocessedFolder + '/' + Labels + '/' + BaseNames + '.hobj' 
    
    *处理输入图像并保存为.hobj格式文件
    *每个样本图才处理成224*224分辨率、3通道、-127到128亮度级图像
    DLClassifierHandle := 1902471203888
    DlImageWidth := 224
    DlImageHeight := 224
    DlNumChannels := 3
    DlRangeMin := -127.0
    DlRangeMax := 128.0

for i := 0 to |RawImageFiles|-1 by 1
    *读取样本文件
    read_image (Image,RawImageFiles[i])
         
    *将图片缩放到网络模型需求的大小
    zoom_image_size (Image, Image, DlImageWidth, DlImageHeight, 'constant')
    *将图片的灰度缩放成网络模型需求范围
    *类型转换
    convert_image_type (Image, Image, 'real')
    RescaleRange := (DlRangeMax-DlRangeMin)/255.0
    *缩放图像的灰度值
    scale_image (Image, Image, RescaleRange, DlRangeMin)
    *合成三通道图片
    *获取图片通道个数
    count_obj (Image, Number)
    for j := 1 to Number by 1    
        select_obj (Image, ObjectSelected, j)
        count_channels (ObjectSelected, Channel)
        *如果图片不是三通道图，将图片合成为三通道图
        if (Channel != DlNumChannels)
            *转换为3通道图像
            compose3 (ObjectSelected, ObjectSelected, ObjectSelected, ThreeChannel)
            *替换图元数组
            replace_obj (Image, ThreeChannel, Image, 1)
        endif
    endfor
    *并写入文件
    write_object (Image, ObjectFilesOut[i])
    dev_disp_preprocessing_progress (i, RawImageFiles, PreprocessedFolder, WindowHandle)
endfor  

    dev_clear_window ()
    dev_disp_text ('预处理完成。', 'window', 'top', 'left', 'black', [], [])
endif

4、将图片的数据集进行拆分

将处理后的图片分为三份，其中70%用于训练，15%用于验证，15%用于测试

*将数据分为 训练集，验证集，测试集
*读取处理后的数据
read_dl_classifier_data_set (PreprocessedFolder, 'last_folder', ImageFiles, Labels, LabelsIndices, Classes)
*将数据分为三个子集，训练集占：70%、验证集占：15%、测试集占：15%
TrainingPercent := 70
ValidationPercent := 15
*将数据拆分 参数：输入图像路径、输入的标签、训练%，验证%、返回用于训练的图像、返会用于训练图像的标签、返回用于验证的图像、返会用于验证图像的标签、返回用于测试的图像、返会用于测试图像的标签
split_dl_classifier_data_set (ImageFiles, Labels, TrainingPercent, ValidationPercent, TrainingImages, TrainingLabels, ValidationImages, ValidationLabels, TestImages, TestLabels)

用于训练的图像：

5、设置分类模型所需的参数和环境后，重新生成一个新的分类模型

*设置分类模型训练参数
*设置分类模型类名
set_dl_classifier_param (DLClassifierHandle, 'classes', Classes)
*设置分类模型训练批处理数
BatchSize := 25
set_dl_classifier_param (DLClassifierHandle, 'batch_size', BatchSize)
*设置运行环境
try
    set_dl_classifier_param (DLClassifierHandle, 'runtime_init', 'immediately')
catch (Exception)
    *显示相应类型的错误
    dev_disp_error_text (Exception)
    if (RemovePreprocessingAfterExample and Exception[0] != 4104)
        remove_dir_recursively (PreprocessedFolder)
        dev_disp_text ('文件夹中的预处理数据 "' + PreprocessedFolder + '" 已删除。', 'window', 'bottom', 'left', 'black', [], [])
    endif
    stop ()
endtry
*学习率
InitialLearningRate := 0.001
set_dl_classifier_param (DLClassifierHandle, 'learning_rate', InitialLearningRate)
*每30次根据下降因子更新学习率
LearningRateStepEveryNthEpoch := 30
LearningRateStepRatio := 0.1
*迭代次数
NumEpochs := 100
dev_clear_window ()
dev_disp_text ('训练已经开始...', 'window', 'top', 'left', 'black', [], [])
*每迭代4次绘制一下图
PlotEveryNthEpoch := 4
*生成的网络模型的存放路径
path := 'E:/视觉/halcon_深度学习/DeepLearning/分类检测/'
*训练好的网络模型名称
FileName := path + 'classifier_test.hdl'

6、训练

*训练模型
train_fruit_classifier (DLClassifierHandle, FileName, NumEpochs, TrainingImages, TrainingLabels, ValidationImages, ValidationLabels, LearningRateStepEveryNthEpoch, LearningRateStepRatio, PlotEveryNthEpoch, WindowHandle)
dev_disp_text ('Press Run (F5) to continue', 'window', 'bottom', 'right', 'black', [], [])
stop ()

7、验证

*验证
*加载训练好的网络模型
read_dl_classifier (FileName, DLClassifierHandle)
*计算验证数据集的混淆矩阵
get_predicted_classes (ValidationImages, DLClassifierHandle, PredictedClassesValidation)
*生成混淆矩阵模型
gen_confusion_matrix (ValidationLabels, PredictedClassesValidation, [], [], WindowHandle, ConfusionMatrix)
dev_disp_text ('Validation data', 'window', 'top', 'left', 'gray', 'box', 'false')
dev_disp_text ('Press Run (F5) to continue', 'window', 'bottom', 'right', 'black', [], [])
stop ()
dev_clear_window ()

8、测试

*测试
*加载训练好的网络模型
read_dl_classifier (FileName, DLClassifierHandle)
*单张图片测试
set_dl_classifier_param (DLClassifierHandle, 'batch_size', 1)
*测试是否可以在CPU环境下运行
try
    set_dl_classifier_param (DLClassifierHandle, 'runtime', 'cpu')
    Runtime := 'cpu'
catch (Exception)
    Runtime := 'gpu'
endtry
*立即初始化运行时环境
set_dl_classifier_param (DLClassifierHandle, 'runtime_init', 'immediately')
* 
dev_resize_window_fit_size (0, 0, WindowWidth, WindowHeight, -1, -1)
dev_disp_inference_text (Runtime)
stop ()

*循环测试分类结果
for Index := 0 to 20 by 1
    ImageFile := RawImageFiles[floor(rand(1) * |RawImageFiles|)]
    read_image (Image, ImageFile)
    dev_resize_window_fit_image (Image, 0, 0, -1, -1)
    
    *图像处理
    preprocess_dl_fruit_example (Image, ImagePreprocessed, DLClassifierHandle)
    
    *使用已经训练好的深度学习网络识别图像  参数：输入图像、分类器的句柄、分类的结果
    apply_dl_classifier (ImagePreprocessed, DLClassifierHandle, DLClassifierResultHandle)
    *获取识别结果  参数：分类的结果，批处理中图像的索引，通用参数的名称，通用参数的值
    get_dl_classifier_result (DLClassifierResultHandle, 'all', 'predicted_classes', PredictedClass)
    * 
    dev_display (Image)
    Text := '预测类为: ' + PredictedClass
    dev_disp_text (Text, 'window', 'top', 'left', 'forest green', 'box', 'false')
    dev_disp_text ('Press Run (F5) to continue', 'window', 'bottom', 'right', 'black', [], [])
    stop ()
endfor
stop ()
if (RemovePreprocessingAfterExample)
    remove_dir_recursively (PreprocessedFolder)
    dev_disp_text ('程序结束，已删除预处理的数据。', 'window', 'bottom', 'right', 'black', [], [])
else
    dev_disp_text ('      程序结束      ', 'window', 'bottom', 'right', 'black', [], [])
endif

三、本地函数

编写过程中将会调用到一些本地函数
只需要从案例中复制过来即可

四、下载地址

很多人找我要源码，Github又不太好上传大文件，我就把我的网站新增了下载功能，如果下载接口出现问题请大家评论区回复一下，谢谢。

地址：https://zhoujinyong.com/index.aspx/Files/分类检测.rar