Halcon学习---深度学习篇segment1~数据集预处理
程序部分：
*
*此示例是一系列示例的一部分，该示例总结了DL分段的工作流程。 它使用MVTec药丸数据集。
*
*四个部分是：
* 1.数据集预处理。
* 2.训练模型。
* 3.评估训练后的模型。
* 4.推断新图像。
*
*此示例包含第1部分：“数据集预处理
dev_update_off ()
*在此示例中，在执行预处理步骤之前，将在图形窗口中对其进行说明。 将以下参数设置为false可以跳过此可视化。
ShowExampleScreens := true
*
*初始示例窗口和参数等。
dev_example_init (ShowExampleScreens, ExampleInternals)
*
if (ShowExampleScreens)
*
* Introduction text of example series.
dev_display_screen_introduction_part_1 (ExampleInternals)
stop ()
dev_display_screen_introduction_part_2 (ExampleInternals)
stop ()
*
* Explain semantic segmentation data.
dev_display_screen_segmentation_data (ExampleInternals)
stop ()
*
* Explain splitting the dataset.
dev_display_screen_split_dataset (ExampleInternals)
stop ()
*
* Explain preprocessing parameters.
dev_display_screen_preprocessing_params (ExampleInternals)
stop ()
dev_display_screen_weight_images (ExampleInternals)
stop ()
* 为了进行语义分割，需要为每个图像都具有一个对应的weight_image，它为图像中的每个像素分配特定的权重。
* 在使用preprocess_dl_dataset进行预处理的过程中，将自动生成这些图像，从而根据像素所属的类别对像素进行加权。
* Explain the next steps.
dev_display_screen_next_steps (ExampleInternals)
***************************************************************************************
*现在将执行预处理步骤，读取和拆分数据集可能需要几秒钟的时间，变量检查窗口将显示预处理的进度。
*预处理完成后，将显示一些预处理的图像。
***************************************************************************************
stop ()
endif
*分三类：0 dood/1 contamination 污染/2 crack 裂纹
* ***********************************
* *** Set Input/Output paths. ***
* ***********************************
*
* Directory with image data.包含图像数据的目录。
ImageDir := 'pill'
* Directory with ground truth segmentation images.带有groundtruth分割图像的目录。
SegmentationDir := 'labels/pill'
*
*所有示例数据都将写入此文件夹。
ExampleDataDir := 'segment_pill_defects_data'
*由preprocess_dl_dataset写入的任何输出的数据集目录基本名称。
*此名称将扩展为数据集在预处理后将具有的图像尺寸。
DataDirectoryBaseName := ExampleDataDir + '/dldataset_pill_'
* 单独存储预处理参数以使用它，例如 在推断过程中。
*此名称将扩展为数据集在预处理后将具有的图像尺寸。
PreprocessParamFileBaseName := ExampleDataDir + '/dl_preprocess_param_'
*
* *************************
* *** Set parameters ***
* *************************
*
* Class names.
ClassNames := ['good','contamination','crack']
* Class IDs.
ClassIDs := [0,1,2]
*
* Percentages for splitting the dataset.
TrainingPercent := 70
ValidationPercent := 15
*
*在预处理期间将图像缩放到的图像尺寸。
ImageWidth := 400
ImageHeight := 400
ImageNumChannels := 3
*
* 用于图像灰度值归一化的灰度值范围。
ImageRangeMin := -127
ImageRangeMax := 128
*
* 用于图像预处理的其他参数。
ContrastNormalization := 'false'
DomainHandling := 'full_domain'
IgnoreClassIDs := []
SetBackgroundID := []
ClassIDsBackground := []
*
* 为了获得可复制的分割，我们设置了一个随机种子。
*这意味着重新运行脚本会导致DLDataset的拆分。
SeedRand := 42
*
* ****************************************************************************
* ** 读取标记的数据并将其分为训练/验证和测试 ***
* ****************************************************************************
*
* 设置随机种子。
set_system ('seed_rand', SeedRand)
*
* Read the dataset.
read_dl_dataset_segmentation (ImageDir, SegmentationDir, ClassNames, ClassIDs, [], [], [], DLDataset)
*
* Generate the split.
split_dl_dataset (DLDataset, TrainingPercent, ValidationPercent, [])
*
* *********************************
* ** Preprocess the dataset ***
* *********************************
*
* Create the output directory if it does not exist yet.
file_exists (ExampleDataDir, FileExists)
if (not FileExists)
make_dir (ExampleDataDir)
endif
*
* 创建预处理参数。
create_dl_preprocess_param ('segmentation', ImageWidth, ImageHeight, ImageNumChannels, ImageRangeMin, ImageRangeMax, ContrastNormalization, DomainHandling, IgnoreClassIDs, SetBackgroundID, ClassIDsBackground, [], DLPreprocessParam)
*
* 单独存储预处理参数以使用它，例如 在推断过程中。
PreprocessParamFile := PreprocessParamFileBaseName + ImageWidth + 'x' + ImageHeight + '.hdict'
write_dict (DLPreprocessParam, PreprocessParamFile, [], [])
*
* 由preprocess_dl_dataset写入的任何输出的数据集目录。
DataDirectory := DataDirectoryBaseName + ImageWidth + 'x' + ImageHeight
*
* 预处理数据集。 这可能需要几分钟。
create_dict (GenParam)
set_dict_tuple (GenParam, 'overwrite_files', true)
preprocess_dl_dataset (DLDataset, DataDirectory, DLPreprocessParam, GenParam, DLDatasetFilename)
*
* *******************************************
* ** Preview the preprocessed dataset ***
* *******************************************
*
* 在继续进行训练之前，建议先检查预处理后的数据集。
*
* 显示10个随机选择的火车图像的DLSamples。
get_dict_tuple (DLDataset, 'samples', DatasetSamples)
find_dl_samples (DatasetSamples, 'split', 'train', 'match', SampleIndices)
tuple_shuffle (SampleIndices, ShuffledIndices)
read_dl_samples (DLDataset, ShuffledIndices[0:9], DLSampleBatchDisplay)
*
create_dict (WindowHandleDict)
for Index := 0 to |DLSampleBatchDisplay| - 1 by 1
* Loop over samples in DLSampleBatchDisplay.
dev_display_dl_data (DLSampleBatchDisplay[Index], [], DLDataset, ['image','segmentation_image_ground_truth'], [], WindowHandleDict)
get_dict_tuple (WindowHandleDict, 'segmentation_image_ground_truth', WindowHandleImage)
dev_set_window (WindowHandleImage[1])
Text := 'Press Run (F5) to continue'
dev_disp_text (Text, 'window', 400, 40, 'black', [], [])
stop ()
endfor
*
* 关闭用于可视化的窗口。
dev_display_dl_data_close_windows (WindowHandleDict)
*
if (ShowExampleScreens)
* Hint to the DL segmentation training process example.
dev_display_screen_next_example (ExampleInternals)
stop ()
* Close example windows.
dev_close_example_windows (ExampleInternals)
endif
数据集部分：
三种药品，每种药品分三类：0 good/1 contamination 污染/2 crack 裂纹
| 分类(三类） | good | contamination | crack | 图片分辨率 |
| magnesium | 289 | 317 | 324 | 300*300 |
| mint | 316 | 326 | 308 | 429*300 |
| ginseng | 322 | 325 | 314 | 632*300 |
表格中是每一种分类包含的图片数量,最后一列图片的大小,每种药片分辨率一样.
三种药片：magnesium、mint、ginseng，每种药片分3类：good、contamination、crack，共3*3=9类。
数据集分布：70%训练，15%验证，15%测试
注意数据处理的时候，后面一定要是000的三位数模式，否则数据预处理会出错！！！推荐2345看图王，可以批量重命名图片。
2020.10.29.更新
分别在三台电脑上测试结果:
| 1060 | 22min16s |
| 2080Ti | 12min49s |
| 1650 | 44min26s |