cityscapesScripts使用笔记
cityscapesScripts是cityscapes数据集的官方公开工具集，第一次用的时候有点迷茫，记录下使用笔记，前边是readme里的讲解,以下是精细标注的部分
官方github:https://github.com/mcordts/cityscapesScripts/tree/master/cityscapesscripts
Readme.md 翻译：https://blog.csdn.net/Cxiazaiyu/article/details/81866173
数据集链接：www.cityscapes-dataset.net
百度云下载：https://pan.baidu.com/s/1w3W_dQBUiHcwkLOtbSJ1Tg 提取码：1bln 里面不包含19998 images的Coarse 粗略注释（From: https://blog.csdn.net/zz2230633069/article/details/84591532）
参考：https://blog.csdn.net/zz2230633069/article/details/84591532
https://blog.csdn.net/Cxiazaiyu/article/details/81866173
1 cityscapes数据集结构Dataset Structure
文件夹结构如下：
{root}/{type}{video}/{split}/{city}/{city}_{seq:0>6}_{frame:0>6}_{type}{ext}各个元素的意义:
rootCityscapes数据集的根文件夹。 我们的许多脚本检查指向该文件夹的环境变量“CITYSCAPES_DATASET”是否存在，并将其作为默认目录。type数据类型或形态，比如gtFine代表精细的GroundTruth，leftImg8bit代表左侧相机的八位图像。split分割，即train， val， test， train_extra或demoVideo。 请注意，并非所有分组都存在所有类型的数据。 因此，偶尔找到空文件夹不要感到惊讶。city所属城市seq序列号，使用6位数字。frame帧号，使用6位数字。 请注意，在一些城市中，虽然记录了非常长的序列，但在一些城市记录了许多短序列，其中仅记录了第19帧ext该文件的扩展名和可选的后缀，例如，_polygons.json为GroundTruth文件
type的类型：
gtFine精细注释，2975张训练图，500张验证图和1525张测试图。 这种类型的注释用于验证，测试和可选的训练。 注解使用包含单个多边形的“json”文件进行编码。 另外，我们提供png图像，其中像素值对标签进行编码。 有关详细信息，请参阅helpers / labels.py和prepare中的脚本gtCoarse粗略注释，可用于所有训练和验证图像以及另一组19998张训练图像（train_extra）。 这些注释可以用于训练，也可以与gtFine一起使用，也可以在弱监督的环境中单独使用。gtBboxCityPersons行人边界框注释，可用于所有训练和验证图像。 有关更多详细信息，请参阅helpers / labels_cityPersons.py以及CityPersons出版物（Zhang等，CVPR’17）leftImg8bit左侧图像，采用8位LDR格式。这些图像都有标准的注释.leftImg8bit_blurredthe left images in 8-bit LDR format with faces and license plates blurred. Please compute results on the original images but use the blurred ones for visualization. We thank Mapillary for blurring the images.leftImg16bit左侧图像，采用16位HDR格式。这些图像提供每像素16位色彩深度并包含更多信息，特别是在场景的非常黑暗或明亮的部分。 警告：图像存储为16位PNG，这是非标准的，并且不是所有库都支持。rightImg8bit右侧图像，采用8位LDR格式。rightImg16bit右侧图像，采用16位HDR格式。timestamp记录时间，单位是ns。 每个序列的第一帧总是有一个0的时间戳。disparity预先计算的视差深度图。 为了获得视差值，对于p> 0的每个像素p计算：d =（float（p）-1）/ 256，而值p = 0是无效测量。 警告：图像存储为16位PNG，这是非标准的，并且不是所有库都支持。camera内部和外部相机校准。 有关详情，请参阅 csCalibration.pdfvehicle车辆测距，GPS坐标和室外温度。 详情请参阅csCalibration.pdf
split的类型：
train通常用于训练, 包含 2975 张带有粗糙或精细标注的图像val应该用于验证hyper-parameters，包含500个具有精细和粗糙注释的图像。 也可以用于训练.test用于在我们的评估服务器上测试。 注释不公开，但为方便起见，我们包含自我车辆和整改边界的注释。train_extra可以选择性地用于训练，包含带有粗略注释的19998张图像demoVideo可用于定性评估的视频序列，这些视频不提供注释
2 Scripts
cityscapes scripts公开以下工具：
csDownload: 命令行下载cityscapes包csViewer: 查看图像并覆盖批注（overlay the annotations）。csLabelTool: 标注工具.csEvalPixelLevelSemanticLabeling: Evaluate pixel-level semantic labeling results on the validation set. This tool is also used to evaluate the results on the test set.像素级评估csEvalInstanceLevelSemanticLabeling: Evaluate instance-level semantic labeling results on the validation set. This tool is also used to evaluate the results on the test set.实例级评估csEvalPanopticSemanticLabeling: Evaluate panoptic segmentation results on the validation set. This tool is also used to evaluate the results on the test set.全景分割评估csCreateTrainIdLabelImgs: Convert annotations in polygonal format to png images with label IDs, where pixels encode "train IDs" that you can define inlabels.py.将多边形格式的注释转换为带标签ID的png图像，其中像素编码“序列ID”，可以在labels.py中定义。csCreateTrainIdInstanceImgs: Convert annotations in polygonal format to png images with instance IDs, where pixels encode instance IDs composed of "train IDs".将多边形格式的注释转换为具有实例ID的png图像，其中像素对由“序列ID”组成的实例ID进行编码。csCreatePanopticImgs: Convert annotations in standard png format to COCO panoptic segmentation format.将标准png格式的注释转换为COCO全景分割格式。
cityscapes scripts文件夹
文件夹内容如下：
helpers: 被其他脚本文件调用的帮助文件viewer: 用于查看图像和标注的脚本preparation: 用于将GroundTruth注释转换为适合您的方法的格式的脚本evaluation: 评价你的方法的脚本annotation: 被用来标注数据集的标注工具download: 下载Cityscapes packages
请注意，所有文件顶部都有一个小型documentation。 非常重要
helpers/labels.py: 定义所有语义类ID的中心文件，并提供各种类属性之间的映射。helpers/labels_cityPersons.py: 文件定义所有CityPersons行人类的ID并提供各种类属性之间的映射。viewer/cityscapesViewer.py查看图像并覆盖注释。preparation/createTrainIdLabelImgs.py将多边形格式的注释转换为带有标签ID的png图像，其中像素编码可以在“labels.py”中定义的“训练ID”。preparation/createTrainIdInstanceImgs.py将多边形格式的注释转换为带有实例ID的png图像，其中像素编码由“train ID”组成的实例ID。evaluation/evalPixelLevelSemanticLabeling.py该脚本来评估验证集上的像素级语义标签结果。该脚本还用于评估测试集的结果。evaluation/evalInstanceLevelSemanticLabeling.py该脚本来评估验证集上的实例级语义标签结果。该脚本还用于评估测试集的结果。setup.py运行setup.py build_ext --inplace启用cython插件以进行更快速的评估。仅针对Ubuntu进行了测试。
3 安装
脚本可以通过 pip安装，如下：
sudo pip install如果需要安装的图形工具:
sudo apt install python-tk python-qt44 Evaluation
一旦您想在测试集上测试您的方法，请在提供的测试图像上运行您的方法并提交您的结果：www.cityscapes-dataset.net/submit/对于语义标记，我们要求结果格式与我们名为labelIDs的标签图像的格式匹配。因此，代码应该生成图像，其中每个像素的值对应于labels.py中定义的类ID。请注意，我们的评估脚本包含在scripts文件夹中，可用于在验证集上测试您的方法。有关提交过程的详细信息，请访问我们的网站。
参考：https://blog.csdn.net/Cxiazaiyu/article/details/81866173
通过cityscapesscritps/evaluation/evalPixelLevelSemanticLabeling.py可以比较groudtruth和神经网络预测的结果图像，计算出classes IoU和Categories IoU.
但是这个代码要求输入的是labelIds,所以要求把根据TrainIds预测的图像转化为34类的Id，不方便。我修改的代码可以直接输入_gtFine_labelTrainIds.png和按照trainIds生成的图片；另外由于输入图像的分辨率高2048*1024，实际神经网络输出的分辨率可能不同，代码中修改resize的参数，可以评估修改了分辨率的预测图像。程序下载链接：https://download.csdn.net/download/cxiazaiyu/10637603 。
5 精细标注训练集
训练使用的label的图片应该是值为0～n的单通道的灰度图，其中n表示类别。cityscapesScripts/helpers/labels.py文件中定义了不同类别和Id值的对应方式、class和category的对应关系等。训练时可以选择自己感兴趣的类别进行训练，如labels.py中给的trainId的19类的例子，不感兴趣的类别trainId设为255，ignoreInEval改为True。
使用训练数据的两种方法： 运行cityscapesscripts/preparation/createTrainIdLabelImgs.py代码，会调用labels.py中的类别定义，从json文件中生成19类的用于训练的_gtFine_labelTrainIds.png，进而进行训练。使用_gtFine_labelIds.png的数据，在load时通过代码将不需要的类对应的值设为255(ignore)，并建立class_map将训练使用的类依次映射到0~18的连续值。
train集总共有2975张png格式的大小为2048 x 1024的0-255的RGB图片,按照城市名称，有18个文件夹对应德国的16个城市，法国一个城市和瑞士一个城市：
图片命名规则
城市名称_6位数字_6位数字_leftImg8bit.png例：aachen：aachen_000000_000019_leftImg8bit.png,第二部分从000000到000173对应174张图片，第三部分固定是000019
文件夹内容：每张图片对应6个文件，分别存放不同的内容
6 验证集
val集总共有500张png格式的大小为2048 x 1024的0-255的RGB图片,按照城市名称，有3个文件夹对应德国的3个城市
7 测试集
test集总共有1525张png格式的大小为2048 x 1024的0-255的RGB图片,按照城市名称，有6个文件夹对应德国的6个城市
