零基础边缘端智能安防训练营 | Lesson 3
5个课时，落地AI应用！
欢迎大家来到AidLux零基础边缘端智慧安防训练营~
前面两节课，主要介绍了AI项目的一些背景，及使用AidLux实现AI功能的一些方式。
在第三节课，我们主要完成越界识别项目中人体检测模型的训练和部署测试，本节课内容框架如下：
1 Crowdhuman数据集下载及说明
2 人体检测数据集标注文件转换
3 云服务器训练人体检测模型
4 PC端Pytorch推理测试
5 Aidlux端模型推理测试
6 课堂小作业
1. Crowdhuman数据集下载及说明
因为项目需要人体检测的模型，所以先带大家训练一个检测模型，并转换成AidLux可以部署的方式，进行推理测试。
人体检测的数据集有很多，这里采用的是旷视开源的Crowdhuman数据集，官网是：http://www.crowdhuman.org
△图据http://www.crowdhuman.org
Crowdhuman数据集包含三个方面：15000张的训练数据集、4370张的验证数据集、5000张的测试数据集，其中训练集和验证集都有标注信息。
△图据http://www.crowdhuman.org
按照官网的提升信息下载之后，得到的文件是这样的。
包含train、val和test数据集的方式，共24370张图片，总共有13G。
考虑到数据集文件比较大，大家可以和AidLux AI开发者交流down，以便后期自己训练时挑选使用。
为了便于大家快速尝试训练人体检测模型，在后续的操作演示中，主要采用了val数据集4370张图片，给大家整体流程串通测试用。
即用CrowdHuman_val.zip和annotation_val.odgt，本节课的资料包存放在lesson3资料包/lesson3_data文件夹中。
大家可以根据自己的需要，后期选择是否将训练集也都添加进去。
2. 人体检测数据集标注文件转换
lesson3的资料包课件总共有三个：
一个是各类代码lesson3_codes，一个是数据集lesson3_data，一个是需要安装的软件。
2.1 Crowdhuman数据集整理
在lesson3_data数据集中，新建一个文件夹Crowdhuman_data，并将网盘下载的Crowdhuman_val.zip和annotation_val.odgt，全都拷贝到Crowdhuman_data中。
将其中的CrowdHuman_val.zip解压缩，可以得到一个Images文件夹，里面包含4370张图片。
将Images文件夹拷贝到Crowdhuman_data路径下，并修改成JPEGImages，此外新建一个Annotations，如下图所示。
即JPEGImages文件夹里面有val数据集的4370张图片，而Annotations文件夹是空的。
下面编写代码，将annotation_val.odgt中的标注信息提取出来，变成和4370张图片对应的XML格式。
tips：如果是使用train训练集的15000张图片进行训练，则将三个训练集中的所有图片都拷贝到JPEGImages中，其他的都是一样的。
2.2 标注文件odgt格式转换成xml格式
在lesson3_codes/data_prepare_code文件夹中，放置了编写数据清洗的脚本data_code.py。
运行脚本需要使用VScode编程软件打开data_code.py的文件夹，首先修改其中的roadlabels、roadimages、fpath三个路径。
需要注意的是Crowdhuman中，有三种标注内容：vbox、fbox、hbox，分别对应：可看到的人体、完整人体、人脸。
本次训练过程中主要使用完整人体图像进行训练，因此主要用到fbox的标签。
再修改下面的两个地方，fbox即表示提取annotation_val.odgt中完整人体的检测框信息，而person表示转换成xml后人体的标签名称信息。
运行代码后，可以看到VScode运行界面会对于每张对应的图片标注信息，进行提取处理。
最终在lesson3_data/Crowdhuman_data/Annotations中可以得到4370张VOC格式的xml文件。
2.3 Labelimg标注验证
前面生成好标注文件后，大家最好再校验一下，看生成的是否正确，怎么校验呢？
大家还记得在lesson3的资料包中，还有个lesson3_software的文件夹吧，这里面就是一个LabelImg的标注软件，可以通过它来进行校验。
找到LabelImg.exe的文件，直接点击打开就行。
将Crowdhuman_data/JPEGImages里面的xml，复制最前面的10个左右xml，粘贴到文件夹Crowdhuman_data/Annotations里面。
再使用Labelimg里面的Open Dir打开Annotations文件夹。
可以看到我们生成的标注信息，检查一下是否有标注错误的。如果都没有，那说明其他生成的也是对的。
验证没问题后，将Annotations文件夹里面，刚刚拷贝的图片全部删除。
到这一步为止，我们训练时需要用到的4370张样本集就准备好了。
tips：这里主要用的val里面的数据集，如果用train里面的数据集，大家也可以用同样的方式进行梳理准备。
2.4 训练/验证数据集整理
本次训练营主要采用Yolov5的算法，因此我们需要将上面VOC格式转换成Yolov5可以训练的格式。
所以我们还准备了数据清理&切分的脚本，即：
lesson3_code/data_prepare_code/train_data_split.py。
为了让大家更好的尝试，也将清洗切分的每一步都整理成了流程。（大家如果平时也训练Yolo算法，可以按照自己的方式来操作。）
（1）新建train_data文件夹
在lesson3_data文件夹中，新建一个train_data文件夹。
并在train_data里面新建一个images_label_split/crowdhuman_val文件夹，且将前面2.2转换好对应的JPEGImages和Annotations，拷贝到crowdhuman_val文件夹里面。
（2）数据集清洗
先来解释一下为什么要清洗数据集。
实际项目标注的数据集，会有各种问题。比如有图片，但是没有标注xml；或者有的目标标注的太小，像10*10像素这种。针对一些标注的问题，可以进行梳理。
清洗的代码，即train_data_split.py中的这个阶段一的部分。
首先修改最下面的数据集路径，即刚刚新建的那个数据集路径。
运行train_data_split.py代码，会进行清洗梳理，并在最后会用代码显示标注信息结果。
大家可以按“Enter”键，查看是否有标错的图片，确认一下。
（3）训练集&验证集切分
确认图片和标签文件没有问题后，我们还需要对标注好的4370张图片划分成训练集和验证集。
这里我们按照8:2的方式来切分，即80%是训练集，20%是验证集。
所用的代码，主要是train_data_split.py中的阶段二的部分。
需要注意的是，因为只想运行阶段二的代码，所以得将阶段一的所有代码都注释掉。
做完注释，运行代码，会对于4370张图片进行逐一读取。
在train_data文件夹中，我们可以看到多了train和test两个文件夹，里面是对应的image和xml文件。
3. 云服务器训练人体检测模型
3.1 云服务器简介
有了人体数据集，我们就可以训练检测模型了，而训练模型需要用到GPU服务器。
有GPU服务器的同学，大家可以直接用自己的电脑训练。没有也没关系，我们也给大家准备了使用云服务训练模型的教程。
本次课程采用的算力平台主要是AutoDL AI算力云，官网https://www.autodl.com。
大家自行选择。
注册完毕后，进入后台的主页面，点击左上角的“算力市场”。
可以看到不同区域，有不同的空闲服务器，每台服务器的显卡、算力和价格都不同，大家可以根据自己的需求进行选择。
新注册的训练一下Yolo数据集是够用了。
3.2 查看符合条件的云网盘
因为后面训练都是在云服务器上，所以需要将数据集和代码都先上传到云服务器的网盘里面，便于后续操作。
不过这里还有个要注意的地方，选择的网盘与服务器的地区要保持一致，所以最好是确认列表内的实例中，哪些区域的算力设备符合自己租赁的范围之后，再做选择
这里使用的是内蒙的服务器，后面实例购买的时候，同样是内蒙的实例，就可以在系统盘中直接找到相应的文件。
确定相应的地方的网盘，上传代码文件等。
3.3 训练&验证集图片上传
我们将前面的一些文件，传输到“我的网盘”里面。主要上传三个文件：
（1）训练&验证集图片
将train_data文件夹中的images_label_split文件夹删除，只留下刚刚划分的train和test文件夹。
为了上传方便，将train_data文件夹，压缩成一个train_data.zip。
（2）数据集整理代码
将data_prepare_code文件夹，进行压缩，变成data_prepare_code.zip文件夹。
（3）Yolov5训练代码
将Yolov5_code训练代码，进行压缩，变成yolov5_code.zip。
（4）后台上传文件
点击AutoDL后台-我的网盘，将刚刚的三个zip文件进行上传。
3.4 新建实例设备
到了这里，所需的代码、数据集就都准备好了。
接下来可以准备新建一个实例设备操作。
选择和网盘对应的区的实例。
挑选GPU服务器时，右侧展示的都是单卡的价格，要注意有的设备必须要多张卡一起租。
点击进入后，可以修改两个地方，一个是GPU数量，一个是新建实例的基础镜像。
GPU数量选择1，表示单卡；新建实例镜像，选择了Pytorch的版本。
在结算的地方，可以看到可用的代金券。
点击“立即创建”后，就可以看到创建的实例了。
点击右面的“JupyterLab”，可以进入控制台页面。
可以点击下面的“终端”，打开一个终端页面，就可以进行操作了。
如果一个终端页面不够操作的话，可以点击左上方的“+”号，新增加几个终端页面。
在上面，可以看到autodl-nas，这个就是我们刚刚使用的网盘。
进入autodl-nas文件夹后，里面有前面新上传的三个zip文件。
将三个zip文件，使用unzip的方式进行解压。
最后可以看到，三个文件夹都被解压缩成功。
3.5 标注文件xml格式转换txt格式
先查看一下训练数据集train_data的路径，因为会涉及到转换后的txt路径，在云服务器上运行加训练。
先cd train_data文件夹，再输入pwd，可以看到这时的数据集路径是：/root/autodl-nas/train_data。
然后再去修改代码中的路径，首先cd data_prepare_code文件夹里，再vim train_data_split.py，使用前面的阶段三中的代码，将标注的人体xml文件转换成txt文件。
vim train_data_split.py后，打开页面，拖到最下方，即这个部分。
按键盘上的“i”，进入代码的编辑状态，移动到路径处，修改成云服务器上对应的路径，我们的是/root/autodl-nas/train_data，大家可以对应修改。
修改完成后，按键盘上的Esc键，跳出编辑状态。
再输入“:”，会跳出输入框，再输入"wq!"，表示对于该修改内容，保存编辑强制退出，回到原始页面。
因为云服务器我们刚刚新建实例的时候，没有安装任何安装包。所以先pip install opencv-python，安装一下。
将xml转换成txt格式进行中。
再进入train_data文件夹中，会发现多了两个文件夹，训练时可以使用。
3.6 训练人体检测模型
训练人体模型，主要就用到/autodl-nas/yolov5_code文件，在训练之前还要修改一下参数。
（1）新建person.yaml
因为训练的是人体检测模型，所以在yolov5_code/data文件夹中，新增一个person.yaml。
这一步需要注意的是，训练集和验证集的路径都要修改一下，此外还有类别数，以及类别标签。
（2）修改train.py参数
而在yolov5_code/train.py文件中，主要修改models初始化模型的路径，这里使用的yolov5n的模型权重。
cfg即模型对应的网络结构路径，data是新增的person.yaml路径。
此外还有epochs训练迭代的次数，batch-size大小，imgsz可以修改，这里默认640。
（3）修改models/yolov5n.yaml
修改其中的类别数量，因为人体就一个类别，修改成1。
（4）训练人体检测模型
因为训练的时候，需要一系列的库文件，所以回到yolov5_code的路径下，输入 pip install -r requirements，安装所需的库文件。
大家如果遇到tqdm安装的报错，可以输入pip install tqdm，看下有哪些版本，找对应的版本下载。
安装完成后，输入python train.py，就可以开始训练了。
训练过程中，一般会得到两个模型：
一个是best.pt，即epoch迭代的过程中，map精度对比比较好保存的模型；
一个是last.pt，即迭代过程中，最后一次epoch保存的模型。
在后面测试的时候，主要使用best.pt文件。
3.7 下载检测模型
在AutoDL的我的网盘，找到runs下面最新训练人体检测模型，路径可以参考：
将best.pt模型下载下来，修改成yolov5n_best.pt，并放到资料包代码文件夹中。
4. PC端Pytorch推理测试
云服务器主要是用来训练，测试部分包括模型转换，都还是在我们自己的PC电脑上。
当我们训练出一个人体检测模型时，比如得到最轻量型的yolov5n.pt文件之后，先在PC端电脑上，用人体检测模型针对图片和视频进行效果测试，这次还是采用训练营重新修改编写的代码。
4.1 Pytorch功能库的安装
我们特意找了一台空白的电脑，没有安装任何功能库的电脑进行整体的测试，大家可以按照步骤操作，安装所需的库。
（1）Pytorch库的安装
如果没有安装Pytorch会报错。
首先打开Pytorch的官网：https://pytorch.org，根据电脑配置，进行选择。
比如我们现在用的电脑系统是Window系统，没有GPU显卡。
下方的显示窗口会跳出pip3 install torch torchvision torchaudio，当然在下载的时候为了网络加速，还添加了清华源。
组成下载代码：
pip3 install torch torchvision torchaudio -i
https://pypi.tuna.tsinghua.edu.cn/simple
最终很快下载好Pytroch，及torchvision等一系列的相关函数库。
（2）其他相关库下载
除了Pytorch，代码中还有一系列的依赖库，这里也列出相关的下载链接，可以一个个下载安装。
Pandas下载：
pip3 install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple
yaml下载：
pip3 install pyyaml -i https://pypi.tuna.tsinghua.edu.cn/simple
tqdm下载：
pip3 install tqdm -i https://pypi.tuna.tsinghua.edu.cn/simple
matplotlib下载：
pip3 install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple
seaborn下载：
pip3 install seaborn -i https://pypi.tuna.tsinghua.edu.cn/simple
scipy下载：
pip3 install scipy -i https://pypi.tuna.tsinghua.edu.cn/simple
ipython下载：
pip3 install ipython -i https://pypi.tuna.tsinghua.edu.cn/simple
4.2 针对图片进行推理测试
我们使用yolov5的模型，对于images里面的图片进行推理，测试一下效果。
打开detect_image.py文件，这里主要修改代码中的模型、图片路径、yaml文件。
使用Run->"Run Without Debuging"，运行后可以得到一张张推理的图片效果。
4.3 视频进行推理测试
因为实际项目中主要使用视频进行推理，所以我们再加载视频，进行推理测试。
视频处理的代码，我们也重新进行了梳理，放在detect_video.py中。
主要修改模型路径、视频路径以及yaml的路径。
运行后，可以得到视频的推理结果。
5. AidLux端模型推理测试
在PC端测试完之后，我们要在安装了AidLux的边缘设备上使用。
在前面我们介绍过，AidLux针对推理部分，在底层进行了加速优化。要将pt模型移植到AidLux上使用，需要进行转换模型，进行修改推理代码的操作。
5.1 pt模型转换成tflite模型
模型转换的文件是export.py文件，在AidLux中主要运行的是tflite的方式，因此主要修改其中的三个地方。
因为需要tensorflow，没有安装库的情况下，运行时会报错：
所以再输入：
pip3 install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple，下载tensorflow库。
安装好再运行export.py文件，在models文件夹下面，可以看到生成的yolov5n-fp16.tflite文件。
5.2 AidLux视频推理代码理解
本次课程在AidLux中使用的推理测试代码，已经放到yolov5_code/aidlux文件夹的yolov5.py中了，大家也可以将训练好的tflite放到aidlux文件夹中。
AidLux有专属的函数接口AidLite，大家可以在
https://docs.aidlux.com/#/intro/ai/ai-aidlite，查看相关的介绍和使用说明。
这其中的代码和原本PC端的代码有一些不同，这里也梳理讲解一下，主要分为三个部分：
（1）加载相关的函数库
（2）模型初始化及加载
这里主要用到两个函数接口，一个是aidlite_gpu.aidlite()和aidlite.ANNMode()。
AidLite初始化的说明：
AidLite加载模型的说明：
此外还有两行in_shape，out_shape，这里可以通过netron查看一下相关的模型参数。
我们使用https://netron.app/，打开刚刚的yolov5n_best-fp16.tflite文件，点击最下方的输出单元，可以看到输出的信息。
（3）视频读取&模型推理代码
视频读取和模型推理的地方也比较简单，这里做了详细描述，大家可以对照查看。
5.3 代码复制到AidLux中
和第二节课中一样，我们将yolov5的代码，全部上传到AidLux的home下面。
操作方式可以在远程连接的网页版AidLux中，打开文件浏览器，进入home下方，点击上传按钮，将lessons3_codes进行上传。
5.4 远程连接AidLux软件
在第二节课中，我们讲解了使用SSH，连接到AidLux的方式。
大家也可以远程连接到lesson3_codes，当看到红色部分的SSH:AIDLUX，即说明远程连接成功。
5.5 推理测试AidLux代码
打开aidlux文件夹中的yolov5.py进行视频推理测试，在手机版本的AidLux和PC端网页的AidLux中，都可以看到推理的显示结果。
tips：需要注意的是，在运行的时候，需要把手机版本里面的aidlux页面叉掉，免得会有冲突，运行的线程会直接被killed掉。
6.课堂小作业
这节课我们主要学习了如何使用云服务器，训练yolov5的人体检测模型。并将训练好的检测模型，转换成AidLux可以使用的tflite模型，且对一个图片和视频进行推理测试，看到实际的效果。
本节课最后留一个小作业。
大家可以随便拍摄一个小视频。并使用yolov5n_best-fp16.tflite模型进行推理测试，并将推理的得到的检测框分数绘制到每个人体上，同时检测框变为蓝色。比如下方的效果：
以上就是第三节课的内容。
大家可以进行AidLux AI开发者交流，有AidLux工程师和江大白等众多AI行业专家给予技术指导以及进行交流互动。
完成作业的同学可以将完成的Demo视频或截图交流分享，遇到问题的同学也可以提问~
本节课所需的数据集、资料包，大家可以在里面获取呦~