自动化学科前沿讲座作业 基于深度学习的工厂人员监测系统设计

1 背景及应用场景
在工业复杂生产环境下，作业人员的安全问题至关重要。大多数工业企业采
用人眼观察视频的方式对作业人员位置进行判断，这种方式长时间会使管理者出
现疲劳问题，效率非常低下，遇到安全问题也不能进行及时的处理。采用图像处
理以及深度学习技术使计算机代替人眼去检测和定位人员，不仅可以提高检测的
准确率，同时也可以减轻监管人员的工作负担。使用计算机视觉技术，在工厂实
现工作服穿戴检测、员工到岗和离岗检测、员工疲劳检测等人员管理的场景 AI
化，可以提升工厂人员管理效率并降低企业管理成本。

2 系统预实现目标
通过摄像头实时采集工厂员工视频流数据，基于所采集的视频流数据实现工
业生产环境员工穿戴检测、到离岗检测以及疲劳检测等功能。并且将检测结果反
应至控制调度中心，由控制调度中心做出相应的记录展示、提示警报和异常处理
等。以上所描述的即为该基于深度学习的工厂人员监测系统预实现的技术和功能
层面目标，而该系统所要实现的企业效益目标为利用计算机代替管理人员对生产
员工进行标准化、智能化管理，进而减少额外的劳动力费用和降低生产事故发生
率等。

3 场景及重难点分析

4 系统设计方案
4.1 系统整体方案

4.2 系统技术架构

4.3 主要算法 Yolov3
原始 Yolov3 的网络结构如下图所示，主干网络为 Darknet-53 结构，借鉴
ResNet 中的残差结构进行网络地搭建．网络本身为全卷积结构，不包含池化层
以及全连接层，张量的尺寸变换通过改变卷积核的步长来实现．特征图在网络中
会经历 5 次缩小，最终特征图的尺寸等于输入尺寸的 51/2，即 1/32。

Yolov3 借鉴 FPN 的思想，引入了多尺度检测模块，网络的输出层总共包含
3 个不同尺度的特征图。具体来说，从主干网络的 8 倍、16 倍以及 32 倍下采样
处分别提取特征图进行 3 个尺度的预测，特别地，对于 8 倍和 16 倍下采样的特
征图，通过与后一层特征图的上采样(upsampling)结果拼接融合(concat)得到新的
特征图进行最终的预测。其中输出层特征图的每一个网格需要预测 3 个目标框，
每个预测框(predicted boxes)包含(x,y,w,h,confidence) 5 个参数，另外包含一个类
别概率，所以最终每个网格需要预测的参数总共为 18。
Yolov3 网络同样引入了 anchor 机制，通过 anchor 的设置引导网络的训练．通
过维度聚类算法，对数据集所有样本中真实目标框(ground-truth boxes)的尺寸进
行聚类分析，得出 9 组不同的宽高组合，进一步将 9 组数据分为 3 个大组，分别
分配给 3 个不同的尺度，每个尺度包含 3 个不同的宽高组合，通过不同尺寸 anchor
的设置来实现对不同尺度目标的检测。

4.4 数据采集与模型迭代
原始数据采集：从视频片段中采样得到数据集，模拟违规。
违规规则定义：将业务规则转化成单帧物体检测的规则。
单帧图像违规规则判断：违规是否持续了一段时间（真的发生了违规，还是某一
两帧模型的误判）。
在模型迭代优化中，同步进行：①Bad Case 数据的收集与标注 扩充数据集，尽
量涵盖数据集中未出现的情景。②检查已有的数据标注 提高数据质量。③将违
规行为检测问题分解为“单帧图像的物体检测问题”与“聚合到时间维度的规则
判断问题”。
优化：①通过多次试验，调整规则的阈值条件，使单帧检测效果提升。②通过合
适的时间聚合条件，将单帧违规信息聚合到事件维度，提高事件级别的识别准确
率（Precision）。③迭代期间模型试运行测试时，收集 Bad Case 数据，追加标注
数据进行迭代训练。

5 系统成本估算

6 道德伦理问题
该系统中需要进行人脸识别、人脸特征提取等涉及员工生物特征的采集与存储等处理，因此存在一定的安全隐患与道德伦理问题。人脸识别系统通常是专有的并且保密，但是有专家称，大多数系统涉及一个多阶段过程，该过程通过深度学习对大量数据进行大规模神经网络训练。为了使人脸识别算法正常工作，必须对大型图像数据集进行训练和测试，理想情况下，必须在不同的光照条件和不同的角度多次捕获这些图像，大多数员工未经许可即被收集人脸图像。
人脸识别信息以或显或隐的方式表征着自然人的人格，一旦被非法收集、使用、存储、传输、披露，对信息主体造成歧视、人格尊严贬损和隐私泄露等后果可能伴随一生。因此，属于敏感个人信息的人脸识别信息被非法处理的后果较一般个人信息更为严重，需要法律的特殊保护。
规制人脸识别技术应用带来的风险、严格保护人脸识别信息的前提是明确人脸识别信息在法律上的属性。我国暂未出台专门保护人脸识别信息的法律，保护人脸识别信息主要依据现行法中关于敏感个人信息、一般个人信息和隐私权的规定。个人信息保护法为保护人脸识别信息构建了严格的事前信息处理规则，除此之外还为侵害人脸识别信息的行为规定了罚款、吊销营业执照、损害赔偿等行政、民事乃至刑事责任，以增强对违规使用人脸识别技术、侵害人脸识别信息的行为的威慑力。而对于企业本身来说，必须加强监管、提高技术透明度，防止员工人脸特征等信息的泄露和被非法使用。