社交距离检测

在新冠疫情危机中，减少人群的聚集是减少传播的重要措施之一。减少亲密接触，从而减少传染病的传播，那么保持安全的社交距离则显得尤为重要。

具体的实现步骤大致如下：

1. 训练目标检测模型
2. 用得到的模型检测视频流中的所有人
3. 检测人与人之间的距离

（一）训练模型（paddleX）

模型的训练，这里是使用百度飞桨（paddlepaddle），使用使用PaddleX提供的PPYOLO模型，在VOC2012数据集进行训练；

什么是PaddleX：PaddleX是基于飞桨核心框架、开发套件和工具组件的深度学习全流程开发工具。具备 全流程打通 、融合产业实践 、易用易集成 三大特点（非常好用，吹爆）。具体怎么用，参考下面的链接
传送门.

首先当然是搭建我们的环境，这里因为可以白嫖百度飞桨的算力资源（GPU：Tesla V100，Video Mem:16GB,CPU: 4 Croes,RAM:32GB,Disk:100GB），所以是在AIStudio上的notebook（类似于Jupyter Notebook）进行的模型训练。这里使用的paddlex下的PPYOLO进行迁移学习训练模型，所以我们就不用搞那么复杂了，就不需要自己一层层的搭建网络了

至于代码，我就不一行行的解释了，上面官方链接里写的很清楚，这里仅附上我训练的代码

这是我在AIStudio训练该模型的项目传送门.

代码如下：

import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'

import paddlex as pdx
from paddlex.det import transforms

# 定义训练和验证时的transforms
# API说明 https://paddlex.readthedocs.io/zh_CN/develop/apis/transforms/det_transforms.html
train_transforms = transforms.Compose([
    transforms.MixupImage(mixup_epoch=250), transforms.RandomDistort(),
    transforms.RandomExpand(), transforms.RandomCrop(), transforms.Resize(
        target_size=512, interp='RANDOM'), transforms.RandomHorizontalFlip(),
    transforms.Normalize()
])

eval_transforms = transforms.Compose([
    transforms.Resize(
        target_size=512, interp='CUBIC'), transforms.Normalize()
])

# 定义训练和验证所用的数据集
# API说明：https://paddlex.readthedocs.io/zh_CN/develop/apis/datasets.html#paddlex-datasets-vocdetection
train_dataset = pdx.datasets.VOCDetection(
    data_dir='work/voc2012',
    file_list='work/voc2012/train_list.txt',
    label_list='work/voc2012/labels_list.txt',
    transforms=train_transforms,
    shuffle=True)
eval_dataset = pdx.datasets.VOCDetection(
    data_dir='work/voc2012',
    file_list='work/voc2012/val_list.txt',
    label_list='work/voc2012/labels_list.txt',
    transforms=eval_transforms)

# 初始化模型，并进行训练
# 可使用VisualDL查看训练指标，参考https://paddlex.readthedocs.io/zh_CN/develop/train/visualdl.html
num_classes = len(train_dataset.labels)

# API说明: https://paddlex.readthedocs.io/zh_CN/develop/apis/models/detection.html#paddlex-det-yolov3
model = pdx.det.PPYOLO(num_classes=num_classes)

# API说明: https://paddlex.readthedocs.io/zh_CN/develop/apis/models/detection.html#train
# 各参数介绍与调整说明：https://paddlex.readthedocs.io/zh_CN/develop/appendix/parameters.html
model.train(
    num_epochs=20,
    train_dataset=train_dataset,
    train_batch_size=4,
    eval_dataset=eval_dataset,
    learning_rate=0.00025,
    lr_decay_epochs=[10, 15],
    save_interval_epochs=4,
    log_interval_steps=100,
    save_dir='output/ppyolo',
    pretrain_weights='IMAGENET',
    use_vdl=True)

剩下的就是等待了，我是早上（2021-01-13 10:21:33）开始训练的，到下午（2021-01-13 14:46:20）就训练好了。因为我这里Epoch设置的小了点，还有一些训练参数设置的不够好，导致训练出的模型效果不是很好，时间有限，所以就没有继续优化了，所以下面使用的是飞桨已经训练好的YOLOv3-MobileNetV1模型进行图像的目标检测

PS：这里要说的是，其实在精度上，PPYOIO要比YOLOv3-MobileNetV1好，但因为我这里训练参数没有调好，所以训练出来模型效果不是很好（也不是一塌糊涂，但相比于飞桨已经训练好的YOLOv3-MobileNetV1），后面有时间的话，还会继续调参继续优化的。

（二）使用模型进行目标检测（YOLOv3-MobileNetV1）

这是我在AIStudio进行行人社交距离检测的项目链接传送门.

有啥看不懂的，就看上面我附上的paddlex的说明文档就明白了

import paddlex as pdx

model = pdx.load_model('yolov3_mobilenetv1_coco')
result = model.predict('3.jpg')
pdx.det.visualize('3.jpg', result, threshold=0.3, save_dir='./')

实现大致效果如下：

上面代码中result返回值是列表类型，列表中每个元素均为一个dict，key包括’bbox’, ‘category’, ‘category_id’, ‘score’，分别表示每个预测目标的框坐标信息、类别、类别id、置信度，其中框坐标信息为[xmin, ymin, w, h]，即左上角x, y坐标和框的宽和高。

所以下面我们要做的就是对预测结果进行筛选，只提取和人相关的即可，然后就是，将每个矩形框的中心设置为每个人的中心，以每个人的中心为圆心，矩形框高度的一半为半径。当两个人中心之间的距离小于两个人之间的半径距离之和时，即认为两个人之间的距离小于安全的社交距离，然后用红色的矩形框将两人框起来，并且用蓝色的线条将两人连接，如果某人与任何人的距离都大于安全的社交距离，则用绿色框将其框住。然后在图像下方显示图像中的总人数和小于安全距离的总人数

代码如下：

import paddlex as pdx
import cv2
from scipy.spatial import distance

test_jpg = '3.jpg'
model = pdx.load_model('yolov3_mobilenetv1_coco')


# predict接口并未过滤低置信度识别结果，用户根据需求按score值进行过滤
result = model.predict(test_jpg)

def bounding_box(outs):#筛选目标为人和提取坐标的函数

    boxes = []
    for out in outs:
        class_id=out['category_id']
        if class_id == 0:
            # 0 is ID of persons
            confidence = out['score']
            if confidence > 0.35:
                x = int(out['bbox'][0])
                y = int(out['bbox'][1])
                w = int(out['bbox'][2])
                h = int(out['bbox'][3])
                boxes.append([x, y, w, h])    

    return boxes

boxes=bounding_box(result)

frame=cv2.imread('3.jpg')
circles = []
for i in range(len(boxes)):#生成圆心和半径
    x, y = int(boxes[i][0]), int(boxes[i][1])
    w, h = int(boxes[i][2]), int(boxes[i][3])
    frame = cv2.circle(frame, ( x + w // 2,y + h // 2), 5, (255, 20, 200), -1)
    circles.append([x + w // 2, y + h // 2, h/2])#这里用人的高度做距离的检测半径

indexes = []
for i in range(len(circles)):#计算人与人之间的距离，并将距离小于安全距离的坐标索引进行保存
    x1, y1, r1 = circles[i]
    for j in range(i + 1, len(circles)):
        x2, y2, r2 = circles[j]
        if distance.euclidean((x1,y1),(x2,y2))<(r1+r2):
            indexes.append(i)
            indexes.append(j)

            cv2.line(frame, (x1, y1), (x2, y2), (255, 0, 0), 2)

num=0
for (i, (x, y, w,h)) in enumerate(boxes):
    if i in indexes:
        num=num+1
        color=(0,0,255)#安全距离之外的，为红色

        color=(0,255,0)#安全距离之外的，为绿色

    cv2.rectangle(frame, (x, y), (x+w, y+h), color, 2)

			


cv2.rectangle(frame, (0,  frame.shape[0] - 50), (frame.shape[1], frame.shape[0]), (0, 255, 0), -1)
cv2.putText(frame,"Total Persons : " + str(len(boxes)),(0,  frame.shape[0]-10 ),
            fontFace=cv2.QT_FONT_NORMAL,fontScale=1,color=(0, 0, 0))
cv2.putText(frame,"Alarm : " + str(num),(frame.shape[1]//2,  frame.shape[0]-10),
            fontFace=cv2.QT_FONT_NORMAL,fontScale=1,color=(0,0,255))

cv2.imwrite('frame.jpg',frame)

效果如下：

下面是对视频流的处理
方法与图片的类似，这里引入了moviepy库，对图像进行处理，至于怎么使用，可自行baidu，这里就不解释了，下面是一个写的比较好的，小伙伴们，可以看看
传送门.

视频流处理的代码：

import cv2
import paddlex as pdx
from scipy.spatial import distance
from moviepy.editor import VideoFileClip


model = pdx.load_model('work/yolov3_darknet53_coco')

# predict接口并未过滤低置信度识别结果，用户根据需求按score值进行过滤

def bounding_box(outs):
    boxes = []
    for out in outs:
        class_id = out['category_id']
        if class_id == 0:
            # 0 is ID of persons
            confidence = out['score']
            if confidence > 0.35:
                w = int(out['bbox'][2])
                h = int(out['bbox'][3])
                x = int(out['bbox'][0])
                y = int(out['bbox'][1])
                boxes.append([x, y, w, h])

    return boxes

def op(frame):
    result = model.predict(frame)

    boxes = bounding_box(result)

    circles = []
    for i in range(len(boxes)):
        x, y = int(boxes[i][0]), int(boxes[i][1])
        w, h = int(boxes[i][2]), int(boxes[i][3])
        frame = cv2.circle(frame, (x + w // 2, y + h // 2), 5, (255, 201, 201), -1)
        circles.append([x + w // 2, y + h // 2, h / 2])  # 这里用人的高度做距离的检测半径

    indexes = []
    for i in range(len(circles)):
        x1, y1, r1 = circles[i]
        for j in range(i + 1, len(circles)):
            x2, y2, r2 = circles[j]
            if distance.euclidean((x1, y1), (x2, y2)) < (r1 + r2):
                indexes.append(i)
                indexes.append(j)

                cv2.line(frame, (x1, y1), (x2, y2), (0, 0, 255), 2)

    num = 0
    for (i, (x, y, w,h)) in enumerate(boxes):
        if i in indexes:
            num = num + 1
            color = (255, 0, 0)
        else:
            color = (0, 255, 0)

        cv2.rectangle(frame, (x, y), (x+w, y+h), color, 2)

    cv2.rectangle(frame, (0, frame.shape[0] - 50), (frame.shape[1], frame.shape[0]), (0, 255, 0), -1)
    cv2.putText(frame, "Total Persons : " + str(len(boxes)), (0, frame.shape[0] - 10),
                fontFace=cv2.QT_FONT_NORMAL, fontScale=1, color=(0, 0, 0))
    cv2.putText(frame, "Warning : " + str(num), (frame.shape[1] // 2, frame.shape[0] - 10),
                fontFace=cv2.QT_FONT_NORMAL, fontScale=1, color=(0, 0, 255))

    return frame


clip=VideoFileClip('1.mp4')
out_put=clip.fl_image(op)
out_put.write_videofile('out_put.mp4')

效果如下（有兴趣的小伙伴可以看看，效果还不错）：
视频传送门.
提取码：pmp7

用paddlex是不是很简单，其简明易懂的Python API，方便用户根据实际生产需求进行直接调用或二次开发，为开发者提供飞桨全流程开发的最佳实践，真的是太好用了，妈妈再也不用担心我炼丹（Deep learning）了，总之就是非常好用。

（三）结语

木有了

如果有什么错误的地方，还请大家批评指正。最后，希望小伙伴们都能有所收获。码字不易，喜欢的话，关注一波在走吧