母猪产仔早知道，这次南农用上了英伟达边缘 AI Jetson

内容一览：对养猪业而言，母猪产仔是其中关键的一环。因此，提高猪仔成活率、确保母猪分娩过程安全，成为重要课题。现有的 AI 监测方式，存在着高设备成本与信息传输不稳定的问题，南京农业大学研究人员，利用一种轻量级深度学习方式，对母猪分娩这一过程进行早期预警和有效监测，降低成本的同时，提升了监测准确率。

关键词：嵌入式开发板轻量级深度学习

本文首发于 HyperAI 超神经微信公众平台～

作者｜alice

编辑｜三羊

我国生猪养殖业规模居全球首位，但产业整体依旧面临着养殖水平较差的问题。对于很多大型养猪场，最关键的是在提高猪仔成活率的同时降低成本。传统方法靠人力监管难度大且主观性强，面对母猪分娩过程中难产、猪仔窒息等一系列问题，难以及时有效地处理。

近几年，AI 监控已成为解决这一问题的重要方法。其原理大多是借助云计算为基础的深度学习来进行监控，然而这一方法对设备与网络宽带要求高，具有很强的限制性与不稳定性。

据中国养猪网介绍，母猪在分娩前 12-24 小时内，由于催产素或催乳素的作用，往往会表现出筑巢行为，且姿势变换频率增加。基于此，实验团队通过 YOLOv5 算法设计出一个监测母猪姿势与猪仔出生的模型，并部署在英伟达 Jetson Nano 开发板上，从而在复杂场景中对该过程进行监测和分析，具有低成本、低延迟、高效率、易实现的特点。

目前这一成果于 2023 年 1 月发表于《Sensors》期刊，标题为：「Sow Farrowing Early Warning and Supervision for Embedded Board Implementations」。
论文已发表于《Sensors》期刊。

论文地址：
https://www.mdpi.com/1424-8220/23/2/727

实验概述

数据与处理

视频数据来自江苏宿迁与靖江两个养殖场，共收集了 35 头围产期母猪的视频数据。其中靖江猪场的 11 头母猪的数据记录于 2017 年 4 月 27 日至 5 月 13 日，宿迁猪场的 24 头母猪的数据记录于 2020 年 6 月 9 日至 15日。母猪被随机放置在特定尺寸 (2.2m x 1.8m) 的产床之中，视频数据由摄像头 24 小时连续记录。

流程如下：
图 1: 视频采集流程图

接下来，对数据进行预处理。实验团队首先筛选出母猪分娩前后一天录制的视频，然后用 Python 和 OpenCV 将其处理成图像数据。利用标签软件对获取的 12,450 张图像中的母猪姿势及新生仔猪数据进行手动标注和数据增强，得到 32,541 张图像数据组成数据集。

数据增强 (Data Augmentation)：此处指裁剪、平移、旋转、镜像、改变亮度、添加噪音和剪切)

这个数据集被分为 5 个类别：4 种母猪姿势（侧卧、胸骨卧、站立和坐）和仔猪，训练集、验证集和测试集的比例为 7 : 1 : 2。

图 2: 经过数据增强后的效果

实验模型

实验团队利用 YOLOv5s-6.0 建立了一个检测母猪姿势和仔猪的模型。此模型由 4 个部分组成：

Input：图像输入

BackBone：母猪和仔猪图像特征的提取

Neck：图像特征的融合

Prediction：预测（因母猪和仔猪的体型差异较大，这一部分使用了 3 种不同的特征图 (feature map)，以进行大、中、小目标对象的检测）
图 3: YOLOv5s 算法的网络结构

a：CBS 模块细节

b：Res-unit 模块细节

c：CSP1_X 和 CSP2_X 模块细节结构

d：SPPF 模块细节结构

实验团队将算法部署在英伟达推出的 Jetson Nano 系列嵌入式 AI 计算平台，并利用 TensorRT 来优化模型，使其后续在嵌入式开发板上的运行具有更高的吞吐量和更低的延迟，同时避免了网络传输过程中可能存在的数据泄漏。

图 4: TensorRT的工作流程

具体参数如下：

模型训练环境：Ubuntu 18.04 操作系统，Intel(R) Xeon(R) Gold 5118 @ 2.30 GHz CPU，NVIDIA Quadro P4000 GPU，8 GB 显存，64 GB 内存，2-TB 硬盘，PyTorch 1.7.1 和 Torchvision 0.8.2 深度学习框架，CUDA 版本 10.1。

模型部署环境：适配 ARM 的 Ubuntu 16.04 操作系统，4 核 ARM A57 @ 1.43 GHz CPU，128 核 Maxwell 架构GPU，4 GB memory，JetPack 4.5，Cuda10.2.89，Python 3.6，TensorRT 7.1，Opencv 4.1.1，CMake 3.21.2 深度学习环境。

模型参数：(1) 对于 YOLOv5 训练，设置 epoch 300，learning_rate 0 .0001，batch_size 16；(2) 对于 TensorRT 优化网络，batch_size 为 1，精度 fp16。

最后实验团队使用精度 (precision)、召回率 (recall rate) 和检测速度 (detection speed) 等指标对不同算法进行了性能评估。

其中，精度及召回率可用于衡量算法检测所有类别数据的能力，包括 4 种母猪姿势（侧卧、胸骨卧、站立和坐）及新生小猪；模型大小及检测速度则用于衡量该算法是否适合部署在嵌入式设备上。

计算公式如下：

TP：正样本 (positive sample) 的正确预测数

FP：正样本的错误预测数

FN：负样本 (negative sample) 的错误预测数

实验结果

模型性能

实验团队发现，在模型训练的 300 个 epoch 中，随着迭代周期增加，精度和召回率总体呈上升趋势。同时可发现，进行数据增强后的 YOLOv5s 模型的精度和召回率始终较高。

图 5：YOLOv5s 检测模型的精度和召回率

a：精度 (precision)

b：召回率 (recall)

橘线：经过数据增强后的 YOLOv5s 模型的精度/召回率

蓝线：未经数据增强的 YOLOv5s 模型的精度/召回率

实验中，平均精度 (mAP) 被用来评估该算法检测所有类别的能力。实验团队在评估 YOLOv5s 算法的同时，还横向对比了 YOLOX-nano 和 NanoDet-m 两种算法的性能，结果发现，YOLOX-nano 和 NanoDet-m 的检测速度略快于 YOLOv5s，但精度较低，存在对仔猪漏检和误检的情况。而 YOLOv5s 算法对不同尺寸的目标检测效果良好，模型在图像、本地视频和摄像头的平均检测速度上与其他两种相当。并且，经过数据增强的 YOLOv5s 模型具有最高的精度和召回率，分别为 0.982 和 0.937。

表 1:不同算法对母猪姿势和仔猪检测的评价指标

为了测试模型的的泛化能力 (generalization ability) 与抗干扰能力，实验团队在训练模型时候将其中一头母猪保留作「新样本」，从中选择了 410 张包含不同复杂场景的图像对模型进行测试。结果显示，母猪姿势的漏检和误检主要受到光照变化影响；仔猪主要受到热灯开启的影响，即强光下的仔猪难以识别；第一只仔猪出生时间和不同颜色热灯场景对模型的检测能力影响较小。

表 2: YOLOv5s 模型在复杂环境下的测试情况

左二栏：母猪姿势的漏检率在复杂光照下最高

左三栏：母猪姿势的误检率在复杂光照下与夜间开启热灯的情况下较高

左四栏：仔猪误检数量在复杂光照下和夜间热灯开启的情况下较高

左五栏：仔猪漏检数量在夜间热灯开启的情况下较高

图 6: 复杂环境图像测试效果

a：复杂光照下

b：第一只仔猪出生

c：不同颜色的热灯下

d：夜间热灯开启

部署前后

实验团队将模型部署在英伟达 Jetson Nano 后，能够准确地对母猪姿势以及猪仔进行检测。比较测试结果后发现，虽然该模型部署在英伟达 Jetson Nano 后精度上出现了微小的降低，但是其速度却提升了 8 倍以上。

表 3：模型测试效果对比

左一栏：模型的格式

左二栏：模型部署平台，Quadro P4000 为对比测试所用平台。

嵌入式开发板上的 GPU 利用率限制了该模型的实际应用能力。下图展示了模型在嵌入式开发板上检测图像和视频目标时的 GPU 利用率。由于需要对视频流进行解码处理，因此在检测视频时的 GPU 利用率高于检测图像时的利用率，但这并不影响模型的性能。测试结果表明，研究中的模型可以应用于不同的生产场景。