深度学习 Feeding behavior recognition for group-housed pigs with the Faster R-CNN 论文篇

Feeding behavior recognition for group-housed pigs with the Faster R-CNN


—— 在Faster R-CNN中对群养猪的进食行为识别

Keywords:
Pig identification (猪只识别)
Feeding behavior recognition (进食行为识别)
Faster R-CNN


摘要(Abstract)


猪的进食行为是猪的健康状况的重要指标,因此实现自动化的行为识别是猪场精准养殖的关键问题。在视频监控技术普遍应用与动物行为监测的今天,要想精准识别每一只猪,视频监控序列是实现猪只行为识别的先决条件。这篇论文提出了使用Faster R-CNN在猪场中定位和识别每一只猪,同时每只猪的头部也会被定位出来。这篇论文还设计了用于猪的头部与猪的身体联系(匹配)的算法。在此基础上,基于feeding area occupation rate(进食区域占领比例)被用于监测猪的进食行为。实验表明,此算法在识别猪只进食行为上准确率(precision)达到99.6%,召回率(reall)达到86.93%。

摘要总结:

  • 该论文提出了使用Faster R-CNN定位和识别猪,同时每只猪的头部也会被定位(识别)出来。
  • 这篇论文设计了用于猪的头部与猪的身体进行匹配(联系)的算法。
  • 这篇论文基于feeding area occupation rate(进食区域占领比例)进行猪的进食行为的监测。
  • 指标:准确率(precision)达到99.6%,召回率(reall)达到86.93%

引言(Introduction)


深度学习 Feeding behavior recognition for group-housed pigs with the Faster R-CNN 论文篇_第1张图片

上图主要讲了猪只进食行为在猪的培育阶段的重要性,比如猪的进食量常常与食物的好坏、环境的变化、疾病早期的症状有关系。大多是饲养员对猪只的进食量仅凭经验粗略估计,因此带有很强的主观性且不够准确。为了提高精准养殖,需要新技术来获取猪只的进食量、监测猪的进食行为。

  • 进食行为在视频图像中应该怎么定义呢?进食行为可以描述为 “咀嚼或者咬食物(chewing or bitting food)”或者“把头部放在食槽中(putting the head in the throgh)”

  • 在识别猪只进食行为之前需要先识别每个猪个体,而现在的**Radio Frequency Identification (RFID)**射频识别技术正好解决了猪只识别的技术难题。这种技术需要给猪戴上耳标,当猪的头部进入进食区域,RFID天线就会把猪给识别出来,采集的数据将会传送到系统当中。但是(RFID)射频识别技术也存在缺点:成本太高、猪的进食区域只能限制在特定地方。最主要的问题是当多个猪个体进入槽区,怎么同时识别多只猪个体。Low-frequency(LF), high-frequency(HF) and ultra-high frequency(UHF) RFID systems(LF——低频;HF——高频;UHF——超高频)都是用于检测猪只进食行为,都很高效,但是(RFID)射频识别技术必须需要让猪只戴上耳标,不能同时识别多只猪个体。

  • 视频监控是一种可选择的监测猪只行为的一种方法,因为它成本低且容易实现。在从视频中提取猪的相关信息,前人也展开了一些研究(以下列举不同研究方法):

    • 对于视频的每一帧,Otsu segmentation方法提出将图片二值化(binaries),从而将猪只与背景区分开来。

    • **混合高斯模型(The mixed Gaussian model)最大熵分割方法(the maximum entropy segmentation method)**相结合来检测猪。

    • 有人提出了一种多级阈值分割(A multi level threshold segmentation)方法,以准确获取猪的轮廓。

      以上几种方法都是将猪从背景中区分开来,这种策略极易受光照的影响。

  • 从相关的研究中,我们知道在猪的精准养殖中,利用视频监控自动识别猪只个体仍是一个棘手的问题。怎么从猪只个体中选择合适的特征,也是一个关键问题。

  • 卷积神经网络(CNN)不需手工选择特征,能够自动提取特征,因此常用来做图像的目标识别。R-CNN用来进一步解决目标识别问题。Fast R-CNN 在CNN的最后一层中匹配候选区域(candidate regions)和特征图(feature map),极大地改善了目标识别的效果。

因此,该论文使用Faster R-CNN model检测猪只个体,也用来检测猪的头部。基于猪只进食行为的描述,视频监控包含了进食时间,着手进行猪只进食行为的识别。


实验材料和方法(Materials and methods)


基本实验情况


数据来源:广东萝岗区的猪场(每个棚有四只猪,配有两个饮水器和一个进食槽)

棚的大小:4m*5m

监控摄像机:安装高度5m,型号DS-2CD3345-I, Hikvision,25帧每秒

摄像头帧大小:宽2560 pixels,高1440 pixels

监控录像时间: July 8,2016 to August 6, 2016 for a total of 30 days.

猪的品种:Landrace,长白猪,四只猪体型尺寸相似,标有字母A、B、C、D区分

样本帧如下:


猪只进食识别流程:


深度学习 Feeding behavior recognition for group-housed pigs with the Faster R-CNN 论文篇_第2张图片


  1. 从视频序列中获取图片
  2. 检测识别每一只猪
  3. 检测每一只猪的头部
  4. 进行进食行为识别

检测猪只及进食行为识别的算法(Algorithm for individual pig identification and feeding behavior recognition)


该论文基于Faster R-CNN训练能够同时检测猪只及其头部的检测器

以下将Faster R-CNN Pig Detector简称为 FRPD

数据集构造 (Data set construction)


深度学习 Feeding behavior recognition for group-housed pigs with the Faster R-CNN 论文篇_第3张图片

FRPD的训练过程(Training procedure of the FRPD)


深度学习 Feeding behavior recognition for group-housed pigs with the Faster R-CNN 论文篇_第4张图片
  • FRPD的主要任务包括两个:一是在图片中定位猪的位置,二是识别出每只猪的ID。
  • RPN用于猪的定位,Fast R-CNN object detection network用于识别猪的ID。
  • 文章采用迁移学习和Image-net dataset中的预训练模型,来解决数据样本不充分的问题
  • 文章采用ZF-net来提取特征,因为它层数比较少,只包含5个卷积层。The regional proposal network 和
    The detection network都是接在ZF-net的后面。
  • The regional proposal network和 The detection network共享(卷积)特征。

训练过程共分为4步:

  1. 在RPN网络训练的第一阶段,在ZF-net初始化过程,端对端的微调完成。Regional proposal在这一阶段生成。

  2. 在Fast R-CNN训练的第一阶段,以前一步的RPN输出作为输入,detector network(检测器网络)在这一阶段进行训练。

  3. 在RPN网络训练的第二阶段,Fast R-CNN detector network被用来初始化RPN。

  4. 在Fast R-CNN训练的第二阶段,non-public layers(非公共层)完成微调工作,在卷积特征层形成滑动窗口来训练RPN。

深度学习 Feeding behavior recognition for group-housed pigs with the Faster R-CNN 论文篇_第5张图片

FRPD的测试过程(Testing procedure of the FRPD)


深度学习 Feeding behavior recognition for group-housed pigs with the Faster R-CNN 论文篇_第6张图片

  1. 输入的图片首先完成卷积操作,产生特征图。
  2. RPN将这些特征图作为输入,并用边框(bounding boxes)标出所有可能是目标的区域。为了提高效率,只要得分最高的300个bounding boxes保留下来。每个保留下来的bounding boxes经过训练好的detection network确认过是匹配检测目标的。

用来匹配猪只身体和头部的算法(Algorithm for association of a pig head with its body)


主要依据:


算法流程:

深度学习 Feeding behavior recognition for group-housed pigs with the Faster R-CNN 论文篇_第7张图片

群养猪进食行为识别(Feeding behavior recognition for group-housed pigs)


主要依据:


算法流程:

深度学习 Feeding behavior recognition for group-housed pigs with the Faster R-CNN 论文篇_第8张图片

结果和讨论(Results and Discussion)


实验细节


深度学习框架:Caffe

显卡配置: NVIDIA Tesla K80

实验软件:Matlab

训练集:测试集 8:2

学习率:0.0001

猪只个体识别的评价


混淆矩阵

深度学习 Feeding behavior recognition for group-housed pigs with the Faster R-CNN 论文篇_第9张图片

评价指标

深度学习 Feeding behavior recognition for group-housed pigs with the Faster R-CNN 论文篇_第10张图片

猪只进食行为识别的评价


识别结果

深度学习 Feeding behavior recognition for group-housed pigs with the Faster R-CNN 论文篇_第11张图片

评价指标

深度学习 Feeding behavior recognition for group-housed pigs with the Faster R-CNN 论文篇_第12张图片

讨论(Discussion)


传统分割方法与FRPD方法的对比


此外,作者用网络上的图片构造了另外一个数据集


总结 (Conclusions)


在养猪过程中,弄清每头猪的日常食物摄入量至关重要。本文提出了相应的解决方案。利用视频监控的优势,设计了一种自动提取猪只个体进食行为的算法。首先,训练了一种基于Faster RCNN识别个体猪只的模型。其中猪只及其头部检测的准确率为0.9658,召回率为0.8704。然后,我们将检测到的头部与猪的身体按其位置相关联。猪只进食时会在饲料槽停留一段时间,根据此特性,我们提出在图片中设定一个进食区域(槽区)。对于每帧,如果进食区被猪的头占据,则认为发生了进食行为。猪进食行为识别的准确率为0.996,召回率为0.8693。本文为猪的精确培育提供了一种实用的方法。它只需要养猪场的视频监控,没有额外的要求,为猪的培育提供有用的信息。


致谢(Acknowledgements)

深度学习 Feeding behavior recognition for group-housed pigs with the Faster R-CNN 论文篇_第13张图片

你可能感兴趣的:(算法之路,计算机视觉,算法,机器学习,人工智能,深度学习)