人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)

  • 论文背景
  • 人脸检测与人脸对齐意义
  • 论文的研究成果
  • 人脸检测的研究趋势
  • 论文采用的方法思路
    • 阶段一
    • 阶段二:
    • 阶段三
  • 卷积网络设计层面
  • Loss损失函数的设定
    • 面部分类
    • 边界框回归
    • 人脸关键点定位
    • L2范数
    • 在线困难挖掘
  • 论文实验
    • 数据集
  • 网络模块代码实现
    • 激活函数
    • P-Net模块代码
    • R-Net模块代码
    • O-Net
    • 图像处理过程中图像金字塔
  • MTCNN项目代码实现
  • 关于训练流程与数据集处理重要内容
    • tensorflow版本(tensorflow1.8.0)
    • pytorch版本(Pytorch 1.8.1 Python 3.7)

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第1张图片
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第2张图片

摘要:在无约束环境中,由于姿态、光照和遮挡的不同,人脸检测和对齐具有挑战性。最近的研究表明,深度学习方法可以在这两个任务上取得令人印象深刻的表现。在本文中,我们提出了一个深度级联的多任务框架,利用它们之间的内在相关性来提高它们的性能。特别是,我们的框架采用级联结构,具有精心设计的深度卷积网络的三个阶段,以粗到精的方式预测人脸和地标位置。此外,在学习过程中,我们提出了一种新的在线硬样本挖掘策略,可以在不需要人工样本选择的情况下自动提高性能。我们的方法在具有挑战性的FDDB和WIDER FACE人脸检测基准以及人脸对齐的AFLW基准上实现了优于最先进技术的精度,同时保持了实时性能。
概括的讲,本论文提出了一种利用级联的卷积神经网络进行人脸检测人脸对齐方法。

论文背景

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第3张图片
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第4张图片

人脸检测与人脸对齐意义

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第5张图片

论文的研究成果

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第6张图片

人脸检测的研究趋势

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第7张图片

论文采用的方法思路

这篇文章中提出的CNNs包括三个部分。
第一部分P-Net,它通过浅层CNN网络快速生成候选窗口。
第二部分R-Net,它通过更复杂的CNN细化。部分产生的候选窗口以拒绝大量不包含人脸的窗口。
最后一部分O-Net,它使用更强大的CNN网络来细化结果并输出人脸特征点位置。
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第8张图片
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第9张图片

阶段一

P-Net网络图
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第10张图片

阶段二:

R-Net
R-Net网络是将P-Net网络模块的输出作为输入
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第11张图片
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第12张图片

阶段三

O-Net
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第13张图片
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第14张图片

卷积网络设计层面

本文较少了滤波器的数量,并将5x5的滤波器更改为3x3滤波器,同时增加网络的深度,可以使用更少的时间获得更佳的性能
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第15张图片

Loss损失函数的设定

面部分类

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第16张图片
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第17张图片

边界框回归

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第18张图片
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第19张图片

人脸关键点定位

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第20张图片

L2范数

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第21张图片
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第22张图片

在线困难挖掘

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第23张图片

论文实验

数据集

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第24张图片
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第25张图片
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第26张图片

网络模块代码实现

激活函数

在这里插入图片描述

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第27张图片

P-Net模块代码

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第28张图片
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第29张图片

R-Net模块代码

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第30张图片
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第31张图片

O-Net

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第32张图片
人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第33张图片

图像处理过程中图像金字塔

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第34张图片

MTCNN项目代码实现

关于训练流程与数据集处理重要内容

人脸识别 基于MTCNN网络的人脸检测与对齐算法(MTCNN代码复现)_第35张图片
数据集:WIDERFace,

Deep Convolutional Network Cascade for Facial Point Detection的训练集

tensorflow版本(tensorflow1.8.0)

项目地址下载地址:
https://download.csdn.net/download/guoqingru0311/88782700

pytorch版本(Pytorch 1.8.1 Python 3.7)

项目地址下载地址:
https://download.csdn.net/download/guoqingru0311/88782700

你可能感兴趣的:(MTCNN人脸识别)