人脸解析(Face Parsing)和人体解析Human Parsing:方法、数据集和论文

人脸解析

人脸解析(Face Parsing)即把人脸的各个部分分割出来。下图左侧是原图,中间是标注,右侧是我输出的结果:

人脸解析(Face Parsing)和人体解析Human Parsing:方法、数据集和论文_第1张图片

这方面网上资料不多,论文也不火,很少看到商用的。目前看到华为有提供这个功能。
华为人脸解析地址:https://developer.huawei.com/consumer/cn/hiai/engine/face-parsing

人脸解析(Face Parsing)和人体解析Human Parsing:方法、数据集和论文_第2张图片

人脸解析可预见的应用场景就是虚拟试妆,或者电信业务照片的合规检查

人体解析

人体解析(Human Parsing)和人脸解析类似,就是将人体的各个部位分割出来。

人脸解析(Face Parsing)和人体解析Human Parsing:方法、数据集和论文_第3张图片

谷歌刚上线了一个浏览器内的人体解析demo。可以参考:
浏览器上跑:TensorFlow开源了实时人物分割模型,秒速25帧,24个部位

人脸解析(Face Parsing)和人体解析Human Parsing:方法、数据集和论文_第4张图片

课题组

中山大学的LIP(look into person)

地址:http://sysu-hcp.net/lip/index.php

这个课题组主要关注人体解析,有论文和数据库,也有开源代码(我没跑通)。

公开的数据集: Single Person、Multi-Person(Crowd Instance-level Human Parsing Dataset – IHP)和VIP(Video instance-level Parsing) 。单人、多人的数据都有,比较全面。

人脸解析(Face Parsing)和人体解析Human Parsing:方法、数据集和论文_第5张图片

这个个课题组的文章:
ECCV 2018 | 中山大学&商汤提出部分分组网络PGN,解决实例级人体解析难题

人脸解析(Face Parsing)和人体解析Human Parsing:方法、数据集和论文_第6张图片

北航语义分割实验室

官网:http://liusi-group.com/

这个组主要关心人脸解析。他们其中一篇论文解读博客:
【CVPR2017| 人脸解析】Learning adaptive receptive fields for deep image parsing networks

没看到他们的数据集,但是他们的一篇文章能很好的为大家对人脸解析做一个很好的介绍:如何妙笔勾檀妆:像素级语义理解

对应的PPT下载地址:https://pan.baidu.com/s/1FYznfGG914pPaU5bs0-4dw

人脸解析(Face Parsing)和人体解析Human Parsing:方法、数据集和论文_第7张图片
人脸解析(Face Parsing)和人体解析Human Parsing:方法、数据集和论文_第8张图片

其他数据集

PASCAL 子部位数据集(PASCAL Part)

地址:http://www.stat.ucla.edu/~xianjie.chen/pascal_part_dataset/pascal_part.html

PASCAL 部分数据集(PASCAL Part)[29] ):对于PASCAL-VOC 2010识别竞赛的扩展,超越了这次竞赛的任务要求而为图像中的每个物体的部分提供了一个像素级别的分割标注(或者当物体没有连续的部分的时候,至少是提供了一个轮廓的标注)。原来的PASCAL-VOC中的类被保留,但被细分了,如自行车被细分为后轮、链轮、前轮、手把、前灯、鞍座等。本数据集包含了PASCAL VOC的所有训练图像、验证图像以及9637张测试图像的标签。

人脸解析(Face Parsing)和人体解析Human Parsing:方法、数据集和论文_第9张图片

helen数据集

这是人家的人脸解析的论文自带的数据集,来源是helen人脸数据集,然后做了五官和头发的标注:http://pages.cs.wisc.edu/~lizhang/projects/face-parsing

人脸解析(Face Parsing)和人体解析Human Parsing:方法、数据集和论文_第10张图片

他们论文在这里:http://pages.cs.wisc.edu/~lizhang/projects/face-parsing/SmithCVPR2013.pdf

论文比较早,已经没太多参考价值了。

其他论文

RefineNet就在人体解析方面取得了不错的效果。

人脸解析(Face Parsing)和人体解析Human Parsing:方法、数据集和论文_第11张图片

RefineNet: Multi-Path Refinement Networks
for High-Resolution Semantic Segmentation

参考资料

Face parsing论文记录(个人)

人体解析数据集(human parsing)及近期论文

你可能感兴趣的:(深度学习论文笔记和实践)