人脸识别5.2- insightface人脸3d关键点检测,人脸68个特征点、106个特征点;人脸姿态角Pitch、Yaw、Roll、

姿态角分为Pitch、Yaw、Roll,通过关键点检测得到

人脸识别中,人脸角度相关概念:https://www.jianshu.com/p/73fc0c13d6e0
如何计算得到姿态角:https://blog.csdn.net/u014090429/article/details/100762308
姿态角分为Pitch、Yaw、Roll,用于表示人脸在空间三维坐标系内的角度,常用于判断识别角度的界限值。

各角度阈值如下:

Pitch:三维旋转之俯仰角度,范围:[-90(上), 90(下)],推荐俯仰角绝对值不大于20度;
Yaw:三维旋转之左右旋转角,范围:[-90(左), 90(右)],推荐旋转角绝对值不大于20度;
Roll:平面内旋转角,范围:[-180(逆时针), 180(顺时针)],推荐旋转角绝对值不大于20度;

人脸识别5.2- insightface人脸3d关键点检测,人脸68个特征点、106个特征点;人脸姿态角Pitch、Yaw、Roll、_第1张图片

人脸识别5.2- insightface人脸3d关键点检测,人脸68个特征点、106个特征点;人脸姿态角Pitch、Yaw、Roll、_第2张图片
人脸识别5.2- insightface人脸3d关键点检测,人脸68个特征点、106个特征点;人脸姿态角Pitch、Yaw、Roll、_第3张图片

人脸识别5.2- insightface人脸3d关键点检测,人脸68个特征点、106个特征点;人脸姿态角Pitch、Yaw、Roll、_第4张图片

人脸识别5.2- insightface人脸3d关键点检测,人脸68个特征点、106个特征点;人脸姿态角Pitch、Yaw、Roll、_第5张图片
人脸识别5.2- insightface人脸3d关键点检测,人脸68个特征点、106个特征点;人脸姿态角Pitch、Yaw、Roll、_第6张图片

人脸识别68个点,从0开始

参考文档:https://blog.csdn.net/DUDUDUTU/article/details/125166035

68点标注是现今最通用的一种标注方案,早期在1999年的Xm2vtsdb数据集中就被提出,300W数据集和XM2VTS等数据集也都采用了68个关键点的方案,被OpenCV中的Dlib算法中所采用。 68个关键点的标注也有一些不同的版本,这里我们介绍最通用的Dlib中的版本,它将人脸关键点分为内部关键点和轮廓关键点,内部关键点包含眉毛、眼睛、鼻子、嘴巴共计51个关键点,轮廓关键点包含17个关键点。

人脸识别5.2- insightface人脸3d关键点检测,人脸68个特征点、106个特征点;人脸姿态角Pitch、Yaw、Roll、_第7张图片
人脸识别5.2- insightface人脸3d关键点检测,人脸68个特征点、106个特征点;人脸姿态角Pitch、Yaw、Roll、_第8张图片

// 鼻尖 30
// 鼻根 27
// 下巴 8
// 左眼外角 36
// 左眼内角 39
// 右眼外角 45
// 右眼内角 42
// 嘴中心 66
// 嘴左角 48
// 嘴右角 54
// 左脸最外 0
// 右脸最外 16

人脸识别5.2- insightface人脸3d关键点检测,人脸68个特征点、106个特征点;人脸姿态角Pitch、Yaw、Roll、_第9张图片
人脸识别5.2- insightface人脸3d关键点检测,人脸68个特征点、106个特征点;人脸姿态角Pitch、Yaw、Roll、_第10张图片
Dlib所采用的68个人脸关键点标注可以看上图,单边眉毛有5个关键点,从左边界到右边界均匀采样,共5×2=10个。 眼睛分为6个关键点,分别是左右边界,上下眼睑均匀采样,共6×2=12个。 嘴唇分为20个关键点,除了嘴角的2个,分为上下嘴唇。上下嘴唇的外边界,各自均匀采样5个点,上下嘴唇的内边界,各自均匀采样3个点,共20个。 鼻子的标注增加了鼻梁部分4个关键点,而鼻尖部分则均匀采集5个,共9个关键点。 脸部轮廓均匀采样了17个关键点。 如果把额头部分也加上去,就可以得到更多,比如81个关键点。

106与186点标注

106个关键点标注是商汤科技提出的在业内被广泛采用的方案,包括Face++等企业开放的API多采用这个标注方式,具体信息如下:

人脸识别5.2- insightface人脸3d关键点检测,人脸68个特征点、106个特征点;人脸姿态角Pitch、Yaw、Roll、_第11张图片
人脸识别5.2- insightface人脸3d关键点检测,人脸68个特征点、106个特征点;人脸姿态角Pitch、Yaw、Roll、_第12张图片
外轮廓,33个均匀采样点,比Dlib更加密集。 嘴巴20个关键点,与Dlib标注的相同。 鼻子15个关键点,与Dlib相比增加了两侧鼻梁部位。 眼睛20个关键点,每只眼睛轮廓点共8个,眼球中心点2个。 眉毛18个关键点,区分了上眉毛边界。 后续又在106个关键点的基础上提出了更加稠密的186个关键点,如今各个开发团队使用的点数可能会有差异,比如百度使用过72和150个点的方案。 除了以上这些常用的方案,还有很多的数据集也有自己的标注标准,比如BioID Face Dataset包含20个关键点,BUHMAP-DB包含52个关键点,MUCT包含76个关键点,PUT大部分图像包含30个关键点,其中正面人脸包括了194个点。

人脸关键点可以有以下主要应用:

人脸姿态对齐,人脸识别等算法都需要对人脸的姿态进行对齐从而提高模型的精度。
人脸美颜与编辑,基于关键点可以精确分析脸型、眼睛形状、鼻子形状等,从而对人脸的特定位置进行修饰加工,实现人脸的特效美颜,贴片等娱乐功能,也能辅助一些人脸编辑算法更好地发挥作用。
人脸表情分析,基于关键点可以对人的面部表情进行分析,从而用于互动娱乐,行为预测等场景。

1. 4点、5点、6点标注

人脸面部最关键的有5个点,分别为左右两个嘴角,两个眼的中心,鼻子,这5个关键点属于人脸内部关键点。
2013年的AFW数据集中标注了双眼、鼻子、嘴唇共6个关键点,其中嘴唇有3个点。

人脸识别5.2- insightface人脸3d关键点检测,人脸68个特征点、106个特征点;人脸姿态角Pitch、Yaw、Roll、_第13张图片

备注

pitch
英 [pɪtʃ] 美 [pɪtʃ]
v.
抛;投球;用力扔;投;当投手;触地;(使球)定点落地;击出大曲线球;重跌;颠簸;确定标准;(使产品或服务)针对,面向;推销;定音高;搭(帐篷)
n.
球场;(体育比赛的)场地;(感情、活动等的)程度,力度;(事物的)最高点;(尤指乐音的)音高;推销的话;投球;沥青;街头售货摊点;(船在水上的)上下颠簸,纵摇;倾斜度

yaw
英 [jɔː] 美 [jɔː]
vi.
偏航
n.
【海,航】偏航(角);侧滑(角)

roll
英 [rəʊl] 美 [roʊl]
n.
卷;卷轴;一管;小面包条;小圆面包;翻滚;摇晃;脂肪堆积的部位,肥胖的部位(尤指腰部);花名册;隆隆声;掷骰子
v.
(使)翻滚,滚动;(使)原地转圈,原地打转;(使)翻身,翻转;使…成球状(或管状);把(衣服的边)卷起来;使平坦;(用某物)包裹,覆盖;(使)摇摆,摇晃;发出持续的声音;启动

你可能感兴趣的:(NLP实战项目,PP/TF/PT,智慧城市,3d,计算机视觉,人工智能)