人脸识别的性能指标

原始链接 http://www.blogbus.com/shijuanfeng-logs/235975701.html


人脸识别中不同应用模式下的性能指标 - [人脸识别]

版权声明:转载时请以超链接形式标明文章原始出处和作者信息及本声明http://www.blogbus.com/shijuanfeng-logs/235975701.html

以前只知道测试性能的指标是:前K选识别率,以及ROC曲线。

前者表示鉴别性能,后者表示验证性能。

今天才知道,监控中不是用这两个指标来测试的。。。。

不知道的真太多了。。。

-----------------------------------------------

  • 验证性能

1. FAR、FRR、ERR

FAR: False Accept Rate

FRR: False Reject Rate

计算方法:设定一个分数阈值T,FAR=非同人分数>T/非同人比较的次数,FRR=同人比较分数

一般,FAR=0.001时,FRR的值作为参考。值越小,性能越好。

 

EER:FAR=FRR时,对应的T值。

一般画两条曲线,看看交点。

 

2. FMR、FNMR

FMR: False Match Rate

Fraction of impostor comparisons that produce an similarity score greater than a threshold value

FNMR: False non-Match Rate

Fraction of genuine comparisons that produce a similarity score less than some threshold value

 

我的理解中FMR就是FAR,FNMR就是FRR。不同的叫法而已。—> 但这样理解是错误的。

 

FAR = FMR * (1 – FTA)

FRR = FTA + FNMR * (1 – FTA) 

式中: FTA —— 采集失败率

错误采集率 failure-to-acquire rate FTA: 在辨识或验证的尝试中,采集不到样本或样本质量无法达到要求的比例。

 

3. GFAR、GFRR

GFAR :广义误接受率,Generalized false accept rate

GFRR :广义误拒绝率,Generalized false reject rate

 

广义上的错误拒绝发生在:

(i)测试对象没有注册,

(ii)不能提取提交的样本,

(iii)存在错误匹配。

 

广义上的错误接受和错误拒绝率将由下述公式给出:

GFAR = FMR * (1 – FTA) * (1 – FTE)^2

GFRR = FTE + (1 – FTE) * FTA + (1 – FTE) * (1 – FTA) * FNMR

式中:

FTE:注册失败率 failure-to-enroll rate

 

When single images are compared, (GFAR,GFRR) and (FMR,FNMR) will be equivalent if no failures are observed.

 

  • 鉴别性能

 

1. 大库检索

前K选识别率

 

2. 视频监控

FNIR: False negative identification rate

Fraction of searches that do not have an enrolled mate for which one or more candidate list entries exceed a threshold

错误拒绝辨识率:注册用户被系统错误辨识为其他注册用户的比例

设定分数阈值T,已注册用户进行比对时,分数>=T的样本不存在

FPIR: False positive identification rate

Fraction of searches that have an enrolled mate for which the mate is below a threshold

错误接受辨识率:非注册用户被系统辨识为某个注册用户的比例

设定分数阈值T,未注册用户进行比对时,分数>=T的样本存在

 

但如果测试样本全部为入库样本,即闭集测试时,FPIR是没法计算的。这时,采用下面的式子

FNIR = FTA + (10FTA) * FNMR (我不知道这个式子对不对)

FPIR = (1 - FTA) * (1 - (1 - FMR)^N)

式中: FTA —— 错误采集率;  N —— 数据库中样本的数量。

 

 

 

参考:

网上有个PPT很好地讲了FMR/FNMR, FNIR/FPIR:http://www.doc88.com/p-906281893467.html

MBE2010的文档:latest Evaluation Plan and API

L71 中华人民共和国国家标准 GB/T  生物特征识别性能测试和报告 第1部分

ISO/IEC 19795-1






你可能感兴趣的:(模式识别,人脸识别)