人脸识别的性能指标

原始链接 http://www.blogbus.com/shijuanfeng-logs/235975701.html

人脸识别中不同应用模式下的性能指标 - [人脸识别]

版权声明：转载时请以超链接形式标明文章原始出处和作者信息及本声明http://www.blogbus.com/shijuanfeng-logs/235975701.html

以前只知道测试性能的指标是：前K选识别率，以及ROC曲线。

前者表示鉴别性能，后者表示验证性能。

今天才知道，监控中不是用这两个指标来测试的。。。。

不知道的真太多了。。。

-----------------------------------------------

• 验证性能

1. FAR、FRR、ERR

FAR: False Accept Rate

FRR: False Reject Rate

计算方法：设定一个分数阈值T，FAR=非同人分数>T/非同人比较的次数，FRR=同人比较分数

一般，FAR=0.001时，FRR的值作为参考。值越小，性能越好。

 

EER：FAR=FRR时，对应的T值。

一般画两条曲线，看看交点。

 

2. FMR、FNMR

FMR: False Match Rate

Fraction of impostor comparisons that produce an similarity score greater than a threshold value

FNMR: False non-Match Rate

Fraction of genuine comparisons that produce a similarity score less than some threshold value

 

我的理解中FMR就是FAR，FNMR就是FRR。不同的叫法而已。—> 但这样理解是错误的。

 

FAR = FMR * (1 – FTA)

FRR = FTA + FNMR * (1 – FTA) 

式中： FTA —— 采集失败率

错误采集率 failure-to-acquire rate FTA: 在辨识或验证的尝试中，采集不到样本或样本质量无法达到要求的比例。

 

3. GFAR、GFRR

GFAR ：广义误接受率，Generalized false accept rate

GFRR ：广义误拒绝率，Generalized false reject rate

 

广义上的错误拒绝发生在：

(i)测试对象没有注册，

(ii)不能提取提交的样本，

(iii)存在错误匹配。

 

广义上的错误接受和错误拒绝率将由下述公式给出：

GFAR = FMR * (1 – FTA) * (1 – FTE)^2

GFRR = FTE + (1 – FTE) * FTA + (1 – FTE) * (1 – FTA) * FNMR

式中：

FTE：注册失败率 failure-to-enroll rate

 

When single images are compared, (GFAR,GFRR) and (FMR,FNMR) will be equivalent if no failures are observed.

 

• 鉴别性能

 

1. 大库检索

前K选识别率

 

2. 视频监控

FNIR: False negative identification rate

Fraction of searches that do not have an enrolled mate for which one or more candidate list entries exceed a threshold

错误拒绝辨识率：注册用户被系统错误辨识为其他注册用户的比例

设定分数阈值T，已注册用户进行比对时，分数>=T的样本不存在

FPIR: False positive identification rate

Fraction of searches that have an enrolled mate for which the mate is below a threshold

错误接受辨识率：非注册用户被系统辨识为某个注册用户的比例

设定分数阈值T，未注册用户进行比对时，分数>=T的样本存在

 

但如果测试样本全部为入库样本，即闭集测试时，FPIR是没法计算的。这时，采用下面的式子

FNIR = FTA + (10FTA) * FNMR (我不知道这个式子对不对)

FPIR = (1 - FTA) * (1 - (1 - FMR)^N)

式中： FTA —— 错误采集率；  N —— 数据库中样本的数量。

 

 

 

参考:

网上有个PPT很好地讲了FMR/FNMR, FNIR/FPIR：http://www.doc88.com/p-906281893467.html

MBE2010的文档：latest Evaluation Plan and API

L71 中华人民共和国国家标准 GB/T  生物特征识别性能测试和报告 第1部分

ISO/IEC 19795-1