生物识别中评价标准：FAR、FRR、EER、FMR、FNMR、FNIR、FPIR、DET、ROC曲线的理解和实际应用（python实现）

做了一些补充，把各个标准的理解整理了一下，也把代码部分补充了。
Will Yip
2020.7.26

---

生物识别中评价标准

1. 对于FAR、FRR、EER、FMR、FNMR、FNIR、FPIR、DET曲线的理解

• FAR(False Acceptance Rate)：误识率
  注意，这里指的是类间的匹配结果，本该匹配错误但识别为正确的比例，计算公式如下：
  $$FAR=\frac{NFA}{NIRA}\times 100\%$$
  式中，NIRA指类间匹配的总次数，NFA指错误接受的次数
• FRR(False Rejection Rate)：拒识率
  这里 指的是类内的匹配结果，本该匹配正确但识别为错误的比例，计算公式如下：
  $$FRR=\frac{NFR}{NGRA}\times 100\%$$
  式中，NGRA指类内匹配的总次数，NFR指错误拒绝的次数
• FMR(False Match Rate)：错误匹配率
  其实很好理解，FMR就是识别错了（这个是前提），但是系统判定为正确的比例
  这个评价标准在国标里面，如果没有特别指明，默认跟FMR=FAR，这一点很关键。
• FNMR(False Non-Match Rate)：错误不匹配率
  FNMR是识别对了（这个是前提），但是系统判定为错误的比例。
  这个评价标准在国标里面，如果没有特别指明，默认跟FNMR=FRR，这一点很关键。
• EER(Equal Error Rate)：等错误率
  指的是FAR(FMR)和FRR(FNMR)两条曲线的交点，对应的那个阈值（threshold），取值范围0-1，但实际上很少会出现FAR(FMR)和FRR(FNMR)完全相等的情况，一般会在一个很小的误差范围内认为在这个阈值上FAR(FMR)和FRR(FNMR)相等。具体可以看稍后代码中的情况。
  

具体可以参考部分中的英文ppt，更加具体，后面的两个标准FNIR、FPIR大同小异，跟FAR、FRR差不多，下次用到再补充。

• DET(Detection Error Tradeoff)曲线：
  显示的是拒识率(FRR) 和 误识率(FAR)随着阈值（threshold）变化时两者所产生的变化。 横轴为误识率(FAR)，纵轴为拒识率(FRR)，图像的弧线越靠近左下角说明分类的性能越好。
• ROC(receiver operating characteristic curve)曲线：
  这个曲线就很有历史了，二战就开始用了，用来分析雷达信号接收机（receiver）的信号检测性能。
  把DET 曲线上下翻转即可得到ROC曲线，因此横轴和纵轴刚好跟DET曲线相反。
  图像的弧线越靠近左上角说明分类的性能越好。

2. 实际应用（python实现）

• FAR & FRR & DET & ROC 曲线 和计算 ERR
  数据保存的形式如下：

class_in [0.6835004, 0.901112, 0.7841303, ...]
class_each [0.2197524, 0.113668742, 0.4682101, ...]

第一行代表表示类内的匹配结果，第二行表示类间的匹配结果。
每个数字代表的是匹配的confidence，如果要调用的话，还是根据自己数据的保存形式来做读取部分的工作，下面的代码是根据上述的数据保存形式写的，请知悉。
代码如下：

# -*-coding:utf-8-*-
import numpy as np
import matplotlib.pyplot as plt


############################ 根据实际情况修改 ####################################
###############################################################################
f=open('/home/will/In_N_each_log20200723.txt','r')
s = f.read()
s1 = s.split('\n')
s1.pop(2)
class_in = s1[0].split('class_in ')
class_in.pop(0)
class_in = class_in[0][1:-1].split(', ') #去掉一头一尾的中括号，然后分割
class_in = [float(i) for i in class_in]

class_each = s1[1].split('class_each ')
class_each.pop(0)
class_each = list(class_each[0][1:-1].split(', '))
class_each = [float(i) for i in class_each]

###############################################################################
FRR = [] #FNMR
FAR = [] #FMR
thresld = np.arange(0.1, 0.9, 0.01)  # 生成模型阈值的等差列表
eer = 1
for i in range(len(thresld)):
    frr = np.sum(class_in < thresld[i]) / len(class_in)
    FRR.append(frr)

    far = np.sum(class_each > thresld[i]) / len(class_each)
    FAR.append(far)

    if (abs(frr - far) < 0.02):  # frr和far值相差很小时认为相等
        eer = abs(frr + far) / 2
# DET曲线
plt.plot(FAR, FRR, 'b-', linewidth=3, label='Global')

# ROC曲线
plt.plot(FRR，FAR, 'b-', linewidth=3, label='Global')

# FRR和FAR随阈值的变化曲线
#plt.plot(thresld, FRR, 'r-', label='FRR')
#plt.plot(thresld, FAR, 'b-', label='FAR')

plt.grid(True)
plt.legend(loc=1, fontsize = '10')
plt.ylabel('False Rejection (in %)', fontsize = 10) # 横坐标轴的标题
plt.xlabel('False Acceptance (in %)', fontsize = 10) # 纵坐标轴的标题
plt.xticks(fontsize=10)
plt.yticks(fontsize=10)
plt.show()
print('EER: ', eer)

效果图：
稍后补充，结果还在跑

• FMR & FNMR 曲线
  如果没有特别指明FMR和FNMR，则：
  • FMR = FAR
  • FNMR = FRR

参考：

http://www.doc88.com/p-906281893467.html
https://blog.csdn.net/colourful_sky/article/details/72830640
https://blog.csdn.net/huashui2009120/article/details/78483051
https://blog.csdn.net/u011501388/article/details/78334996
https://zhuanlan.zhihu.com/p/99085220