分类算法测试

一、分类算法

按照一定标准将不同个体分成不同种类。

应用：人脸识别、图像识别、作弊监测

主要的分类算法种类：决策树、人工神经网络、遗传算法、朴素贝叶斯、KNN、SVM等算法。

例如，朴素贝叶斯的思想是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别的概率，哪个最大，就认为该待分类项属于哪个类别

二、测试策略

主要从正确率、错误率、灵敏度、鲁棒性等角度出发验证分类效果的优劣。

正确率：分对的样本数除以所有的总样本数，正确率越高，分类器越好

错误率：分错的样本数除以所有的总样本数，错误率越高，分类器越差

灵敏度：所有正例中被分对的比例，衡量了分类器对正例的识别能力

特效度： 所有负例中被分对的比例，衡量了分类器对负例的识别能力 

除了工程质量外，还需要特别关注：

1、准确性测试

2、大流量/大数据测试

3、业务准确性，评估是否更符合业务的需求

4、稳定性测试

5、AB对比测试

三、人脸识别算法

基本算法场景：对多路摄像头监控范围内的实时客流同时进行人脸检测、人脸提取、识别

算法实现步骤：人脸特征提取--人脸库比对--给结果

测试策略：

1、样本的选取。

2、各个子环节的测试。比如，特征提取质量，比对的准确性。

以 比对为例：

准确性测试：人员A(不同时间、位置，角度，人状态抓拍下，多次重复抓拍)还是A，人员B还是B；

错误率测试：1、识别不出的概率；2、被错误识别的概率

鲁棒性/抗噪能力：特征提取前加入噪声

大流量测试，来评估效果：什么指标说明 抓拍好； 什么说明 特征聚类好

对比测试：评估算法优化后整体的指标升降情况

四、不同业务 在 准确率 和 误判率 的权衡

1、误判率更优先的业务。

例如，癌症诊断算法中：严重控制重病被误判为 轻的概率 ，以防贻误治疗时机。无病被误判为有病的错误，还可以容忍，还可以挽回。

2、准确率优先的业务。例如，门禁系统中的人脸识别

ps: 参数阈值的调整； 需要在准确率， 识别率直接做权衡，看业务更看重哪个