class average accuracy, accuracy ,precision ,recall 机器学习基础评价标准

这几个评价标准非常容易弄混与想当然。认真看哈,很重要。

对于室内场景,或者是任何带类别的识别任务,都会有class average accuracy. 大家想当然的翻译成类平均识别率,就会和precision搞混。而且又因为它带一个accuracy,所以会和accuracy搞混。

class average accuracy, accuracy ,precision ,recall 机器学习基础评价标准_第1张图片

precision

认准率。通俗来讲就是你认出来的,有多少人对了。举个例子,你家有一只狗,还有两瓶啤酒,两份报纸,一双拖鞋,也就是两只拖鞋(样本总量为6)。你对你家狗狗说去给我把整个屋子里面的啤酒都拿过来。然后它给你叼过来两瓶啤酒,一份报纸,一只拖鞋,这时狗狗的precision是50%,它认为是啤酒的四个物品中只有一个是。然后你和你家猫说去给我把烟叼过来,它赏你一个白眼。主子的precision是零。

这个指标反应了你的可信度,比如让家用机器人把降压药拿过来,他一定不能错,他可以不把家里全部的降压药都拿过来,但是他要保证拿过来必须是降压药。降压药的precision一定要是100%。

recall

召回率,通俗来讲就是有多少东西被你找到了。还是刚才的猫狗例子。你对你家狗说去给我把整个屋子里面的啤酒都拿过来。然后它给你叼过来两瓶啤酒,一卷卫生纸,一只拖鞋,你喝完了这两瓶啤酒,觉得你家狗狗太笨,就拿来这么点。你决定亲自去。你打开冰箱,发现冰箱里真的就两瓶啤酒,你瞬间热泪盈眶,原来你家狗狗把它能找到的都给你叼过来了。狗狗对啤酒的recall就是100%。总共就两瓶啤酒,都被狗狗认出来了。

你和你家猫说去给我把烟叼过来,它赏你一个白眼。你对主子无可奈何,只能自己去找,然后找遍房子都没有,这时你家肥猫移动尊臀,从茶几上挪到了窝里打算睡觉。你发现你找了5分钟的烟,就在肥猫的屁股底下。你家肥猫对烟的召回率也是零。

这个指标反应了你能不能最大程度上把目标全找到。比如警察用智能软件筛查一群嫌疑犯,那么,必须一个不剩的都被采集到,即便是有一些良民被智能软件认为是嫌疑犯也无所谓,嫌疑犯的recall必须是100%

class average accuracy

论文中必出现的一个标准(人脸肯定没有,你见过给人脸分类的?)。本质来讲是类平均召回率。计算方法是对每一类的召回率求个平均值,很简单吧。你让你家狗狗给你拿报纸。它给你拿了一份报纸,一罐啤酒,一只拖鞋。但你家门口有三份报纸,第一份被它当作是啤酒给你了。狗狗昨天对啤酒的召回率是100%,但是对于报纸表现不佳,对报纸的召回率只有33.3%你和狗狗要拖鞋,狗狗给了你一份报纸,狗狗对报纸的召回率是0。那么,你家狗狗对啤酒,报纸,拖鞋的class average accuracy就是(100%+33.3%+0)/3=44.4%。

所以我们说,类平均准确率就是平均召回率。千万记住不要和precision,以及accuracy弄混。

accuracy

所有正确的样本的总数,除以正确样本的总数。3/7=42.9%.

 

 

你可能感兴趣的:(人工智能,机器学习,数学,传统方法,模式识别)