使用conlleval.pl对CRF测试结果进行评价的方法

作者:炼己者


1. 基于CRF做命名实体识别系列

用CRF做命名实体识别(一)
用CRF做命名实体识别(二)
用CRF做命名实体识别(三)
用BILSTM-CRF做命名实体识别

2. 评测

用CRF做完命名实体识别我们测试之后得到的结果就是预测的标签,并不能直接得到F1值等评测结果,之前我是用sklearn写了一个计算F1值的代码,现在发现了一个神器,可以直接得到F1值。我也是直接下载的,不好直接发给大家,就在这里给个链接好了conlleval+perl环境+conlleval使用说明。里面有很详细的介绍,大家照做即可。

3. 百闻不如一见

用上面的工具就会得到如下的结果,非常的方便

processed 552387 tokens with 22928 phrases; found: 22325 phrases; correct: 21183.
accuracy:  98.83%; precision:  94.88%; recall:  92.39%; FB1:  93.62
              LOC: precision:  92.48%; recall:  90.39%; FB1:  91.43  6653
              ORG: precision:  98.20%; recall:  98.41%; FB1:  98.30  3395
              PER: precision:  94.55%; recall:  89.13%; FB1:  91.76  7104
             TIME: precision:  96.25%; recall:  95.81%; FB1:  96.03  5173

4. 注意

另外提醒大家一点,标签的格式也要一致,按照说明去操作,也就没有什么问题了


以下是我所有文章的目录,大家如果感兴趣,也可以前往查看
戳右边:打开它,也许会看到很多对你有帮助的文章

你可能感兴趣的:(使用conlleval.pl对CRF测试结果进行评价的方法)