kappa test&&summarize

当一些数据集是由人自己创造出来的,比如bug report的summary,这里就涉及到那个人做的东西别人是否认可的问题,如果好几个人一起做,可以让他们互相对对方的结果进行agreement的评估。

2010ICSM paper:Generating natural language summaries for crosscutting source code concerns 的Gail C. Murphy她们有一篇summarize bug report的文章,可以用kappa test来衡量其agreement的程度。

这篇文章中提到对text 进行summarize的classifier的EM和EMC。基于普通的email threads和meeting data。

paired t-test用来验证2队结果是否显著不同

你可能感兴趣的:(kappa test&&summarize)