中国人工智能学会通讯——众包中的统计推断与激励机制 3 众包激励措施

3 众包激励措施

我要讨论的下一个问题，就是在做众包的时候怎么付钱。我之所以想做这个问题，是因为我对前面的解决方案并不是很满意。尽管极小极大熵原理相对投票，以及其他的方法准确率有很大的提高，但是我希望能有更大的提高。

如果我们想把一个问题的解决方案做出本质的提升，往往需要跳出原来的解决思路。我们注意到众包远不只是机器学习的问题。众包是个商业行为。众包人员给我们标记数据时，我们需要付钱。如何付钱有可能是整个众包数据质量的关键所在。

一个常用的付钱策略就是通过随机抽查答案的质量来决定付多少钱。具体操作起来，就是把一些我们已经知道答案的问题随机分布在众包任务里面（下图里面红方框表示已经知道标签的图像）。这些知道答案的问题通常称为金色标准问题。数据标记人员不知道哪些问题是金色标准问题。我们根据一个数据标记人员在金色标准问题上的表现来决定付多少钱。

我们可以先想想怎么付这个钱。比如说：

（1）报酬正比于精度。假设我们有100个图像需要标记，有4个图像我们是知道答案的，但是数据标记员不知道哪4个图案你是知道答案的，假设每个标记是2分钱，有一个人答对了一个，正确率就是四分之一，报酬是4 ×2 ×¼ = 2。

（2）超过一定精度才给钱。比如说精度超过了60%，我们就给钱，低于60%就不给钱。上面那个例子里面就不给钱。