Introducing Collaboration in Competitive Crowdsourcing Markets论文笔记

摘要

众包是一种在一定时间内以分布式方式解决问题的有效方法。众包平台的工作原理可以是竞争性的或协作性的。在这两种情况下，群体工作者（解决者）通过竞标或由请求者（任务提供者）预先通知获得报酬。即使这种形式是方便的，竞争力的诅咒也常常减少工人的参与。我们强调，通过在竞争激烈的众包市场引入协作，我们可以有效地处理可分解类型的任务。为此，我们提出了一种新的机制。如果任务是可分解的，那么工作人员可能会有兴趣在子任务上进行协作。这增加了获得更多具有成本效益的解决方案的机会。该机制鼓励工人通过思考分享报酬，进行合作。因此，请求者和群体工作者都从系统中受益。本文通过实证分析验证了该机制的有效性。

介绍

随着众包等在线问题解决模式的出现，在众包工作者的帮助下以一种经济有效的方式解决各种复杂的任务成为可能，这也为新的具有重大经济影响的分布式商业模式开辟了空间。有些公司仅仅是通过让人群参与在线平台完成微任务，就可以获得数十亿美元的收入。通过这样的平台，用报酬换取大量的人（不一定是专家）的帮助，可以在互联网上轻易地完成工作。

相反，传统的离线问题解决模型有必要将领域专家作为工作者。众包的力量在于将机器智能与群体智能相结合。在众包市场中，请求者（发布任务）和群体工作者（以协作方式或竞争方式解决给定任务）都获得了并行优势。众包环境可以大致分为两类：协作型和竞争型。处理竞争环境具有挑战性，因为工人总是以竞争的方式参与，并试图隐瞒他们的真实成本。竞争模型可以基于拍卖或公布价格（定义为报酬）机制。

Amazon Mechanical Turk（https://www.mturk.com（mturk））是一个著名的协作众包平台，员工可以在该平台上解决一项任务并获得报酬。在最近的一项工作的启发下，我们认为通过在PostedPrice竞争模型中引入协作可以更好地处理可分解任务。如果任务可以进一步细分为具有非负成本的子任务，则该任务是可分解的。在这里，我们提出了一种新的机制，在竞争性众包市场引入合作。我们考虑一个限制性的环境，其中报酬已经确定，任务可以分解。该机制还假定请求者完成一个或多个任务的预算有限。

在所提出的机制中，群体工作者（专家和非专家）竞争特定的任务，并找出最佳的解决方案。最初设定为固定值的薪酬会根据工人的表现动态增加。为了产生更好的解决方案，任何两个工人都可以协作并组合他们的模块，以找到请求者可接受的更低的成本。在这种环境下，同构的可分解任务可以由群体工作人员解决，请求者和工作人员都可以从系统中受益。该机制鼓励群体工作者协作，从而产生请求者所寻求的新的更好的解决方案。同时，它也增加了向合作的人群工人提供更好报酬的机会。当工人公布他们的成本时，只会将一个任务的总成本显示给所有人。子任务的成本仍然对其他工人隐藏。根据该机制，如果一个工人有兴趣了解另一个工人的子任务成本，他需要与其他人协商。

动机和挑战

任何众包业务模式的主要动机是获得给定任务的真实成本（原始成本或可能的最佳成本）。对于不可分解的任务，我们选择一个发布最佳（最低）成本的工人作为获胜者。但在可分解任务中，它可以进一步细分为多个子任务，其中每个子任务都有一个非零成本。所以，如果我们选择一个赢家，我们可能得不到真实成本。因此，我们选择联合获胜者，他们共同公布了最好的成本，这可能比个别工人公布的成本要好。

我们在图1中突出显示了我们的模型，其中一个请求者R发布了一个带有预算B的任务T。请求者期望该任务将在固定的期限内完成（预先声明）。实际上，请求者可以发布单独预算的单个或多个任务。然而，为了简单的解释，我们假设请求者发布了一个任务。此外，一组工人w1；w2；…WMG与多个任务t1；t2；…关联。在给定时间内；tkg。在每个任务都有固定期限的任何时间段内，工人可以参与单个或多个任务。我们设计了一种新的协作机制，明智地引入协作，以管理这种竞争性的众包环境。在这里，单工或联合工将根据他们发布的解决方案被宣布为获胜者。

我们考虑一个具有竞争力的标价众包平台，其中解决方案的成本和赢家的奖励是分开定义的。例如，FlightFox是一个受欢迎的众包平台，在该平台上，请求者发布一个与寻找低成本路线相关的竞赛。这将关联有限成本（航班票价本身）和报酬（对于在边界成本内找到合适航班的获胜者）。因此，请求者的总预算成为边界成本和报酬的结合。

在竞争性众包市场引入合作的主要挑战之一是管理任务和报酬的平衡。当子任务之间存在依赖关系，并且我们必须得到一个经济有效的解决方案时，这就变得更加苛刻。在任务依赖的情况下，即使我们中断一个任务并将子任务分配给多个工作人员，就像在最先进的方法中偶尔做的那样，请求者也需要雇佣另一个工作人员来处理提交的解决方案之间的依赖关系。这需要额外付款。为了解决这个问题，在我们的模型中，工作人员在协作过程中会自己加入子任务的解决方案。另一个挑战是在不影响总成本的情况下激励合作的工人。我们的模型确保了协作能够促进进一步提交具有成本效益的解决方案。作为另一个挑战，在一些现有的模型中，请求者自己分解任务。在这种情况下，他可能无法理解并适当地将报酬分配给各个子任务。因此，部分子任务可能涉及（不合理的）低报酬，阻碍工人参与。建议的方法是通过允许工人自己分解任务来解决这个问题。

提出模型

在这一部分中，我们正式描述了我们感兴趣的环境，介绍了模型及其基本特征，然后详细介绍了提出的机制。

初步细节

我们采用了一个竞争性的众包环境，可分解的任务可以由众包工人解决。该模型对请求者具有预算可行性，也有利于群体工作者。在这个模型中，我们考虑一组请求程序r1；r2；…；rn 发布一组完整的或可分解的任务，用t1；t2；表示…；tk，请求者可以发布一个或多个任务（k>= n）。对于每项任务，最低公布成本由c1；c2；…；ck，表示，时间限制s1；s2；…；sk分别表示。另一方面，把所有的工人都看成是w1；w2；…参与解决任务的WM。他们致力于找出最好的结果（以最低的成本）。能够独立或协作找出最佳结果的群体工作者被选为相应任务的获胜者。获胜者得到的报酬表示为z1；z2；…；zk，用于所有与任务对应的i。并非所有任务的报酬都是固定的，可以根据工人的表现增加报酬。

发布任务时，还将公布该特定任务的薪酬（奖励）金额。然而，这可能会增加，取决于群众工人的表现。

每个请求者都有有限的预算，因此我们设计了一个真实的机制，其中边界成本和报酬的总和不超过预算。该模型如图1所示，其中请求者的目标是通过减少过账成本来最小化预算。另一方面，通过降低单个任务的已发布最低成本，群体工作者可以最大限度地提高他们的报酬。本文所用术语的正式定义如下所示，注释见表1。

真实成本：工人完成某项特定任务的实际支出被定义为真实成本。
过账成本：工人为完成特定任务而申报的支出定义为过账成本。
边界成本：特定任务的边界成本是为工人分配的最大PostedCost。
获胜者：获胜者是被选为给定任务最佳（最低）成本的工人。
报酬：报酬是给予获胜者的奖励金额。
奖励：奖励是从一个共同获胜者中扣除的金额，当另一个共同获胜者成为共同获胜者时，再加上该金额。请注意，奖励是薪酬的一个灵活组成部分。
预算：预算是请求者完成任务所能负担的总估计成本。
可分解任务：如果任务可分解为k个非空子任务（k>=2），则该任务是可分解的，该子任务消耗正的投标值，并且总成本不变

拟议机制

在这一部分中，我们讨论了一种新的机制，该机制对于请求者来说是预算可行的，并且对群体工作者也是有益的。该机制以分布式方式工作。在这里，输入参数是边界成本（cc）和报酬（z），用于在时间限制（t）内完成相应的任务（T）。一开始，每个工人都会选择一个或多个任务，并试图估计将其解决到其最佳能力所需的最低成本。因此，它们独立地声明已过账的成本（用于完成任务）。如果成本低于边界成本，则工人被视为潜在的赢家候选人。独立承担最低费用的劳动者，可以直接选择为优胜者并给予报酬。然而，他们有机会合作。在不公布个别成本的情况下，工人可以协作并公布合并成本。直观地说，可以理解的是，即使是第一轮最佳解决方案的单独提交者，也会倾向于在假设其他人也可能在合作的情况下进行协作。

让我们现在正式确定方法。当一个任务最初是由被提出并有限制时间时，所有工作人员都被允许自由参加任务，以便独立地完成任务。独立的过账成本和时间消耗将被存储在可分解的成本矩阵里，如图2.

任务可以分解，工人可以将任务分成一对子任务，每一次任务都包含一个非零值。每一个工人都在讨论总的成本，但其子任务的成本却对其他人隐藏。为了获得最好的结果，工人们可以合作，重新考虑其他人的子任务的费用。因此，他们通过一个进程（讨论的晚些时候）进一步合作，并根据具体情况更新可分解成本矩阵。谈判过程在时间限制或稳定性到达之前完成。在边缘时间过后，请求者从可分解成本矩阵中找到最小成本。找到最小成本后，找到优胜者，计算最终预算（最小过账成本+报酬）
最后，我们检查是一个工人还是一对工人赢得了任务。如果这是一个共同的胜利，那么报酬将根据合作者的表现在他们之间分享。因此，报酬在他们之间进行分配。在拟议的谈判过程中，如果一名工人向另一名工人提出请求，而他接受了该请求，则从请求的工人中扣除一小部分作为报酬一部分的金钱（奖励），并将其添加到接受的工人中。奖励D是根据之前最低成本的减少部分来计算的。如果是独立赢款，则无需进一步计算，Z被定义为最终的赢款报酬。如果最小过账成本高于边界成本，则不会选择任何人作为任务的胜利者。

协商过程描述了通过协商加入工人的方法。工人可以自由地协作并验证合并成本是否比其公布的成本更好。
在谈判过程中，一名工人（WK）将子任务的成本保存在信封中，并要求另一名工人（WL）打开它。接受请求后，两个工作人员都可以打开信封并选择最佳子任务（基于成本），以创建更好的组合解决方案（具有最小的已发布成本），并通过更新子任务的成本来更新可分解成本矩阵。如果任何工作人员拒绝了请求，那么可分解成本矩阵将更新为空值。当时间限制耗尽时，可以从可分解成本矩阵中获得最小的过账成本。请求者从可分解矩阵中选择最小的已过账成本，并将其与边界成本进行比较。然后，为任务选择最佳解决方案。我们从可分解矩阵中找出工人（k，l）的索引，以声明获胜者。如果这两个指数不相等（即K不等于L，表示合作成本），则选择联合工人作为赢家。报酬由合营者按其出资比例分配。如果两个索引值相等（即k=l），则选择一名工人作为获胜者。他得到了全部报酬。

在建议的模型中，当玩家发布与任务对应的个人最佳解决方案（作为已发布成本）时，只有总成本显示给每个人，子成本保持隐藏状态。如果一个工人单独赢得了任务，那么他将获得报酬。相反，如果工人与其他人共同赢得任务，则报酬由联合工人分享。因此，对于工人来说，后一种选择比前一种更具竞争力。在传统的竞争环境中，选择在获得最佳结果（最低公布成本）方面取得成就的单个工人作为获胜者。一旦其他人开始合作，每一轮的明显赢家（包括第一轮）都会被迫合作。当然，更好的结果会让他们获得更多的报酬，但同时也会带来竞争性的利益。从请求者的角度来看，这种心理行为是有益的。

在网络市场上，工人的主要动机是赚钱。因此，我们鼓励工人们相互协商，了解其他工人的子任务成本，这样他们就可以通过合作进一步改进他们的解决方案，获得一些额外的报酬。这个谈判过程类似于零和博弈的概念，其中一个工人的总损失等于另一个工人的总收益。如果一个工人要求另一个工人打开他的信封并显示子任务的成本，则请求工人将损失一定百分比的钱，接受工人将获得扣除的金额。

这里有一个决定D值的重要问题。如果一对工人参与谈判过程，他们会打开信封合并他们的工作，以最小化与任务相对应的张贴成本。如果联合工人将成本降到最低，如果他们赢了，奖励将根据他们将先前最低成本降到最低的程度来计算。因此，我们可以从第二低成本中找出成本最小化的百分比。因此，D基本上是成本最小化的百分比。

实证分析

为了验证该机制的有效性，我们进行了基于仿真的分析。我们的目标是模仿由合作引发的竞争性众包环境。协作将由协商过程控制（基本上是协商的概率），并分析其对系统的影响。为此，我们考虑一项固定任务，该任务的边界成本和报酬是固定的。所有工人将任务细分为一对子任务，并公布相应的成本。这些值是通过设置逻辑边界随机生成的。然后，允许工人协商并组合他们的子任务并发布解决方案。为了进行包含分析，我们调整了连接概率的值，并研究了相应的收敛时间。

为了进行实验，我们分别将边界成本和初始报酬的值设置为1000和100。现在，我们模拟一个允许50名工人独立参与任务的环境。在第一步中，他们最多可以将任务分解为2个子任务，并提交相应的子任务。由于边界成本为1000，每个子任务的成本保持在范围[1,999]。为了模拟这种情况，工作人员通过选择1到999之间的任意值来声明第一个子任务的成本。对于第二个子任务，成本从1到（1000 -N）随机选择。
在第一次迭代中，工作人员通过自己的独立工作找到了可能的最佳解决方案，并发布相同的解决方案。在连续的迭代过程中，工作人员可以发布其单独的解决方案，也可以与其他工作人员协作并发布组合的解决方案。这些值基本上存储在可分解矩阵中（见图2）。

在每个迭代中，我们从可分解成本矩阵中找到最小的已发布成本，并将其存储在最小成本矩阵中。最后，我们选择了最低过账成本，并计算了薪酬。完成任务所需的迭代次数被视为模拟时间。

在我们这里考虑的情况下，最低成本为41。获胜者的最终报酬为195.90。在这项任务中，只有当工人们互相合作时，他们才能获胜。由于第二个最低成本为42，额外奖励按1.82计算。因此，请求者的总预算为（41+195.90）=236.90，远低于（1000+100）=1100的原始预算。现在的薪酬是195.90，从工人的角度来看，已经超过了100。因此，请求者和群体工作者都从这个机制中受益。

我们分析了在迭代过程中（允许协商）最低公布成本和报酬的变化率。图3表示不同的图形图，其中最小的过账成本总是降低，直到获得最佳结果。在公布结果之前，工人们有一定的合作可能性。在每个图中，当工作人员单独发布解决方案时，初始值表示任务的最佳解决方案（最小发布成本）。但当工人们合作并加入他们的工作时，价值就会下降，直到时间结束或达到稳定为止。如果加入工人（通过协商）的概率增加（从0.02增加到0.08，如图3所示增加0.02），获得最佳结果所需的迭代次数就会减少。因此，我们可以通过控制工人的加入概率来加快这一过程（以尽量缩短所涉及的时间）。这突出了拟议机制中的协作（通过协商）能力。另一方面，也观察到报酬在迭代过程中增加，因此也鼓励了工人。因此，该模型对双方都有利。

为了进一步验证工人参与某项任务如何影响加入（协作期间）的可能性，我们通过调整工人数量来模拟多个环境。如图4所示，随着工人数量的增长（与特定任务相关），在涉及较少加入概率的最小迭代中获得最佳结果。也可以理解，边界成本和报酬对工人的合作有一定的影响。更多的报酬（相对于边界成本）工人将自动被吸引到任务，从而增加合作的可能性。另一方面，边界成本（相对于报酬）越高，工人就越不愿意承担这项任务，从而减少了他们之间的协作。

总结

在本文中，我们提出了一种新的协作机制，以更好地管理竞争性众包市场，其中可分解的任务可以由众包工作者解决。我们采用的谈判过程类似于两人重复博弈。在每一轮中，信封都包含子任务的信息。在协商的启发下，工作人员将提议模型中子任务的成本隐藏起来，不让其他工作人员看到，只公开任务的总成本。我们的模拟结果表明，如果工人在上述竞争系统中进行合作，那么对双方（即群体工人和请求者）都有利。众包工人会被吸引，因为如果他们能找到更好的结果，那么报酬也会随着他们的表现而增加。另一方面，它非常适合请求者，因为他们在有限的成本内获得最佳的结果。这一机制很容易实施，预算可行。在未来，探索我们如何激励/惩罚工人，使他们不得不报告他们真正的次级成本，这是很有趣的。在这里，我们主要关注成本最小化，并假设所有工人都具有同等的专业知识。但是，请求者可以在检查工人提交的任务的解决方案后分配质量分数。这个分数可以帮助工人在合作中选择同事。该模型也适用于竞争性众包市场，该市场处理创造性任务，其中协作可能发挥主要作用。