文摘
众包在简单的词语的外包任务执行一个在线市场形形色色的人群为了利用人类的智慧。由于在线劳动力市场和执行并行任务,众包活动时间——和有成本效益的。在众包活动,选择适当的标记任务并将其分配到合适的工作对每个人来说都是一个挑战。机制在当前的研究中提出了将任务分配给工人。建议的机制是一个multicriteria-based任务分配(优先)机制将任务分配给最合适的工人。这种机制为权重和排名的标准使用方法工人。这些指标的方法是通过Intercriteria相关标准的重要性来说(批评)和技术(TOPSIS)相似的理想解决方案。工人们基于标准已经在文献中识别特性。体重已经分配给这些选择特性/标准的帮助下批评方法。TOPSIS方法已被用于评估工人的帮助下,工人的排名是为了得到最合适的工人执行所选任务执行。 The proposed work is novel in several ways; for example, the existing methods are mostly based on single criterion or some specific criteria, while this work is based on multiple criteria including all the important features. Furthermore, it is also identified from the literature that none of the authors used MCDM methods for task assignment in crowdsourcing before this research.
1。介绍
众包是指不同的任务外包,大量的人被称为人群为了利用人类集体智慧。众包是第一个由j·豪的外包任务或工作未定义的人通过一个开放的网络调用格式。众包这个词代表的一个机构通过一个函数执行的人群,然后外包给一个未定义的网络群人(1]。众包的过程包含三个主要演员,请求方或客户请求要执行的工作或任务,人群中执行所请求的任务,作为代理的平台之间的客户和人群2]。众包平台包含带薪或无薪的平台,在平台支付人群由于金钱奖励执行任务,而在无薪平台志愿者人群执行任务(3]。众包的使用是提高日复一日作为软件开发的是时候,有成本效益的和许多其他任务。它已经被应用在多个领域,如设计应用程序,文本翻译不同的语言,和标签数据集(2]。
软件工程术语CSE(众包)是来自众包。通过一个开放的调用,它全球在线招聘工人执行几个软件工程任务,比如需求引出,编码,设计和测试。它减少了上市时间由于并行。CSE迅速获得两个工业和学术界的兴趣(4]。日复一日,众包是获得社区的关注。众包任务分配时对每个人来说都是一个具有挑战性的阶段,选择一个适当的标记任务从客户机或请求者并将它分配给一个适当的工人在众包是一个具有挑战性的问题。在众包过程中,一些人群的选择无关的任务为了得到回报,但他们不具备执行任务的潜力。结果,人群然后提交低质量的结果,从而减少客户信任,这直接影响到众包的过程。这表明任务分配是重要的一步,在众包的活动(5]。这就是为什么需要一个解决方案以解决任务分配问题。该研究的主要贡献如下:(我)一个机制为解决该问题提出了关于在众包的分配不同的任务活动(2)拟议的工作确定了不同员工的特点和选择的重要的任务分配的标准(3)现有的任务分配方法大多是基于单一的标准,虽然这工作是基于多个标准(iv)两个指标方法、评论家和指标值,用于给所选重量特性和评估员工等级将任务分配给合适的工人
本文的其余部分由四个主要部分。部分2描述了现有/相关工作,部分3描述研究方法,并给出结论4。
2。相关工作
在现有文献中,任务分配模型和方法建议的帮助下不同的技术。竞争者参与等参与频率和近因的历史以及赢得频率和近因任期和最后的表演是派生为了构造一个模型(6]。文学作品也提出任务型偏好建模的任务建议框架以及个性化推荐的任务,这是推荐的目标任务的人群(7]。个性化的推荐算法的任务也是作者所倡导的。作者还建议接近这个问题关于机制的设计个性化的任务的建议。这三个任务选择方法、heuristic-based方法的界的方法,和主动学习的方法,也被确认由文献[8]。SmartCrowd框架也是作者提出的,其重点是人群中的任务分配的优化知识密集型的众包的环境。它关注知识的生产,而不是简单的任务。它还集成了多个因素人类如人群专长,所需的工资,和作业过程中接受的比率(9]。卸载任务被认为是其中一个重要的研究领域(10]。
强盗配方在异构众包分配的任务也提出,这被称为bandit-based任务分配。职工代表的胳膊的强盗。它主要侧重于工人异构众包的选择策略。目标是选择适合的工作和任务(11]。一个动态分配问题的解决方案提出了任务的众包平台。人群选择的方法提供了一个算法分配员工任务成本最低的方法,也可以确保任务的准确性。这种方法的两个主要组件是工人选择和他们的出错率预测12]。已经被作者描述一个学习算法,从历史任务组到集群然后源自每一个集群的特点优化的质量贡献的工人。然后使用这些特性的算法来选择适当的工作任务(13]。测量人格的选择任务的影响,进行了实验根据任务特征等类型,钱,和时间。的人格类型的工人测量基于相类型指标。16个不同的人格类型进行分类。然后执行一个实验(4轮),以确定哪些工人属于哪一类。1,第三轮的人格类型感兴趣的奖品和金钱,而不是复杂。人格类型的其他两轮希望奖品和金钱而不是截止日期(14]。改进意识到框架的技能也提出了作者推荐人群为任务在软件开发过程中,众包。TopCoder平台上开发人员绩效的研究也进行了(15]。
任务的分配问题也在探索预算约束与不同的各种各样的技能水平和不同的质量要求。设计一个算法也多对一代的结果的匹配问题与上界和下界和工人的技术水平16]。作者提出的敏感任务分配。首先,敏感的任务是分区,然后分配给工人。为避免勾结参与者的帮助下,他们可以交换数据,提出了三步任务分配方法,称为敏感的任务分配。步骤包括勾结估计,工人选择和任务分区(17]。数据驱动学习方法也是由作者提出的。监督学习和强化学习相结合的方法,使代理模仿任务分配策略,展示良好的性能(18]。TOP-K-T和TOP-K-W是两个实时赛峰集团提出的推荐算法和切。第一个计算合适的任务一个工人和第二个计算任务的合适的工人(19]。专家预测提出的启发式也被作者自动识别专家和过滤非专家在众包的活动。基于这四个专业预测启发式,一个实验。这些包括人口的评估者、反应时间的评估,和机械推理能力,最后一个简单版本的评估任务(20.]。学习自动机基础任务分配(LEATask)也提出的作者,作品在工人的表现相似。算法具有勘探阶段和开发阶段(21]。不同地区可以考虑任务分配分配能源合作和联合等信息异构网络(22]。
批处理技术也提出了众包分配的任务重叠的技能要求。设计的启发式方法包括为核心批量分配和分层批量分配。upwork数据集上的实验是由(23]。两个在线任务分配机制也由作者开发的,将动态分配的任务传入的人群(工人)的帮助下工人将获得最大的期望收益和最大期望和潜在收益。作者的任务分为集群的然后他们提出了一个潜在的主题模型来描述结构的主题和专业技能的工人24]。基于深度学习,现有文献还提议Tag-Semantic任务推荐模型。这个词向量的相似度计算,然后语义标记矩阵数据库已经建立了基于Word2vec深度学习。然后推荐模型的任务是建立基于语义标记在众包实现任务的建议。任务和工作相关性计算得到的标签相似度(25]。(DUTA)效用的动态任务分配算法。估计的工人的初始值,使用的属性,这是由工人在登记的时候。发展能力的工人也计算的历史任务,完成复杂的任务,和结果的质量和效率。然后匹配度计算基于人群的技能和发布任务要求的重量(26]。
的活跃时间工人还用于多任务Multiworker分配得到一个解决方案。作者考虑的三个因素是职工的能力,有效时间的工人,和复杂的任务模块。个人分为协作的团体,然后,员工执行任务的最优选择,匈牙利算法(27]。不当任务的自动检测也提出在众包的过程。分析估计分类器的帮助下,各种有效措施不当的检测任务,包括单词出现在任务信息、奖励或金钱将收到的工人在执行任务之后,和他们的资格来执行该任务(5]。各种研究领域可以受益于使用该方法,如物联网底层异构性(28),在移动传感器网络调查的数据聚合IIoT [29日),共享资源的异构车载网络(30.),和许多其他领域。
3所示。方法
在众包的分配任务活动对每个人来说都是一个挑战,在目前的研究中,一种机制对于任务分配方法,提出了基于多个标准。这项研究提出了一个multicriteria-based任务分配(优先)机制。有两种方法在当前的研究中。批评的方法已被用于分配权重选择的特性和TOPSIS方法用于排名工人。在这些方法中进行的工作,也可以手动执行,但为拟议的工作选择这些方法可以给研究工作的真实性和合理性。手动执行工作包含几个错误的机会,但在预定义的和已经尝试方法增加工作的质量;因此,这两种方法已经选定了该研究。研究的细节将在以下部分中讨论。
3.1。任务分配的标准
定义任务分配的标准,首先各种功能从现有文献已确定。33最著名的和重要的特征在文学研究已确定。然后这些特性分析,选择最重要的任务分配机制的发展。重量已分配给这些CRIRIC识别特征的方法,这是下一节讨论。识别功能的列表如表所示1。
表1显示了所有标识的特性分析了在系统的文献回顾。重要的特性,然后从列表中选择为了开发机制。
3.2。案例研究
完成数据收集制作标准,进行案例研究。在这个案例研究中,问题已经突出的分配任务。所有的空白都简单地加以讨论。一个全面的观察是为了选择在文学特征识别标准的特征。专家问不同的问题来选择最重要的特性。这些特性被扩展,从1到10,在专家们的帮助下。一组专家扩展这些功能之间的重要特性得到更多的重量,从而其他特性,因此很容易排名顶端的人群有很好的品质。之后,这些特性已被用于分析和评价标准以及工人等级分配一项任务。因为所有的功能从现有文献已确定,为进一步分析,专家问了一些问题选定基于这些特征来分析这些特性的重要性。问题专家们被要求如表所示2。
选择功能的列表如表所示3。
3.3。重量的选择功能
的特性,分析了相关领域的专家。比例给每个标准/特性,从1到10,由这些专家为了得到最重要的标准。重量已经分配给所有这些批评方法的帮助下选择特性。取得了最终的权重采用方程(1)- (4),分别。最终的权重表所示4和图1。表5描述了所选特征的尺度。
每个标准的权重图所示2。
3.4。提出了任务分配机制
的优先机制提出了基于多个标准。这种机制已经开发了基于两种方法。评论家方法用于分配权重选择的特性,然后TOPSIS方法用于排名工人。细节将在以下部分中讨论。
3.4.1。批评方法的权重分配特性
批评是一种相关法于1995年首次引入。这是一个多准则决策方法,用于分配权重特性或标准在研究工作。在这种方法中,分配给标准的重量是客观而不是通过成对比较或决策者的判断41]。
”米”是可能的选择数量,如人工智能,什么时候我= 1、2、3、…米,“n”评估标准等的数量Cj为j= 1、2、3、…n,在一个问题。遵循以下步骤的方法。步骤1。建立决策矩阵决策矩阵”X在第一步中创建: 在方程(1),Xij显示了性能的价值我th替代的j标准。步骤2。决策矩阵规范化正常化的过程是通过以下方程: 规范化的性能值吗我th替代的j标准。步骤3。计算标准偏差及其相关性在第三步中,权重的jth判据可以找到以下方程: 在方程(3),Cj中包含的信息吗j标准。Cj计算如下: 在哪里的标准偏差jth标准和rjj′之间的相关系数是两个标准(41]。
3.4.2。数值评论家的工作方法
权重分配给使用批评方法的标准。确定本研究旨在找到顶部工人根据提供的功能任务。执行任务的人员已经作为替代品等一个1,一个2,一个3,一个4,一个5,一个6,一个7,一个8日,一个9,一个10;和功能作为标准,如工人历史(C1)诚信/诚实(C2),工人资格(C3)、可靠性(C4)、响应率/质量的响应(C(5),技能水平C6),质量的任务(C7),交货时间(C8)、廉价/成本效益的(C9)。决策矩阵建立了这10个工人(替代品)对定义的特性/标准如表所示6。表中给出的结果6是通过规范决策矩阵,应用方程(2)。图2显示了该方法遵循的步骤。
现在批评方法的计算之后一步一步。表5描述了决策矩阵的批评方法。
表7显示了批评方法标准化决策矩阵。
测量的冲突已经计算如表所示8。
标准差及其与其他相关标准计算了标准权重如表所示9。
对于每一个工人,所有9功能/标准比例,从1到10,如表所示4。
3.4.3。TOPSIS方法排名的工人
TOPSIS方法处理达到理想的解决方案。这种方法采用了简单的计算过程,因此它是可靠的和。选中的TOPSIS方法的选择应该有最小距离正理想溶液和最大距离负理想溶液(41]。在这项工作中,我们将应用TOPSIS方法排名选择。在本部分中,首先,TOPSIS方法及其步骤和过程,然后将讨论如何遵循这种方法被用于这项研究将讨论。以下是使用的步骤(TOPSIS为了选择和排名最好的工人在不同的选择:步骤1。确定重量和建立决策矩阵决策矩阵D建立在第一步通过使用多个标准和选择。例如,对于“n“替代的数量和标准,可以找到决策矩阵如下: 在哪里一个1,一个2,一个3、…一个n变量选择和C1,C2,C3、…Cn是标准的。步骤2。标准化决策矩阵作为决策矩阵的输入数据是来自几个不同的来源,它必须被转换成一个无量纲归一化矩阵。不同的标准之间的比较是通过这个维度矩阵。通过使用公式(6),一个标准化决策矩阵已经建立。 在哪里我= 1,…,米和j= 1,…,n。步骤3。加权标准化决策矩阵没有必要,所有属性的引入将是相同的,乘以标准化决策矩阵的元素与随机号码,重量加权标准化决策矩阵。重量数乘法以下公式: 步骤4。找到理想的积极和消极的解决方案在这个步骤中,一个+表示积极的理想的解决方案,一个−表示消极的理想的解决方案。这些都证明了通过加权决策矩阵。 在哪里J表示属性和有益J′表示nonbeneficial属性。步骤5。分离措施由以下公式,计算理想和非理想的分离。 步骤6。找到相对亲密它决定对理想的解决方案通过使用以下方程: 步骤7。选择排名通过使用C我值,排名是准备的过程;高C我值显示最高等级次序的选择,可以贴上优越的效率。降序排列可以采用提高性能的比较41]。
3.4.4。数值TOPSIS方法的工作
在本节中,评价的工人和他们的排名将会获得基于9识别特性通过TOPSIS法。已收集的数据从不同的调查表回答几个有关领域的专家。决策矩阵是由专家小组获得的数据。
所有的工作都是一步一步完成,如图3。
利用方程(6),归一化的决定。表中列出的结果10随着标准的权重。
基于加权决策矩阵规范化是通过使用方程(7)。计算了理想理想积极和消极的解决方案使用方程(8)和(9)在表和它们的值11。
等的选择W1,W2,W3,W4,W5,W6,W7,W8日,W9,W10、相对亲密(P我)值的潜在位置计算解决方案通过方程(12),如表所示12。
正理想解和负理想解用于寻找理想和非理想的隔离措施。这些分离措施计算通过使用方程(10)和(11)。理想的分离措施(年代+)W1,W2,W3,W4,W5,W6,W7,W8日,W9,W10是0.050,0.054,0.045,0.080,0.067,0.073,0.066,0.082,0.054,和(0.078),分别。同样,非理想的分离措施计算方程(11)和值年代−为W1,W2,W3,W4,W5,W6,W7,W8日,W9,W10是0.078,0.074,0.078,0.080,0.070,0.059,0.071,0.047,0.073,和0.061,分别。
排名做的价值P我的高价值P我显示了最高的选择。计算相对亲密后,工人的排名是基于价值的完成P我。在这个研究中,选择W3有更高P我价值在其他替代品,因此排名第一,W1第二最高价值和等级2,等等。作为W3有更高P我价值和被评为1,所有其他工人更可靠,是最合适的选择要执行的任务。细节如表所示13。
从表13,排名的工人显然,和任务将分配给最合适的员工根据他们的排名。工人的排名是如图的图形表示形式4。
图中显示,工人W1,W2,W3,W4,W5,W6,W7,W8日,W9,W10排名为2、3、1、6、7、8、5、10、4和9。直接依赖于这些排名P我这些工人的值,计算了TOPSIS方法的帮助。更高的P我值表示更高的等级,而低P我值表示较低的等级,如表所示13。
4所示。结论
把任务分配给最合适的工人在众包是非常重要的,因为如果这个任务被分配给一个不适当的工人影响众包等几个方面的活动浪费时间,金钱,和客户信任。拟议的研究提供了一个机制来将一个任务分配给职工。这个拟议的机制是基于多个标准。职工特性,比如职工历史,诚信/诚实,工人资格,可靠性、响应率/质量的响应,技术水平,任务的质量,交货时间,和廉价的选择/成本效益的识别功能。两个指标的方法,评论家和指标值,一直使用。权重分配给这些特性的批评方法,然后分析了评估和排名的工人的TOPSIS为了将任务分配给最合适的工人。作为现有的任务分配是基于单一标准,提出新颖的工作分配工人使用指标方法基于多个标准以及目前在众包工作。
数据可用性
没有数据被用来支持本研究。
的利益冲突
作者宣称没有利益冲突。