研究不同的片断项突出策略的有效性,我们进行一个众包努力收集高亮显示的列表。我们选择24的搜索查询NTCIR亚胺任务( 37),如表所示 1。我们写详细的任务解释24查询来避免歧义,其中有4个导航搜索任务(NA), 16个信息搜索任务()和4事务性搜索任务(TR),其中一些如表所示 2。我们使用了问卷平台( https://www.wjx.cn/)查询的一致性及其任务描述。

对于每个搜索任务,我们解决查询和结果,以确保我们的数据的一致性。搜索结果从Google搜索引擎,只有爬十大有机结果保留。垂直的结果和广告被排除在外,因为他们可能会影响用户参与( 38]。我们删除突出显示的原始片段从最初的片段形式的总结统一字体和颜色,如图 2(一个)。和我们邀请用户强调通过众包平台( https://www.wjx.cn/),要求他们选择1∼5片段的词或短语(突出显示的单词或短语的用户可能会很长,这可能包括几个方面)需要强调每个片段的结果。强调单词注释的代码片段一个用户图所示 2 (b)。我们总共招募了10搜索用户,需要至少五年的搜索引擎的使用经验。每个用户完成了24注释任务(10结果每个任务)和支付4美元。通过这种方式,我们强调从10个用户为每个特定片段的结果,形成相应的片段的结果突出显示项列表。

用户的突出方面反映一个有趣的现象,即用户关心远远超出最初的查询项。例如,用户搜索时强调“艾滋病的早期阶段”“艾滋病皮肤症状”,他们强调“配置”,“价格”,当搜索“丰田锐志。”这样的术语不查询术语但可以提供丰富的语义信息。即时的回答也很有帮助;例如,所有用户在众包过程中强调“2003年10月24日”一词的搜索查询是“歌美玲的死亡日期。“这种现象启发我们制定更合理的强调战略而不是简单的查询项突出显示。我们将更详细的分析部分 4和 5。

研究强调片段在用户行为的影响,我们提出三种不同的强调战略除了原始查询术语强调方法的基础上,强调术语列表通过众包过程: (我)

原来强调策略(S1):这是最初的查询项突出战略通过谷歌和其他商业搜索引擎。这种策略认为查询词是一个相关指标。查询词越多,相关性越高。

我们建议减少突出战略为了研究强调片段的数量条款,因为原来的强调战略可能强调太多的片段,这可能会让用户产生疑惑。除此之外,我们也提出了任务级别和result-level突出战略为了找出我们是否可以选择一套更合理的突出显示项。

考虑,我们提出三个突出策略(减少突出,任务级别的突出和result-level高亮显示) 3.3除了最初的强调战略通过谷歌,我们招募了36个参与者,将他们分成三组。每组的参与者将完成12个搜索任务设计与原强调战略和12个搜索任务设计一个特定的提议强调战略部分 3.3。我们采取了Graeco-Latin广场设计和随机序列以确保搜索任务不同的强调策略被证明用户提供同样的机会。通过这种方式,我们可以收集6个用户的行为数据为每个任务设计与原强调战略和六个用户的行为数据相同的任务设计提出相应的高亮显示在每个参与者的战略集团。

研究强调片段条款的影响,我们建立一个实验搜索引擎与选定的搜索任务来收集用户行为数据在serp中生成不同的强调策略提出了部分 3.3。有了这个系统,用户的交互行为记录日志而完成搜索任务,包括眼球运动和鼠标点击率的信息。

整个实验过程如图 3。在实验之前,每个参与者应该首先通过一个校准过程眼动跟踪的要求,以确保可靠的眼动信息收集。我们工作的眼动跟踪Tobii X2-30默认参数设置。每个参与者将首先完成两个热身的搜索任务之前实际的任务,以确保他/她熟悉实验过程。在每个搜索任务之前,参与者被要求首先通过搜索查询和相应的任务描述,以避免不必要的歧义。然后,他/她将引导一个预先设计搜索引擎在片段上突出显示不同的强调战略。参与者应该检查我们的系统提供的搜索结果并单击右上角上的一个按钮结束任务,进入下一个搜索任务如果搜索的目标是完成或他/她变得对结果感到失望。在参与者的搜索过程中,他/她的老鼠点击率数据被注入JavaScript在serp中的记录,和眼动信息也记录眼动跟踪。每个参与者被要求在90分钟内完成24搜索任务之后,我们会问他们一些简单的问题查询,以确保他们仔细完成搜索任务。我们还进行了一次采访一些参与者在整个实验,收集用户反馈的片断项突出显示策略。

36个参与者中,有12个女生和24个男生(每组4女性和8男性)组成的。所有参与者都从大学一年级本科生的自我报告的搜索引擎利用经验。经济学专业不同,美学、法律和社会科学。我们没有邀请计算机科学或电气工程的学生,因为他们可能太熟悉搜索引擎并不能代表普通搜索引擎用户。

做出深入分析不同的词高亮显示策略的影响,我们还招募了四个专业评估人员从商业搜索引擎公司标签4-point-scaled相关性分数为所有查询结果对用于我们的实验。每个结果的相关性是由四个专业的评估和判断注释的KAPPA系数为0.48,可以描述为一个温和的协议根据科恩( 39]。我们利用这些相关性分数计算累积收益(CG)和折扣累积(常规心电图)在以后的章节来研究强调条件用户参与度的影响。

根据现有研究的理解用户的搜索交互过程( 40- - - - - - 42),用户参与可能会影响到他们从搜索引擎获得好处和成本在搜索过程中。所以,我们也尝试分析之间的差异不同的强调策略后,收益成本框架。

在本节中我们使用的评价指标如表所示 3。指标,从“C -”是基于点击率而开始“E -”是基于眼动信息。考试工作阈值设置为200毫秒,由先前的研究建议( 43, 44]。CG和常规心电图指标来评估搜索受益而另一些则采用来测量用户的努力。注意,我们在DT排除登陆页面所花费的时间,因为我们想关注的影响突出显示的代码片段在serp中用户参与。这些标准被广泛用于衡量搜索收益和成本在以前相关研究( 38, 40]。

我们首先比较不同突出策略基于点击率的有效性信息,结果如表所示 4。我们使用默认查询条件强调谷歌战略(S1)作为基线,只有报告之间的差异提出策略和默认一个尊重的专有特性基线强调战略。表 4显示了一些有趣的发现: (1)

任务级别强调战略(S3)并没有带来显著的差异在基线策略除了它导致停留时间的大幅下降。这可能是因为查询项以外的附加条款使用S3是一个小但不多,增加强调数量,增加搜索成本。

虽然结果表 3表明,S2策略和S4策略显示改善基线方法,我们选择S4策略做出进一步分析在接下来的部分,因为通过这种方式,强调术语的比率几乎是一样的S1的策略。所以,我们可以关注突出的质量而不是数量。

我们试图让一个进一步的分析调查之间的差异result-level强调战略和最初的强调战略基于点击率和眼球运动信息的信息。我们也试着调查的有效性提出result-level强调策略在不同的搜索任务。作为讨论的部分 3.1有三种类型的搜索任务在我们的工作中,也就是说,NA, TR。灵感来自用户的反馈和以前的结果部分 3.1和 4所示。1,我们也将我们的搜索任务分成两组,是否存在即时答案(IA)的片段。我们首先研究不同的强调策略搜索成本的影响在这些不同的搜索任务,结果如表所示 5。

表 5表明我们提出result-level强调策略可以大幅降低搜索成本信息搜索任务和事务性工作。它不能减少搜索成本导航任务,这可能是由于这样的事实,在这种任务,目标结果通常容易找到;因此,将会有不同的片断项突出策略之间没有显著差异。值得注意的是,result-level-based方法带来搜索成本的显著下降任务即时答案和没有重大改变这些任务没有即时的答案,这可能进一步证实我们提出突出策略可以帮助减少搜索成本明显在serp中如果存在即时回答。

我们也试图从搜索中受益的角度进行分析,结果如表所示 6。我们可以看到,该突出战略导致信息任务和不同的是大幅下降超过20%的任务即时答案,这表明片段与有用的信息突出显示与我们的战略,因此用户不需要点击或检查很多结果。我们还需要搜索任务如图 3作为一个例子,这是一个信息任务和任务与即时的答案。热图显示,用户可以找到答案的搜索任务在很短的时间内没有点击或检查结果太多,这将导致减少搜索成本和效益。

发现在这一节中显示,既减少强调战略和result-level突出战略超越原版突出方法通过谷歌,这意味着更少的和不再强调术语可能对用户更有帮助。同时片段提供即时答案搜索任务是如此重要,他们应该突出显示。基于收益成本框架,我们还表明,提出result-level强调策略可以带来最显著的改善信息搜索任务和任务即时答案。

我们正式术语强调任务作为一个序列标签监管问题。我们使用jieba分割工具片段文本分割成几个方面,然后使用指定的算法自动预测哪些片段术语应该突出显示。学习算法在预测过程中选择条件随机域(CRF),这是一个最受欢迎的模型结构学习和序列标注问题[ 45]。

现有的研究和我们的实验在前面的部分中突出显示的各种因素会影响用户参与的结果片段。因此,我们需要全面的信息,包括查询,维基百科知识以及搜索建议考虑在开发功能,可用于自动片段文字突出显示。整个列表在表提供的特性 7他们可以归纳为三组:

(★)确切的火柴:这些特性采用测量是否存在片段之间的精确匹配和查询,维基百科知识,百度百科(中国在线百科全书 http://baike.baidu.com/),搜索建议。

表中描述的功能 7,我们实现一个基于python-crfsuite工具包CRF模型( https://github.com/tpeng/python-crfsuite)自动片段突出。部分的数据集 3采用预测实验5倍交叉验证和理想的突出显示的术语列表标签由众包工人作为地面真理。我们应该注意到,这是一个重要的任务,因为它是一个不平衡的学习问题。只有8.2%的片断项突出显示用户(887总共10789片段的条款突出显示)。

考虑到标准CRF模型实现基于crfsuite旨在实现最好的整体性能预测都强调了术语和改变,我们的重点应该是突出的。CRF模型预测的有效性强调片段条款可能受到影响,因为不平衡的数据集。因此,基于预测的概率通过CRF模型,我们测试不同的阈值,看看当我们可以达到最好的性能预测方面突出显示。如表所示 8,我们报告最好的精度、召回和F1-score结果预测方面强调片段后测试不同概率阈值。精度在第二列的表 8计算基于所有片段的条款,包括突出的和改变的。

结果在表 8表现出许多有趣的发现: (1)

三组的特性集,确切的火柴特性表现糟糕而相似性和词embedding-based特性执行得更好。这可能表明用户可能需要更全面的信息,以帮助与他们的互动过程。确切的火柴特性是有效的寻找高亮显示查询条件但不擅长识别一个片段是否术语查询中不应该突出显示。

表 9进一步显示了预测结果的比较和突出显示术语在不同的搜索任务。这三个特性集都纳入预测模型,因为在这种情况下,该模型表现最佳,如表所示 8。

表 9表明我们的预测模型执行的NA任务。这是合理的,因为这样的任务通常的目标是找到一个特定的网站是高度相关的查询本身和我们的特性开发基于查询,维基百科知识以及搜索建议,可以提供足够的信息。相反,在和TR搜索任务往往需要用户找到更全面的信息,因此建议强调了术语可能会变得更加困难。我们也测试预测性能在不同的片段,即查询条件(条款包含在搜索查询)和nonquery术语(条款不包含在搜索查询)。表 9显示,当预测查询项,F1-score高达78.26%而F1-score只有36.92%的nonquery条款。这并不奇怪,因为许多我们使用原始查询相关特性,这使得预测查询条件相对容易的任务。预测nonquery条款是一个艰巨的任务,因为缺乏相关信息,我们将把它未来的工作。

我们也进行特性分析,探索不同的特性在表的贡献 7以预测突出的条件。表 10显示了十大特征的权重训练CRF模型。我们发现 queryTermW2V最大的重量,属于词embedding-based功能组。这个特性措施之间的余弦相似性片段词和搜索查询,这可能是很大的帮助寻找高亮显示查询条件和那些nonquery条款都是类似于查询从词中嵌入的角度。第二个重要特征 ifQueryTerm来自确切的火柴功能组。此功能显示搜索查询是否包含当前片段术语,从而有助于突出显示查询条件。从相似性特征组第三个重要特征是,这是 wikiTf。这个特性计算频率除以当前片段在维基百科内容的维基百科的内容的长度。找到更全面的信息可能是有用的搜索任务,而不是原来的查询,这可能有助于突出那些nonquery片段。表 10还显示,排名前十的重要特性包括功能从所有这三个特性集,这表明他们是有用的。同时,词embedding-based特性可能是最重要,因为一半的十大重要功能是基于字嵌入方法和最重要的是还开发了基于词向量。