文本匹配软件已经广泛应用于高等教育,减少学生剽窃和支持学生写作能力的发展。这个范围审查提供了洞察现存文献有关商业文本匹配软件(TMS)(例如,Turnitin)在高等教育机构使用。我们的主要研究问题是“文本匹配软件用于教育背景如何?“使用范围审查方法,我们搜查了14个数据库找到了使用经颅磁刺激在同行评议的文献关于高等教育的学生。总共129篇文章包含在最后的合成,它由数据提取、质量鉴定,鉴定范例的文章。我们强调证据经颅磁刺激是如何用于教学目的来支持成功学生在本科和研究生水平。
剽窃仍然是最著名的在高等教育类型的学术不端行为。商用文本匹配软件(TMS)已经被许多机构为了减少侵犯学术写作技巧,帮助学生发展。理解的经验证据如何使用经颅磁刺激,防止违反学术诚信和促进学生的学习可以帮助机构,教育工作者和决策者做出更明智的决策或者如何去使用它。
尽管在各种上下文中使用经颅磁刺激包括k - 12教育、高等教育、研究和学术刊物,我们分隔检查上下文的使用经颅磁刺激。我们定义“教育”,包括大学和学院,无论资金类型(例如,私人或公共)或类型的凭证他们授予(如学历、文凭和证书)。在接下来的部分中,我们详细说明特定主题相关的文本匹配软件在教育环境中包括(部分
剽窃高等教育仍然是一个紧迫的问题(
经颅磁刺激(也错误地称为“anticheating”,“antiplagiarism”,“剽窃检测”或“预防剽窃”软件)以各种形式存在了几十年,但它开始变得商业化在1990年代末使用扩大到21世纪(
以前的经颅磁刺激的评论包括评估的工具本身
我们开始于一个广泛的一般研究问题,其次是两个subquestions,两幅画的不同方面的有效性TMS软件减少学术不端行为(a)和(b)增加学生学习作为教育干预。研究小组开发了通过迭代团队协作和对话研究问题。研究问题是发表在我们的协议,通过项目的持续时间保持不变(
主要RQ:文本匹配软件用于教育背景?
Sub-RQ1:此类软件的有效性在降低发病率的剽窃?
Sub-RQ2:此类软件的有效性作为一个教育干预?
我们尤其关心理解现存文献的质量,以及研究的内容。这对质量的关注体现在部分
开始之前我们的评论,我们开发了一个详细的协议,随后发表(
我们最初计划进行系统回顾;然而,我们发现文学经颅磁刺激是多元化和异构。我们研究subquestions关注效率不能因为这个来解决异构性。因此,我们决定主范围审查方法。范围的评论时适当的一个研究小组希望“确定文献的范围或覆盖在给定主题,注明文献的体积和研究以及概述(广义或详细的)焦点”([
研究小组由六名成员包括两个学术图书馆员,其中一个与系统和丰富的经验范围的评论。四个学术诚信主题专家与图书馆员。复习从2018年10月到2021年5月,协议发表在第一年的项目
我们的资格(即。,inclusion and exclusion) criteria were informed by the Johanna Briggs Institute’s mnemonic PICo: Population, Phenomenon of Interest, Context, Outcomes [
我们分隔的人口集中在高中毕业生审查包括本科生和研究生(硕士和博士)。研究重点
研究集中在k - 12人被排除在外。上下文是高等教育,我们定义为“大学、社区学院、贸易和职业培训中心”(
感兴趣的现象包括商用经颅磁刺激。因此,我们排除了研究集中在独立和个人程序员谁写他们自己的软件作为一个实验或开放获取软件,因为这些通常不许可在规模的教育机构。
我们不排除根据研究或出版物设计研究。我们包括定量和定性研究,以及文本和观点文章,法律概述和理论论文。然而,我们排除了大众媒体包括博客和社交媒体。我们也排除了宣传材料和会议摘要。没有出版日期或地理位置的限制。所有可用包括文章需要用英语。
我们的搜索和信息来源已经很详尽了。搜索是由两个图书馆员(KAH和提单)和飞行员测试已知的相关研究。与教育有关的数据库,只搜索文本匹配软件的概念。对于所有其他数据库,搜索集中在两个主要概念:文本匹配软件和高等教育。每个概念包括两个关键词和主题词。在所有数据库关键字是常数。主题词确定数据库的受控词汇表。搜索了埃里克,然后翻译为其他数据库(见表
埃里克(Ebsco)搜索策略。
| # | 查询 |
|---|---|
| S1 | 苏“计算机软件” |
| S2 | 苏“计算机用于教育” |
| S3 | 苏“信息技术” |
| S4 | S1和S2和S3 |
| S5 | 苏“剽窃” |
| S6 | 苏“作弊” |
| S7 | S5或S6 |
| S8 | S4和S7 |
| S9 | (剽窃或作弊)N3检测∗ |
| S10 | (剽窃或作弊)N3(软件或工具∗或程序∗或电脑∗网络或互联网产品∗) |
| S11 | anti-plagiarism N3(软件或工具∗或程序∗或电脑∗网络或互联网产品∗) |
| S12 | antiplagiarism N3(软件或工具∗或程序∗或电脑∗网络或互联网产品∗) |
| 向 | “文本匹配∗“它们(软件或工具∗或程序∗或电脑∗网络或互联网产品∗) |
| S14系列 | (Turnitin∗iThenticate等SafeAssign或反复核对Copyscape或CopyCatch Urkund) |
| S15 | S9或S10 S11 S12或向S14系列 |
| S16 | S8或S15 |
discipline-focused和跨学科的数据库搜索。数据库运行一个快速搜索搜索被首次发现的“文本匹配软件”或“Turnitin”确定的主题是由数据库。我们搜索相关数据库(表14
数据库搜索。
| 数据库 | 接口 | 纪律 |
|---|---|---|
| 埃里克 | EBSCO | 教育 |
| 教育研究完成 | EBSCO | 教育 |
| 图书馆和信息科学的来源 | EBSCO | 图书馆学 |
| 学术搜索完成 | EBSCO | 跨学科 |
| CINAHL +全文 | EBSCO | 护理和盟军的健康 |
| 完整的业务来源 | EBSCO | 业务 |
| 国际社会科学的参考书目 | ProQuest | 社会科学 |
| 图书馆和信息科学文摘 | ProQuest | 图书馆学 |
| ABI /商业保险费收集 | ProQuest | 业务 |
| 核心期刊(工程村) | 爱思唯尔 | 工程/计算机科学 |
| 斯高帕斯 | 爱思唯尔 | 跨学科 |
| MEDLINE (R)和Epub提前打印进程内,In-Data-review和其他Nonindexed引用和日常 | 奥维德 | 医疗/健康科学 |
| APA PscyInfo | 奥维德 | 心理学 |
| 网络科学的核心集合 | Clarivate | 跨学科 |
考虑到大量的研究包括的异质性包括研究,我们没有搜索灰色文献,按原计划也没有我们完整的参考表扫描或引文跟踪的可行性问题。这些被认为是限制我们的审查。
搜索结果被导入Covidence筛选和自动删除处理。基于标题Covidence删除处理,年,卷,需要精确匹配,和作者的名字是相似的
筛选之前,一个评分者间信校准所有安检人员进行锻炼。随机生成100标题/抽象独立筛选每个审稿人,注意原因“不”和“可能”的决定。安检人员随后澄清包含/排除标准,来到共识任何分歧。检查发生在两个阶段。第一阶段包括标题/抽象的筛查。选为潜在的相关记录被转移到第二阶段,涉及回顾全文的文章。所有筛选是独立进行的,所有记录和全文筛选两个审稿人。有分歧通过讨论解决。
所有作者的数据提取过程。数据提取之前,校准运动进行了三项研究,以确保数据提取模板包含所有必需的元素,每个研究人员提取数据以相同的方式和理解过程。我们从每个提取的数据包括文章在以下类别:目的/研究问题,研究国家发生(如适用),人口(如适用),文本匹配软件使用,研究设计,方法细节,重要发现,主题(定性研究设计),和局限性。提取的数据也对使用的焦点(即文本匹配软件的文章。,不管它是一个教育干预或惩罚性的用途)。
四位作者(提单、惠普、KC和圈)完成质量评估。由于多样性的研究设计教育领域的研究,我们使用两个关键评估工具评估纳入研究的质量。混合方法评估工具(MMAT)提供了实证评估标准混合方法和定性和定量研究设计(
两位作者(KAH和惠普)汇编的数据提取和质量评估的研究小组的数据合成。我们总结了一系列描述性的数据表和一篇叙述合成。由于大量的包括文章和异质性的研究,不可能包括所有文章叙述中合成。通过群体共识,作者确定了一系列范例文章得分高质量评估过程和显著的方法或发现。这些文章中强调叙事合成。
图
棱镜图。文章通过筛选和搜索过程的流动显示,使用首选项报告系统评价和荟萃分析(棱镜)2020指南(
如表所示
研究特征:研究的国家。
| 国家 |
|
% |
|---|---|---|
| 澳大利亚 | 11 | 8.5 |
| 博茨瓦纳 | 2 | 1。6 |
| 加拿大 | 4 | 3.1 |
| 中国 | 2 | 1。6 |
| 克罗地亚 | 1 | 0.8 |
| 塞浦路斯 | 1 | 0.8 |
| 芬兰 | 1 | 0.8 |
| 德国 | 1 | 0.8 |
| 印度 | 2 | 1。6 |
| 印尼 | 1 | 0.8 |
| 伊拉克 | 1 | 0.8 |
| 爱尔兰 | 1 | 0.8 |
| 日本 | 2 | 1。6 |
| 拉脱维亚 | 1 | 0.8 |
| 马来西亚 | 3 | 2.3 |
| 墨西哥 | 1 | 0.8 |
| 新西兰 | 5 | 3.9 |
| 阿曼 | 1 | 0.8 |
| 巴基斯坦 | 2 | 1。6 |
| 秘鲁 | 1 | 0.8 |
| 菲律宾 | 1 | 0.8 |
| 卡塔尔 | 1 | 0.8 |
| 沙特阿拉伯 | 1 | 0.8 |
| 南非 | 1 | 0.8 |
| 西班牙 | 2 | 1。6 |
| 台湾 | 1 | 0.8 |
| 土耳其 | 3 | 2.3 |
| 阿拉伯联合酋长国 | 1 | 0.8 |
| 联合王国 | 19 | 14.7 |
| 美利坚合众国 | 32 | 24.8 |
| 越南 | 1 | 0.8 |
| 不是说 | 2 | 1。6 |
| (即无关。、观点文章) | 20. | 15.5 |
| 总 | 129年 | One hundred. |
出版的研究特点:年。
| 一年 |
|
% |
|---|---|---|
| 2004年 | 3 | 2.3 |
| 2005年 | 7 | 5。4 |
| 2006年 | 5 | 3.9 |
| 2007年 | 3 | 2.3 |
| 2008年 | 8 | 6.2 |
| 2009年 | 12 | 9.3 |
| 2010年 | 11 | 8.5 |
| 2011年 | 6 | 4所示。7 |
| 2012年 | 5 | 3.9 |
| 2013年 | 15 | 11.6 |
| 2014年 | 6 | 4所示。7 |
| 2015年 | 5 | 3.9 |
| 2016年 | 8 | 6.2 |
| 2017年 | 6 | 4所示。7 |
| 2018年 | 9 | 7.0 |
| 2019年 | 13 | 10.1 |
| 2020年 | 7 | 5。4 |
| 总 | 129年 | One hundred. |
特点:研究设计。
| 研究设计 |
|
% |
|---|---|---|
| 混合的方法 | 38 | 29.5 |
| 的意见 | 18 | 14.0 |
| 项目描述 | 2 | 1。6 |
| 定性 | 13 | 10.1 |
| 定量描述 | 27 | 20.9 |
| 定量非随机化 | 25 | 19.4 |
| 量化随机 | 2 | 1。6 |
| 理论 | 4 | 3.1 |
| 总 | 129年 | One hundred. |
Turnitin是最常用的文本匹配软件(
研究人口如表所示
研究人口。
| 人口 | 类别 |
|
% |
|---|---|---|---|
| 学生只有 | 学生的观点 | 17 | 13.2 |
| 学生工作 | 47 | 36.4 | |
| 学生工作和学生的观点 | 20. | 15.5 | |
| 学生和教师 | 学生和老师的角度 | 15 | 11.6 |
| 学生工作和教师的观点 | 5 | 3.9 | |
| 学生工作和学生/教师的观点 | 1 | 0.8 | |
| 不相关的 | 观点文章 | 24 | 18.6 |
| 总 | 129年 | One hundred. |
不足为奇的是,文章特别关注学生工作最频繁的(
一些研究(
如前所述,21个研究包括学生和教师。大多数关注的视角详细(上图)学生和教师对经颅磁刺激(
表
使用经颅磁刺激。
| 使用 |
|
% |
|---|---|---|
| 教育干预 | 50 | 38.8 |
| 惩罚性 | 51 | 39.5 |
| 和/或其他/法律/伦理 | 17 | 13.2 |
| 不清楚/不相关 | 11 | 8.5 |
| 总 | 129年 | One hundred. |
表
通过研究设计质量得分。
| 研究设计 | 质量分 | ||||||
|---|---|---|---|---|---|---|---|
|
|
%的高 |
|
%的媒介 |
|
%低 | 总 | |
| 混合的方法 | 20. | 52.6 | 7 | 18.4 | 11 | 28.9 | 38 |
| 的意见 | 13 | 72.2 | 5 | 27.8 | 0 | 0.0 | 18 |
| 项目描述 | 0 | 0.0 | 2 | 100.0 | 0 | 0.0 | 2 |
| 定性 | 6 | 46.2 | 4 | 30.8 | 3 | 23.1 | 13 |
| 定量描述 | 15 | 55.6 | 4 | 14.8 | 8 | 29.6 | 27 |
| 定量非随机化 | 14 | 56.0 | 7 | 28.0 | 4 | 16.0 | 25 |
| 量化随机 | 0 | 0.0 | 1 | 50.0 | 1 | 50.0 | 2 |
| 理论 | 4 | 100.0 | 0 | 0.0 | 0 | 0.0 | 4 |
| 总计 | 72年 | 55.8 | 30. | 23.3 | 27 | 20.9 | 129年 |
使用我们的质量分数作为指南,我们选择了四个研究中,使用不同的方法,每个突出作为一个优秀的范例。选择的研究是由一个作者(见),证实了别人。没有范本包括所有的高质量指标对于他们的研究类型,但是研究者提供有用的模型与特定方法论的知识。
我们选择的范例定量描述性研究的范畴是道森et al。”年代的研究中,可以在检测软件提高标记精度合同欺骗?Turnitin作者调查的初步研究α”[
方法和分析充分详细地解释说,我们确定了研究可以被复制或紧密地基于发表的文章。虽然论文不包括部分明确解决的局限性研究中,有一些间接的相关讨论合同欺诈的一般检测的局限性。
我们选择里斯和爱默生的研究“Turnitin®的影响对基于文本的评估实践”作为我们的卓越典范的定性研究(
里斯和爱默生包括份结构化面试问题的文章,包括参与者报价结果。关于项目的两个案例研究,里斯和爱默生选中一个项目在护理和另一个在科学交流,提供一个健壮的讨论在选定的文本匹配软件程序的使用。
作者总结道,尽管教师有机会调整评估方法使用文本匹配软件,他们仍然有可能会把软件作为一种工具来检测剽窃。作者考虑为什么教师改变关于评估并没有发生,呼吁进行进一步的研究。
本研究我们的评估是,它提出了一个全面的机构的案例研究,其他人可以复制。在某种程度上,这是由于提供的详细方法和分析的研究。
我们选择这一类的卓越典范是Kaktiņš的研究,“Turnitin是否支持发展的国际学生学术诚信吗?“(
的质量和深度分析,以及作者的写作风格,使读者容易理解研究和结果进行了分析。讨论是平衡的,它探索使用文本匹配软件的正反两方面的影响。此外,作者讨论了研究的局限性和未来研究提供了方向。Kaktiņš最后呼吁高等教育机构:
总的来说,本文阐述循证和平衡的研究,提供了一个展示方法论的严谨。
研究落入这个类别包括“文本-和经验性证据(也可以称为nonresearch证据)来自专家意见,共识,当前话语,评论,假设,或断言出现在各种期刊、杂志、专著,并报告”(
我们选择“当学生不会Turnitin:考试抄袭预防服务的使用在加拿大”(
此案不仅导致麦吉尔大学暂停其使用的软件还设置法律先例,最终导致更多的有限使用文本匹配软件在加拿大与其他国家相比。Strawczynski的文章综合治疗的情况下,法律基础,导致法院的决定。
我们的研究结果在一个非齐次大数据集,需要使用多种工具来分析所选择的研究。它是不寻常的在系统回顾使用不同的工具来分析数据,但是研究者认为混合方法评估工具(MMAT)和乔安娜·布里格斯研究所(JBI)清单是适合使用在所有研究包括在内。方法论的决策过程,以确定哪些系统评价工具是最适合每个研究是一个持续的和反复的过程在整个项目。我们从事这个决策过程使用个人研究员评估每项研究可能适合每个工具,辅以合作对话研究小组会议。
关于我们的审查问题,我们能够回答主RQ:文本匹配软件用于高等教育背景如何?然而,我们最终无法到达我们两subquestions满意的答案:
Sub-RQ1:此类软件的有效性在降低发病率的剽窃?
根据129年的研究中我们回顾了,证据的有效性文本匹配工具减少剽窃的发病率尚无定论。没有足够的证据来支持因果声称文本匹配软件本身是有效减少剽窃。我们指出,几项研究(
Sub-RQ2:此类软件的有效性作为一个教育干预?
许多研究主张使用文本匹配软件作为一个教育干预(
我们考虑另一个因素是人口研究的样本量。我们指出一些研究集中在使用文本匹配软件作为一个教育干预包括作者的局限性,包括一个小样本大小(
研究小组一直被称为回审查问题,发表在我们的协议,尽一切努力回答。最后,我们意识到,我们无法提供结论性的这些问题的答案,在科研诚信的利益,我们确定它是重要的解决这个问题。我们认为我们无法回答我们的原始研究问题并不是由于缺乏能力的研究团队,而是身体的自然的文学存在。作为讨论的方法,我们把目标指向范围评估方法由于缺乏包括研究的异质性。我们范围审查提供了一个地图的证据和文学关注文本匹配软件的使用与国际教育背景。
通过本文,我们注意到,使用经颅磁刺激(即对教学和学习目的。、预防)和作为剽窃检测工具。当被用于教学和学习,经颅磁刺激可以作为一种机制来提供的反馈给学生,帮助他们提高他们的学术写作技巧,以及引用和引用的技能。我们不能决定通过这项研究如果TMS实际上是一个有效的干预减少学术不端行为。原因之一是,学术不端行为的动机可能是复杂的,不同的个人和一个案例中,从一个到另一个。先前的研究已经表明,它可以更适当的考虑学术学生的危险因素,可能导致学术不端行为,考虑多种复合的可能性风险因素对一些学生(
我们的研究显示,超过一半的定量研究包括在我们的审查确定为高质量,只有不到一半的定性研究发现是高质量的。这需要更多的学术严谨的研究经颅磁刺激为了更好地通知学术诚信研究的领域,以及政策和技术许可决定高等教育机构。这与之前的研究一致表明,学术诚信是一个不太成熟的研究领域比其他教育研究领域,如评估(
是合理的期望的质量可用的研究将继续改善学术诚信研究领域继续成熟。
虽然研究小组成员进行不同程度的精通许多除英语之外的其他语言,我们只包括研究方法论的决定发表在英语。可能我们错过了一些研究发表在其他语言。
与任何范围或系统回顾,我们严格控制搜索词为了专注我们的审查。我们还通过灰色文献的方法决定排除。这样,我们的审查,而全面,可能不是详尽的所有可用的奖学金。
这是一个十分复杂的研究进行,它横跨多个学科,需要使用混合方法评估工具(MMAT)和JBI清单。研究团队在整个项目中从事迭代和正在进行的对话,与质量保证,内部同行审查和评估者间信度研究过程中被一致的主题。
虽然我们开始我们的项目的意图进行系统回顾,通过我们的分析结果,我们认识到我们不能遵守公认的系统评价标准。我们几个例子发表的研究指出,有自称是系统评价与学术诚信相关的主题(
作为本研究的结果,我们建议独立学术研究文本匹配软件继续,在这个领域继续发展。我们发现了一个普遍缺乏纵向研究,或者复制先前的研究方法,指出需要更多的一致性研究经颅磁刺激的方式进行。
我们进一步指出,许多研究包括小样本大小,研究通常进行一个大学或在一个国家。需要多、多国研究、纵向研究和研究复制先前的研究。这将有助于促进整体质量和严谨的研究经颅磁刺激和学术诚信。
近年来,企业生产经颅磁刺激扩大他们的产品包括互补产品,比如那些旨在承认写作可能合同欺骗的结果。很可能机器学习和人工智能,特别是技术如生殖Pretrained变压器(GPT) 3
一开始我们的研究中,几乎没有工具或知识资源的可用性(即综合。、系统或范围)医学和健康科学以外的评论。我们的项目过程中,额外的资源可用于支持知识综合评价在教育背景(
文本匹配软件是否作为一个工具来教育学生,发现不当行为,或两者的结合,技术已成定局。我们的回顾显示方法论宽度的方法研究此类软件的使用包括定性、定量,混合方法,和其他种类的研究设计,研究不同质量的所有研究设计类型。
虽然我们无法提供结论性的建议关于文本匹配软件的有效性作为一种工具来减少剽窃或作为一个教育干预,我们展示了如何使用商业文本匹配软件在高等教育作为惩罚性和教学工具在本科和研究生水平。
本研究有助于身体的奖学金对于文本匹配软件,提供阐述循证的见解为研究和方法论的可能性需要关注在奖学金进一步发展学术诚信严谨的研究领域。这项研究也可能是有用的教育决策者寻求建议许可之前需要考虑商业文本匹配软件,特别是需要理解的局限性软件本身和现存证据通知这样的决定。
所有数据源引用的手稿。
作者宣称没有利益冲突。
作者感谢卡尔加里大学的为这个项目提供资金。作者致以感谢他们的研究助理,克莱尔Rockliff。