高等教育评估批判性思维的批判性评估:CCTT和HCTA的验证研究

文摘

虽然批判性思维(CT)是公认作为高等教育的一个重要目标,没有验证工具来评估CT在荷兰是可用的。此外,大多数仪器验证在一个广泛的样本和不同教育背景的人。这可能阻碍的可靠性评估的影响在教育项目教学干预,多样性的减少。这项研究调查了康奈尔批判性思维心理的翻译质量测试(CCTT)和Halpern批判性思维评估(HCTA)在荷兰的样本来说新生主修教育科学。结果显示较高的内容效度和偏好HCTA学生。然而,CCTT花费更少的时间管理和得分,这使得它更容易使用的CCTT规模更大。这两个测试显示了一个高的整体可靠性。固定反应项之间的相关性的强度和HCTA的强迫选择项CCTT呼吁进一步研究CT精确关系技能和性格和HCTA评估两个独立的能力。

1。介绍

批判性思维的发展(CT)通常被认为是高等教育的一个重要目标(1- - - - - -4]。高等教育毕业生应该能够做出决定基于完善的考虑可用的信息。研究表明,学生在他们的CT能力在大学期间(5- - - - - -8),但增长缓慢和有限4,9- - - - - -11]。有但是缺乏验证测试CT荷兰来说大学生的发展。因此本研究的目的是双重的:探讨心理属性的两个常用测试CT在佛兰德大学的学生在一个纪律和评估他们的进展在CT使用这两个测试一个学年。这项研究的结果也有价值的荷兰语言社区外,因为这项研究增加了整体的理解CT及其评估的困难。此外,一个学科的研究仅限于学生为了了解仪器的可靠性在限制人口。有需求的CT能够评估教学干预措施(12]。这样的教学干预主要是进行在一个学科,因此,需要在限制人口是可靠的工具。

在下面,CT的概念描述了第一;之后,当前测试CT进行了讨论。最后,本研究的目的,提出了它的设计。

1.1。CT的概念

尽管广泛共识CT的发展学生的重要性,缺乏协议的确切含义(13]。后者以各种现有定义CT (14- - - - - -17]。至少两个不同的考虑的范本,CT可以看出:(1)认为CT是专门规程和/或discipline-general和(2)考虑CT作为一组技能或技能的组合,性格是一个“关键思想家”。

关于第一个方面,摩尔(18区分两个CT的反对运动:通才运动和建立学科运动。通才运动,埃尼斯(19)作为领军人物,CT是一组独立的认知能力,可以教的具体内容。建立学科运动,McPeck [20.)作为领军人物,认为CT是依赖于区域或考虑的纪律问题。他认为,什么是适当的使用怀疑在一个学科或在另一个上下文可能是不合适的。然而,在过去的十年里,两个动作之间的讨论已变得不那么突出,大多数研究人员认为,有一些通用CT技术,适用于各种环境,同时也熟悉一门学科中起着重要作用[21]。

第二个方面,学者们有不同的范本,CT的担忧也质疑CT是一组技能或一个性格22]。CT技术参考等形式逻辑规则,考虑多个角度,归纳和演绎21,22]。外在的观点,一个人的动机和承诺也包括,看一个人是否能够识别并愿意使用所需的CT (23]。外在的观点对CT包含一个更全面的看法,这规定,技能以及其他性格组件一起影响一个人的CT性能(22]。

1.2。CT测试

CT的范本,多样性是反映在可用专门规程的多样性和discipline-general测试CT (24]。即使在discipline-general仪器,测试开发人员离开不同的范本,CT或一个不同的强调CT的特定方面。给几个例子,关于当前问题的推理测试(RCI) [25)是基于反射判断模型由国王和厨师26]。Watson-Glaser批判性思维评价(27)旨在测量CT,因为它被定义为格拉泽(28]:(1)处理的态度考虑周到的问题和主题范围内的经验;(2)知识的逻辑查询和推理的方法;(3)一些技能应用这些方法。批判性思维要求坚持不懈的努力,应该检查任何信仰或形式的知识的支持这一观点的证据,它往往和进一步的结论。(5页)

康奈尔大学的批判性思维测试(CCTT) (29日)是康奈尔大学/伊利诺斯模型的启发,CT。第四个例子是Halpern批判性思维评估(HCTA) [30.,31日),这是基于Halpern的定义23]。最后一个例子是,加利福尼亚批判性思维处理库存(CCTDI) [32]声称向CT测量倾斜或性格,所定义的Facione [33]。

除了范本的多样性,范围广泛的项目格式用于CT测试。常用的工具,如CCTT [29日格式]使用强迫选择问题。然而,在最近的文献[22,24,34),认为强迫选择和固定反应项的组合更适合测量CT因为固定反应格式允许更好地把握CT的外在方面。与强迫选择问题,固定反应的问题使我们能够推断出被调查者的答案背后的推理。此外,使用强迫选择问题可能只显示一个被调查者是否可以识别正确的答案,但它不包含信息自发从被调查者的答案。作为骨(22)认为,如果一个测试的目的是测量性格以及技巧,测试应该让受访者认为自发。HCTA [30.,31日)是一个测试,结合固定反应和强迫选择项目。除了上面提到的项目格式,仍然已使用其他格式,比如面试(例如,反射判断面试35)、论文(例如,Ennis-Weir批判性思维论文测试(36]),论文和多项选择题的组合(例如,批判性思维评估电池(37])和Likert-type语句(例如,问题的解决库存(38])。

1.3。目前的研究

验证工具评估CT在荷兰高等教育缺乏语言学生。只是翻译不会足以保证一个有效的仪器一样跨文化通用技能评估CT似乎是困难的(39]。此外,大多数测试是验证一个广泛的人口,虽然大多数CT干预的重点是学生的一个项目,和仪器需要有效的人口更少的变化。因此,本研究调查了心理素质评估CT两种乐器的学生在高等教育在佛兰德斯,这是荷兰比利时的一部分。两个国际用CT测试是选择和管理新生的样本(一年级学生),主修教育科学。

三个标准被用于选择两种乐器(16- - - - - -40]。首先,所选仪器必须测量CT能力无论专门规程的知识的学生。因此,只有discipline-general测试被认为是。

其次,CT的基本概念选择的仪器需要符合CT是如何理解和教领域的考虑:高等教育(他)在佛兰德斯。按照烹饪et al。40),建立了一个定义在弗兰德斯与他的代表机构密切合作。这个定义符合CT是如何理解和推测在弗兰德斯教授在高等教育。的代表同意以下缩短版本定义的CT Facione [33),认为CT是技能的组合,领导一个判断,和性情,至关重要的思想家描述为特征:我们理解批判性思维是有目的的,自律的判断结果的解释,分析,评估,和推理,以及解释证据的概念、方法论,criteriological或语境因素的判断…为基础。理想的至关重要的思想家是习惯性地好奇的,消息灵通的,信任的原因,开放的、灵活的、公正的评价,诚实面对个人偏见,谨慎的做出判断,愿意考虑,清楚问题,有序的在复杂问题上,和勤奋在寻求相关信息。(2页)最后,心理的证据质量所需的工具可用。

根据这些标准,两个盎格鲁-撒克逊选择工具:康奈尔批判性思维测试水平Z (CCTT) [36),Halpern批判性思维评估(HCTA) [30.,31日]。虽然在格式相比,上述CCTT是首选Watson-Glaser批判性思维评价(27因为更好的匹配的定义。关于当前问题的推理测试(25],尽管有趣的格式,没有选择这个研究因为分数的解释还不清楚。

本研究调查了在四个重要方面的心理素质测试(16,40):(1)可靠性、有效性(2),(3)的可行性的管理和评分测试,和(4)设想的测试受访者的吸引力。

估计的可靠性测试旨在评估多少测试的分数的变化可以归因于测量中的错误和真实的分数多少41]。有不同类型的可靠性。在这里,评分者间信度和内部一致性研究[16]。当测试得分手工HCTA-it情况是重要的分数评定等级无关。评分者间信度是指这一标准。可靠性也指的是内部一致性的测试41],它给出了一个暗示的物品是否测试,测量相同的一般构造产生相似的分数。

测试的效度是指测试准确程度措施应该测量什么(41- - - - - -43]。有不同类型的有效性,我们将评估三:内容效度、结构效度和效标效度。内容效度的担忧程度项目在测试覆盖域构造的测量。建构效度表示的程度测试精确测量的变量构建考虑。它可以评估的水平测试通过调查测试成绩之间的关系和其他测试,也称为一致有效性。建构效度也可以评估在一个测试项目的水平,通过使用因子分析。效标效度可以被定义为一个测试的能力做出正确的预测。因此,它也常被称为预测效度。在我们的研究中,这两个测试是用来评估CT进展之间的新生学年的开始和结束。事实上,这些数据可以被认为是调查的一部分的效标效度测试。

最后,测试的可行性问题的缓解测试管理和分析。测试的吸引力与受访者的程度像测试39]。假设更有吸引力的受访者找到测试,他们愿意承诺考试。

2。方法

2.1。仪器

2.1.1。CT评估

HCTA。HCTA [30.,31日)是一种新近发展起来的discipline-general测试由25个日常情况的描述。每个受访者情况提供了两次:第一次紧随其后的是一个开放式的问题,学生必须构建自己的答案(固定反应项)和第二次之后强迫选择问题(强迫选择项)。强迫选择项有不同的格式:选择题与一个或多个正确答案;评级问题Likert-type或规模是/否;和匹配问题。每个项目的最大分数范围从一到十。测试的目的是测量五个类别的CT。每个类别以五的情况。在计算总测试成绩,每个类别不同的贡献:(1)假设检验(24%),(2)语言推理(12%)、(3)分析的参数(21%)、(4)使用的可能性和不确定性(12%),和(5)决策和解决问题(31%)。

HCTA结果在13个不同的分数。除了总分,总分为固定反应项目(固定反应部分)和强迫选择项目(强迫选择部分)。此外,在每个类别有五个部分的得分,对固定反应项和强迫选择项。

在目前的研究中,五个类别的HCTA显示好对应的第一部分发达CT的定义。通过使用固定反应问题,HCTA声称能够测量CT性情(44]。因为HCTA最近仪器、数据的心理特性研究主要局限于测试手册和与作者密切合作。根据测试手册,HCTA内部一致性(克伦巴赫的很高总分)(31日]。固定反应部分和强迫选择部分分别显示较高的内部一致性(分别地。和)。中报告的样本手册的受访者有不同的教育背景,和他们的年龄从18岁到72岁不等。翻译成汉语和西班牙语的可靠性分析发现克伦巴赫α从0.69到0.77的整体测试和低可靠性分量表(0.64)(44- - - - - -46]。在这些研究中,样品由不同年份和不同学科的学生。

固定反应部分和强迫选择部分之间的相关性表明,测量相关但不同的结构(两个部分31日]。因子分析点的方向ten-factor结构(五个类别区分固定反应和强迫选择项)(31日]。效标效度的证据已经建立了巴特勒et al。47),发现CT的HCTA预测真实的结果。除了之间存在显著的相关性认识论信念和HCTA [45]。

CCTT。CCTT [29日)是一种discipline-general测试,针对高中教育的学生强,学生在高等教育,成人。1985年开发的,它是一个广泛使用的工具评估CT。它旨在测量CT的五个方面:扣除;语义;观察和来源的可信度;感应;定义和假设识别。各个方面在测试测量在一个单独的部分,但归纳分为两个部分,即在假设检验中使用感应和规划实验。测试包含52项,所有这些都在一个强迫选择格式。类似于HCTA, CCTT相对较好对应的第一部分定义。 On the other hand, the second part of the definition, which captures the concept of CT as a disposition, is lacking, because the instrument—as most of the other instruments—only uses multiple-choice questions.

关于其可靠性、CCTT手册报告分半可靠性之间和0.80 Kuder-Richardson可靠性KR = 0.50和0.76之间(29日]。受访者的研究大多是本科生或研究生,主要是在一个学科。一起研究,CCTT评估在范围广泛的不同的高等教育机构。欧文(16报告的内部一致性值在新生的样本和的在一个样本的二年级的学生。

CCTT内容效度的评估了伊利诺斯州批判性思考项目的成员,他认为CCTT测量CT的条目作者所定义的(29日]。此外,还有积极的迹象为效标效度。例如,反射的相关性判断面试的国王和厨师是0.46 (48]。

翻译程序。这两个测试(29日- - - - - -31日)被翻译成荷兰语,国际测试委员会指南翻译后和适应测试(49]。这个翻译过程包括几个步骤,王et al。50]。第一次翻译后,初步研究()进行,受访者填写一份翻译测试和被问及他们的评论在认知测试的项目面试。适应翻译。接下来,验证使用平移重置的翻译做了技术(51]。在这个过程中,荷兰版本被第三人背英文翻译和翻译后的版本与原英文版本。两个版本的差异进行了讨论,并适应荷兰翻译。最后,荷兰版本的测试管理两个不同的试验群体的学生为了调整翻译和文化适应(CCTT;HCTA)。

为了建立文化是否合适我们的人口50],HCTA略有变化的几个项目相比,在翻译过程中最初的英文版本。例如,一个关注总统候选人。这是变成“政客”,因为调查人口没有一个总统。在另一种情况,受访者估计一个年轻女人的机会成为一个著名的女演员在好莱坞。荷兰翻译指定的年轻女士是美国人,因为试验表明,一些学生回答的影响假设女人来自一个小的,非英语国家,这降低了她的机会。尽管这是一个正确的推论,这个答案是不能由原测试。

CCTT,一项(项目21)从翻译版本中删除,因为这个项目主要是基于“药物”这个词的双重意义。在荷兰没有等价的双重意义。

2.1.2。评估的吸引力

的吸引力与自主研发的测试测量问卷由三个部分组成。在调查问卷的第一部分,学生被要求评估每个测试分别在七级响应分级(从完全不同意完全同意)有关的困难,吸引力,时间和数量的读/写必要填写测试。CCTT,只使用强迫选择问题也被评估。接下来,学生被迫选择两种乐器,关于功能是有趣的,困难的,和一个好质量的思维能力。最后,学生可以自由评论的测试和解释他们的偏好。

2.2。过程

两次测试都是管理作为一年级的必修课模块。测试第一管理第一学期初(11)和第二学期结束时再次(可能)。CCTT管理在纸上;HCTA在线。为每个测试有不同的集体会议,学生可以选择最方便的时刻。去年11月,集体会议HCTA和CCTT涨跌互现。今年5月,所有CCTT会话之前计划HCTA会话。完成5月份HCTA后,学生被要求填写问卷的吸引力。每个会话开始集体。当学生已经完成,他们可以离开房间。

CCTT和被迫选择问题的答案HCTA是得分的关键手册。在固定反应问题的答案HCTA的得分根据维也纳测试系统(31日通过示例),伴随着手册。维也纳测试系统引导评定等级的通过被调查者的答案在固定反应的问题,与一系列的提示回答“是”或“否”或“是”,“不”,或比较。这个系统是为了提高速度和得分的可靠性。成立后的评分者间信度(见部分3.2。1详情),问题是由一个评定等级的得分。

在两个政府之间的时刻,一个车间在CT与二十个代表不同的高等教育机构。这些代表部分不同的人开发CT的定义。他们第一次被要求单独想象一个人在自己的领域谁认为批判性和写下什么人。然后,他们不得不在小团体的活动比较写下和标签的活动在抽象的文字里。之后,在一个全体会议,他们比较的活动与两个定义和使用工具。

2.3。参与者

参与者被新生主修教育科学KU鲁汶(平均年龄= 18.2),比利时法兰德斯。总共179名学生填写至少一个测试,其中154填写两个测试两次。大多数的受访者是女性,这是一个正常的情况教育科学在佛兰德斯(见表1)。

2.4。分析

2.4.1。可靠性

的固定反应问题HCTA,评分者间信度研究。两家评级机构分别得分20个学生的反应。之后,为了确保讨论的差异提示维也纳的测试系统都以相同的方式理解。接下来,50个随机选择的反应学生得分两个评级机构。结果比较,差异进行了讨论。对每项产品的比例相等的分数和科恩加权的计算。事先决定,如果问题的比例相等的分数低于0.7,50个额外的学生的反应会得分。建立评分者间信度期间,荷兰版本的评分指导与更多的例子阐述了减轻得分,让它更加透明。

为了使比较的评分者间信可靠性报告手册(31日),内部氧化物之间的相关性分数两个评分的人看着。此外,评定等级的影响规模的手段得分计算通过使用配对样本以及。

使用量表的内部一致性的测量α。两个测试,这是11月和5月政府单独计算。HCTA,计算出总的结果,在固定反应情况下,强迫选择部分和五个类别。因为在HCTA最大每项评分不同,克伦巴赫的两种类型α计算:正常的克伦巴赫的α克伦巴赫的α标准化的项目。除了分析基于个人的得分项,内部一致性也使用物品的总和计算每个子量表作为一个变量,因为这种方法后的手册HCTA [31日]。这个额外的计算允许比较我们的结果和结果的手册。

CCTT,克伦巴赫α部分第四章和第五章和第六部分和第七计算两个部分一起,因为这些部分每个测量的相同或高度可比性方面CCTT(分别地。、感应和假设识别)。

2.4.2。有效性

为了评估内容效度我们评估的每一个方面如何发展都定义在CT上覆盖测试。这些方面的开发定义(1)目的明确,自律判断,(2)解释,(3)分析,(4)评估,(5)推断,(6)解释证据和概念考虑,(7)解释方法论的考虑,(8)的解释criteriological考虑(9)的解释语境考虑,和(10)“理想关键思想家”。额外的信息在一个接近的比赛CT在佛兰德斯的概念化和仪器之间在研讨会上获得CT与二十个代表不同的高等教育机构。

在目前的研究中,测试在同一政府时期之间的关系可以作为建构效度。除了观察到的相关性,相关性与衰减校正(使用52]。这个回调允许纠正缺乏完美的可靠性,由于测量误差是固有的经验措施。由于这些测量错误,观察到的相关性低于真实的相关性(53]。HCTA,总分是考虑,以及固定反应部分和强迫选择部分分开。预计CCTT将关联更高的总分和强迫选择HCTA比固定反应部分的一部分,因为固定反应的部分是为了测量CT的性格方面,而其他人更局限于CT技能。

此外,固定反应之间的相关性和强迫选择部分HCTA同一政府时期是看着。再次,观察到的相关性和衰减校正被认为的相关性。因为这两部分CT的测量方面,但是有不同的焦点,预计适度很强的关联。

为了评估项目级别HCTA的建构效度,主成分分析(PCA)与斜旋转计划11月的50项,可能数据。基于逻辑的测试,预计五个或者两个相互依赖的因素(反映出各自的技能和性格测量强迫选择项目和固定反应项)。在分析之前,Kaiser-Meyer-Olkin (KMO)测量被用来验证样本主成分分析的充分性。后者是证实当KMO > 0.5 (54]。

为了评估的维度CCTT,多维项目反应理论(MIRT)模型(如使用。,(55]]。MIRT模型也被称为“项因子分析”。它类似于一个经典的因子分析,它试图评估测试的基本维度。然而,MIRT模型模型的数据集的人由项目直接反应,而古典因子分析模型反应之间的相关性在个人项目的测试。鉴于这种不同的方法,MIRT模型更容易获得测试两个维度的项目,因为这些物品,相关矩阵更难以评估(55]。MIRT模型估计使用R包MIRT [56]。一到五维度模型相比,使用Akaike信息准则(AIC)或贝叶斯信息准则(BIC) [57,58]。上面一个模型的偏好其他取决于模型的距离数据。距离越小(小的价值标准),更好的模型和数据之间的配合59]。最适合的预计模型和五维度,鉴于CT基本CCTT的五个方面。

效标效度评估通过观察11月成绩之间的相关性,可能在同一测试和通过计算单个学生的进步在评估。

2.4.3。可行性

时间管理和成绩测试被认为是标准来评估的可行性。

2.4.4。吸引力

配对样本测试的升值测试比较。此外,学生的比例高于其他被认为是喜欢一个测试。

3所示。结果

3.1。描述性统计

表2和3描述了CT表现,可能在11月HCTA CCTT,分别。11月平均总分为116.08和120.32 HCTA。5月不同难度的项目。一些物品很容易(如5月几乎所有学生回答情况9正确)的强迫选择问题。其他物品是困难的(例如,近9 11月10个学生在强迫选择问题上没有分情况17)。同样困难的分量表不同:项目的论证分析强迫选择内部氧化物似乎比假设检验的物品更容易为学生规模固定反应的。0.15和0.99之间的平均难度不同比例的正确答案。

11月CCTT上的平均得分是27.13和27.53。项目不同的难度水平。一些物品几乎没有回答正确(正确答案的比例为0.07),而其他人则几乎总是回答正确(正确答案的比例为0.96)。分量表的难度也不同:学生回答更多物品正确扣除规模比规模意义和谬误。

3.2。可靠性

3.2.1之上。评分者间信度

在项目层面,有一个高比例的相等的分数和满足科恩加权的κ,除了四个情况(情况3、6、15和25),可以看到在桌子上4。这四个项目,额外50个学生得分的反应,然后,结果是令人满意的(括号)之间。

表5显示之间的相关性评级机构在五个分量表的得分。据科恩(60),这些相关性大。他们相当或更大比报道手册。然而,配对样本测试在不同的manual-a显著影响评定等级的固定反应情况下,小尺寸效应。分量表的假设检验和可能性和不确定性,也有显著的影响,媒介的影响大小。这些尺度的散点图显示一个评定等级的系统比其他的得分稍高一些。

3.2.2。内部一致性

表6礼物HCTA的内部一致性和CCTT整体测试和两个测试的不同尺度的政府。没有太多的区别这两种类型的克伦巴赫α。因此,标准克伦巴赫的值α报告如下。

11月管理HCTAα为0.53,这是一个温和的内部一致性(60]。分别固定反应和强迫选择部分的内部一致性较低(分别地。和0.35)以及CT(五类的)。

可能的内部一致性管理HCTA为0.64,这是可以接受的(60]。在11月数据相比,固定反应部分和强迫选择部分有一个温和的内部一致性(分别地。和)。的内部一致性的单独的CT分类HCTA比11月稍高一些,但仍然低到中度()。

的内部一致性分类两个测试政府也低()。由于低分量表条目的数量,interitem相关性被认为是,但这些也低(主要是)。对于每一个尺度,有数量有限的项目相关的充分与总规模()[61年]。此外,对于每一个规模有项关联,接近0的总规模。项目与足够的相关和负相关两个政府之间的不同时刻。物品很容易或困难通常有一个低相关性与测试。

同样在计算内部一致性的手册(以分量表的得分为项目),α的还低,除了总体得分(表5月7)。

CCTT,内部一致性是温和(11月)(表6)。只有两个项目相关的充分与总规模(),一项与总规模负相关。克伦巴赫的αCCTT分量表较低的()。基于可能的内部一致性数据(11月的数据是一样的),有5个项目充分关联与总规模()和七项与总规模负相关。再一次,α分量表很低(),除了假设识别、有点高()。

3.3。有效性

3.3.1。内容效度

表8显示的结果对比测试和开发的定义。两个测试充分反映了CT技术定义的一部分。第二部分,CT的性格方面,被HCTA固定反应项的测量,在受访者必须制定自己的答案。这与CCTT并非如此。

在研讨会期间,代表不同的高等教育机构,更好地匹配感知CT在佛兰德斯的”他一方面另一方面被发现和测试。所有CT活动他们发现了满是预定的类别或部分的测试。

3.3.2。建构效度

表9展示了两个测试之间的相关性在左上角11月和5月在右下角。相关性是显著不同于零,小强度(60]。的相关性修正衰减表示中等强度两个测试之间的关系。

去年11月和今年5月,固定反应之间的相关性和强迫选择部分HCTA明显不同于零,中等强度(60]。衰减表示强烈的相关性修正两个部分之间的关系。

Kaiser-Meyer-Olkin测量来验证的充分性样本主成分分析表明,11月样本不足,KMO = 0.45 (54]。Kaiser-Meyer-Olkin措施可能样品略好,但仍在0.5的标准,KMO = 0.49。因此,它是决定跳过分析。

五个探索性因素解决方案的适合统计表明,线性的解决方案是最吝啬的(表10)。AIC和BIC值与一维解决方案的最低,除了11月AIC,二维的解决方案是略低于一维的解决方案。

3.3.3。效标效度

11月和之间的相关性可能在相同的(部分)测试结果明显不同于零(低表的一部分9)。纠正了衰减的关系时,有一个强烈的迹象两个测试力矩之间的关系。

对于测试,两种时刻之间的区别和配对样本进行调查t测试。HCTA,有显著增长。这种增长是局限于具体的子类。学生没有进步语言推理和决策和解决问题的能力。他们都没有预先假设检验低端也不强迫选择规模固定反应的参数分析。CCTT,没有增长。

3.4。可行性

的平均测试时间CCTT 54分钟。学生在他们的意见相当中立当被问及CCTT需要太长时间来完成(表11)。大约一半的学生至少稍微同意CCTT太花时间了。平均而言,受访者完成HCTA需要约80分钟。当被问及他们认为测试管理时间,平均学生有点同意,填写HCTA花了太长时间。意见的差异测试完成时间这两个工具之间均有显著()。

CCTT和强迫选择项的分数的HCTA可以自动计算因为格式问题。固定反应项的得分HCTA不能自动完成,耗费时间。这需要一些练习为了评分系统。估计评分时间经过短暂的培训期间是15分钟/测试。

3.5。吸引力

平均而言,学生稍微同意仪器都是困难的,但他们发现CCTT(表更困难11)。学生略不同意HCTA太难了,而他们同意CCTT太难了。这种差异是重要的()。平均学生稍不同意CCTT是迷人的,中性的HCTA时,再次显著差异()。最后,这两个测试都使用,学生们中性是否可以做更好的测试如果少阅读有关。没有这两个工具之间的区别。他们有点不同意,他们可以做得更好在HCTA如果他们少写。他们有点不同意,他们可以做得更好CCTT如果他们将有机会构建一个答案本身,而不是被迫从列表中选择一个答案。

学生还被问及他们的偏好(表测试12)。四分之三的受访者更喜欢上面的HCTA CCTT ()。HCTA被发现是最有趣,引人入胜,激发测试()。一个较小的程度上(),HCTA也被认为是最具挑战性的测试和测试最大的可能性来展示他们的思维能力。大多数学生发现CCTT最困难的测试()。根据我们的调查,HCTA欠它的吸引力更熟悉它的使用,可辨认的日常情况和固定反应的物品。这些项目给学生机会表达自己的意见,他们的高度赞赏。反对HCTA, CCTT的情况并不熟悉,和它的问题被认为是抽象的。学生经常提到的所需的时间完成HCTA,他们必须写很多自己负点的测试。因此,这也就不足为奇了,短的性质的多个响应格式CCTT是最常引用的重大进步。

4所示。讨论

本研究比较两种国际上广泛使用的仪器来测量CT在可靠性、有效性、可行性,对学生在高等教育和吸引力:HCTA CCTT。

4.1。可靠性

建立的评分者间信度的研究是令人满意的,衡量高的比例相等的分数和加权科恩的非常好κ的年代,几乎所有项目(62年]。此外,两家评级机构的内部氧化物总量之间的相关性也很强劲。他们高或与这些报道在测试手册(31日]。然而,在手工相比,有显著效果的评定等级的分数。这可能是由于这一事实评定等级的得分略高于其他。尽管这种效果的评定等级,评分者间信度是令人满意的。它表明客观性测试成绩。看来,分级指导提示是一个宝贵的方式达到高评分者间信度。

这项研究发现的内部一致性较低。这并不影响项目的不同权重计算总分,显示与原始的高度相似的内部一致性或标准化项目反应。即使考虑到CT的概念是相当复杂的,报道的可靠性措施是不够的。只有总分的可靠性的HCTA方法验收。内部一致性测试中发现的测试手册和文献不能被复制的荷兰翻译测试研究小组调查。克伦巴赫的之间的区别α可能是因为在这个研究和其他研究的影响范围限制或不同宽度的人口进行调查(53]。可靠性依赖于方差,方差越高,可靠性越高。当一个多样化的人口被认为是,方差是高于人口更多的限制,对可靠性有积极影响(53]。HCTA的可靠性,在手动评估样本的受访者不同年龄段和不同教育背景的31日),而本研究调查人口限制一个主要在一个大学的新生。比较标准化样本的描述性统计手册和样本表明,虽然手段可比,手动的差异确实比在目前的研究中,支持范围的限制解释。此外,大多数其他研究描述可靠性HCTA和CCTT使用更广泛的样本比新生学科。

4.2。有效性

这两个测试的内容效度就足够了。尽管两种乐器的捕捉整个概念,他们都密切匹配使用的定义在弗兰德斯高等教育员工。HCTA有一个额外的强度通过使用固定反应的问题和强迫选择问题,因为后者可以测量CT的外在方面。

关于结构效度,测试在同一评估两个时期之间的相关性表明弱关系。相关性是衰减修正时,表示一个中等稳固的关系的关系。这表明CCTT和HCTA此时至少partially-measuring相同的结构和缺乏相关的部分是由于缺乏可靠性。虽然HCTA有较高的内容效度,因为它打算测量CT的外在成分,这种差异并不反映在不同强度的相关性。今年5月,与CCTT的关系甚至更强的固定反应的部分比强迫选择部分,虽然理论上可以预期相反。观察和纠正固定反应之间的相关性和强迫选择HCTA中等偏强的一部分。后者的强度相关性结合强度的相关性与CCTT敦促进一步研究固定反应项目在多大程度上能够评估CT分开部署CT的技能。这样的研究可以比较的优势HCTA的每一部分和性格之间的关系与“关键思想家”有关,如对不确定性或模糊事物的承受力,开放,和责任心。

建构效度的水平测试的项目不能评估或确诊。结果HCTA并不适合PCA。MIRT模型分析CCTT建议一个一维的模型比五维模型更适合。这一发现表明,五个不同尺度关联足够高,以形成一个维度。当前的研究的样本量是不足以评估确认模型与五个维度结构的相关因素。一维模型的另一种解释为更好地适应以上五维模型测试的分量表的低可靠性。后者的结果也可以解释为什么HCTA并不适合PCA。

中等偏强11月和5月之间的相关性分数相同的测试是一个积极迹象的效标效度测试。可能政府预测的结果基于11月的分数。

HCTA, CT评估的增长,而没有发现差异两国政府CCTT,虽然有足够的增长的可能性。这种有限的增长符合其他CT研究发展(例如,9,10])。

4.3。可行性和吸引力

关于可行性和吸引力,两种工具都有各自的优势。CCTT超过HCTA的可行性。它大大减少了时间管理和评分。这种差异主要是由于使用HCTA固定反应的问题。关于测试管理,有更多的学生认为HCTA花了太长时间填写比学生认为CCTT太花时间了。这是与学生的写作,学生表示的数量写如HCTA的缺点。在得分方面,维也纳测试系统是实用,但是进球数仍比得分更耗时的强迫选择问题。另一方面,使用固定反应问题的一个主要优势是HCTA时内容效度。

关于这两个工具的吸引力,学生们表示,他们更喜欢HTCA CCTT上面,因为测试中描述的情况更相关的日常经验,因为他们可以表达自己的思想。学生都认为测试困难,但是并不困难。然而,40%声称CCTT至少有点太困难,相比HCTA只有四分之一。这一发现或许可以解释为什么仍然有50%的学生认为CCTT了太久,虽然花了相当的时间更少比HCTA填写。

总结,目前的研究表明,没有两个发达的翻译工具是充分的信度和效度的新生教育科学。事实上,只有新生的一个主要的评估是一个合理的解释为不同的测试结果与先前的研究相比。尽管这是一个研究的限制,它也可以指出测试可能不适合研究CT干预在一个项目的影响。翻译工具持有一些有前途的特性,但改编为了增加可靠性和建构效度。

此外,目前的研究表明,固定反应的项目HCTA都是最吸引人的和内容相关的特点以及测试的重大挑战。CCTT之间的相关性的优势和固定反应项的强迫选择项HCTA呼吁额外研究问题之间的精确关系CT性格和技能。一般这样的研究可以关注整体质疑性格和技能分别是可衡量的,特别是HCTA是否能够独立的评估。

引用

1. d·博克我们的学习成绩不良的学院美国新泽西州普林斯顿大学,普林斯顿大学出版社,2006年。
2. t·摩尔,“批判性思维:7定义的一个概念,“高等教育研究,38卷,不。4、506 - 522年,2013页。视图:出版商的网站|谷歌学术搜索
3. j . Vandermensbrugghe“批判性思维的难以忍受的模糊性的Anglo-Saxonisation教育的背景下,“国际教育杂志,5卷,不。3、417 - 422年,2004页。视图:谷歌学术搜索
4. p . k .木头和c·卡地亚,“关键元素的设计与分析研究的认识论,”个人认识论:信仰的心理学知识和了解b . k .而和p . r . Pintrich Eds。,pp. 231–260, Lawrence Erlbaum, Mahwah, NJ, USA, 2002.视图:谷歌学术搜索
5. a·w·奥斯汀,在大学有什么关系?关键的四年回顾美国加州,Jossey鲈鱼,圣Fransico, 1993。
6. a . Gellin“本科生参与对批判性思维的影响:一个荟萃分析的文献1991 - 2000,”《大学生的发展,44卷,不。6,746 - 762年,2003页。视图:谷歌学术搜索
7. c·A·吉安卡洛和p . Facione”,看看在四年的性格对大学生批判性思维,“通识教育的杂志卷,50 29-55,2001页。视图:谷歌学术搜索
8. m·a·米勒,“结果评估:测量批判性思维,”先进的护理杂志》,17卷,不。12日,第1407 - 1401页,1992年。视图:谷歌学术搜索
9. r·阿鲁姆和j·罗沙在大学校园学术漂流:学习的有限性芝加哥,芝加哥大学出版社,生病,美国,2011年。
10. e . t . Pascarella和p . t . Terenzini认知技能和知识的增长,”大学如何影响学生。卷2:第三个十年的研究Jessey-Bass,页155 - 212年,旧金山,加州,美国,2005年。视图:谷歌学术搜索
11. e . t . Pascarella c . Blaich g·l·马丁和j·m·汉森”学术漂泊的结果有多强劲?”改变,43卷,20 - 24,2011页。视图:谷歌学术搜索
12. j·s·克利福德·m·m·Boufal和j·e·库尔茨”人格特征和大学生的批判性思维技能:双因素理论的实证测试,”评估,11卷,不。2、169 - 176年,2004页。视图:出版商的网站|谷歌学术搜索
13. p c . Abrami r·m·伯纳德·e·Borokhovski et al .,“教学干预影响批判性思维技能和性格:阶段1元分析,“教育研究的回顾,卷78,不。4、1102 - 1134年,2008页。视图:出版商的网站|谷歌学术搜索
14. s . Bailin r .案例中,j·r·库姆斯和l·b·丹尼尔斯,”概念化批判性思维”,《课程研究没有,卷。31日。3、285 - 302年,1999页。视图:谷歌学术搜索
15. h·巴特勒,“Halpern批判性思维评估预测现实批判性思维的结果,“应用认知心理学26卷,第729 - 721页,2012年。视图:谷歌学术搜索
16. t·d·欧文NPEC原始资料的评估,卷1:批判性思维的定义和评估方法,解决问题的能力和写作美国政府印刷局,华盛顿特区,2000年。
17. p . Facione“批判性思维:它是什么和为什么它重要,”2010年,http://www.insightassessment.com/pfd_files/what&why2010.pdf。视图:谷歌学术搜索
18. t·摩尔,“批判性思维的争论:一般一般思维能力如何?”高等教育研究与发展,23卷,不。1,3-18,2004页。视图:出版商的网站|谷歌学术搜索
19. r·h·埃尼斯”,批判性思维是主体特定的程度:澄清,需要研究,“教育研究人员卷。18日,4到10,1992页。视图:谷歌学术搜索
20. h . McPeck”,批判性思维和特异性:埃尼斯的回答,“教育研究人员,19卷,10 - 12,1990页。视图:谷歌学术搜索
21. 安吉丽和c . n . Valanides”教学对批判性思维的影响:性能上不明确的问题,“学习和教学,19卷,不。4、322 - 334年,2009页。视图:出版商的网站|谷歌学术搜索
22. 刘贤l . Ku评估学生的批判性思维性能:测量使用multi-response格式要求,“思维能力和创造力,4卷,不。1,第76 - 70页,2009。视图:出版商的网站|谷歌学术搜索
23. d . f . Halpern思想和知识:介绍批判性思维劳伦斯Earlbaum,新泽西,新泽西,美国,2003年。
24. c . Saiz和s Rivas”评估批判性思维:鉴别的思维方式的建议,”因此Nueva Epoca,卷。- 25 - 66,2008页。视图:谷歌学术搜索
25. 下午王、k . s .厨师和p . k .木头,“关于当前问题的推理测试,”2000年,http://www.reflectivejudgment.org/。视图:谷歌学术搜索
26. 下午国王和k . s .厨师”,反思判断模型:认知认知,二十年的研究”个人认识论:信仰的心理学知识和了解b . k .而和p . r . Pintrich Eds。,pp. 37–61, Lawrence Erlbaum, Mahwah, NJ, USA, 2002.视图:谷歌学术搜索
27. g·沃森和e·m·格拉泽Watson-Glaser批判性思维评价、心理公司,克利夫兰,俄亥俄州,美国,1980年。
28. e·格拉泽一个实验在批判性思维的发展局的出版物,老师大学,哥伦比亚大学,纽约,纽约,美国,1941年。
29. r·h·埃尼斯和t . n . Tomko j . Millman康奈尔批判性思维测试美国加利福尼亚州中西部,太平洋格罗夫,第五版,2005年版。
30. d . f . HalpernHalpern批判性思维评估使用日常生活中:背景和评分标准美国,加州克莱蒙克莱蒙麦肯纳学院,2007。
31. d . f . HalpernHalpern批判性思维评价:手册、版本22Schufried modl,奥地利,2012年。
32. p . Facione和n . Facione加利福尼亚批判性思维处理库存美国加州,加州学术出版社,Milbrae, 1992。
33. p . Facione批判性思维:专家的共识声明的目的教育评估和指导美国加州,加州学术出版社,Millbrae, 1990。
34. 叶,“测试值得教学:构建政府下达测试强调批判性思维、“教育研究人员,30卷,12 - 17,2001页。视图:谷歌学术搜索
35. 下午国王和k . s .厨师发展中反射的判断,Jossey鲈鱼,旧金山,加州,美国,1994年。
36. r·h·埃尼斯和大肠堰,Ennis-Weir批判性思维论文测试美国中西部,太平洋格罗夫市,1985年。
37. 美国大学测试程序,CAAP技术手册美国大学测试程序,爱荷华州的城市,爱荷华州,美国,1991。
38. p .海普纳说,解决问题的库存手册、咨询心理学出版社,帕洛阿尔托,加州,美国,1988年。
39. 经合组织高等教育评估学习结果AHELO: Resport可行性研究、经合组织、法国巴黎,2013年。
40. p·库克,r·约翰逊,p .摩尔et al .,“批判性思维评估:衡量一个移动的目标,”南卡罗来纳的报告和建议高等教育评估网络批判性思维特遣部队,南卡罗来纳高等教育评估网络、岩石山,SC,美国,1996年。视图:谷歌学术搜索
41. k·r·墨菲和c . o . Davidshofer心理测试:原理及应用美国新泽西,新世纪,恩格尔伍德悬崖,第二版,1991年版。
42. p•克莱恩手册的心理测试劳特利奇,伦敦,英国,1999年。
43. w·p·沃格特字典的统计数据和方法:非技术指南社会科学圣人,纽伯里公园,加利福尼亚州,美国,1999年。
44. 刘贤l . Ku和理工学院“外在因素预测中国学生批判性思维的表现,”个性与个体差异》,48卷,不。1,54-58,2010页。视图:出版商的网站|谷歌学术搜索
45. N.-M。陈、i t Ho和刘贤l . Ku”认知信念和中国学生的批判性思维”,学习和个体差异,21卷,不。1,第77 - 67页,2011。视图:出版商的网站|谷歌学术搜索
46. a . m ., c . Saiz, b . Orgaz”分析de la propiedades psicometricas de la版本诺拉del HCTAES-test de la evaluacion Halpern para del pensamiento critico mediante situaciones cotidianas,”航空杂志上电子乐德Metodologia Apliciada,14卷,页1 - 15,2009。视图:谷歌学术搜索
47. h·a·巴特勒,c·p·德怀尔·m·j·霍根et al .,“Halpern批判性思维的评估和实际结果:跨国的应用程序,“思维能力和创造力,7卷,不。2、112 - 121年,2012页。视图:出版商的网站|谷歌学术搜索
48. 下午王、p . k .木材和r . a .矿山“批判性思维在大学和研究生,回顾高等教育13卷,第186 - 167页,1990年。视图:谷歌学术搜索
49. 国际考试委员会(2010),“国际测试委员会指南翻译和适应测试”,http://www.intestcom.org。视图:谷歌学术搜索
50. w l。王,H.-L。李,s . j .菲尔兹”的挑战和战略工具翻译,”西方护理研究杂志》上,28卷,不。3、310 - 321年,2006页。视图:出版商的网站|谷歌学术搜索
51. w . Maneesriwongul和j·k·迪克森,”仪器翻译过程:方法审查”,先进的护理杂志》,48卷,不。2、175 - 186年,2004页。视图:出版商的网站|谷歌学术搜索
52. p . m . Muchinsky”衰减校正”,教育和心理测量卷,56号1,第75 - 63页,1996。视图:谷歌学术搜索
53. j·舍林、c·格拉斯和s·m·托马斯,教育评价、评估和监控:一个系统的方法,不要& Zeitlinger Lisse,荷兰,2003年。
54. 答:字段,发现数据使用SPSS (“n”和性、毒品和摇滚)圣人,纽伯里公园,加利福尼亚州,美国,2009年。
55. r·d·烈性黑啤酒,r·吉本斯和e . Muraki“完整信息项因子分析,”运用心理测量》12卷,第280 - 261页,1988年。视图:谷歌学术搜索
56. R·p·查尔默斯,“mirt:多维项目反应理论包R环境,”杂志的统计软件48卷,1至29,2012页。视图:谷歌学术搜索
57. k·p·伯纳姆和d·r·安德森,模型选择和Multimodel推论:一个实际的信息理论方法施普林格,纽约,纽约,美国,2002年。
58. k·p·伯纳姆和d·r·安德森,“Multimodel推理:理解AIC和BIC模型选择,”社会学方法与研究,33卷,不。2、261 - 304年,2004页。视图:出版商的网站|谷歌学术搜索
59. h . Linhart w .西葫芦,模型选择约翰·威利& Sons,纽约,纽约,美国,1986年。
60. j·科恩,行为科学统计能量分析美国新泽西,劳伦斯Erlbaum、山谷,第二版,1988年版。
61. r·伊和d .傅强恩教育测量的本质美国新泽西,Prentice Hall,恩格尔伍德悬崖,1991。
62. 杰可布森和美国a魏氏,”顺序数据,统计方法评估协议”斯堪的纳维亚关心科学杂志》上,19卷,不。4、427 - 431年,2005页。视图:出版商的网站|谷歌学术搜索

版权

版权©2013年Verburgh等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。