功率加权版本的班尼特、阿尔珀特和戈尔茨坦

文摘

加权的班尼特、阿尔珀特和戈尔茨坦年代,用,进行了研究。这是显示的特殊情况通常要求以同样的方式。它也表明,许多特殊情况倾向于产生值接近团结,特别是当类别的评定量表的数量大。这是认为的应用作为协议系数并非没有困难。

1。介绍

在行为和生物医学科学,它经常需要测量的强度行为或疾病。例子是觉醒的程度speech-anxious参与者而演讲,从扫描病变的严重程度,或者镇静的严重程度在阿片类药物管理疼痛管理。这些现象的强度通常是由一个观察者使用评定量表和分类有序类别,例如,轻微、中等和严重。为了避免观察者并没有完全了解他或她被要求解释,必须明确定义的类别。测量量表的可靠性研究人员通常问两个独立观察员率相同的主题。分析观察人士之间的协议可以用于评估的可靠性。高评级之间的协议的观察者通常表示一致的分类诊断和互换性的观察员。

评估一个协议顺序量表各种统计方法已经开发出来。例如,loglinear模型提出在坦纳和年轻1]和Agresti [2,3)可用于分析协议的模式和潜在的分歧的来源。应用这些模型可以在贝克尔(4)和格雷厄姆和杰克逊(5]。然而,事实证明,研究人员通常只感兴趣系数,(大约)总结了协议在一个单一的数字。最常用的一个顺序尺度加权系数总结协议在科恩kappa提出(6)((5,7])。科恩(8]提出kappa系数作为协议当量表名义指数(无序)类别9]。由于机会协议的修正系数。加权科恩kappa延伸的原始kappa与有序类别等级量表。在后一种情况下通常有更多的观察人士之间的分歧远邻类别比类别。与加权kappa可以使用重量描述类之间的亲密关系。卡帕和加权kappa在评估协议和标准工具用于成千上万的应用程序(10,11]。最常用的版本的加权kappa二次kappa [5,7]。

不同作者已经确定困难的解释kappa名义类别(7,12- - - - - -17]。科恩kappa是一个函数的边际总数,分类的基准利率,这表明经常使用的类别是观察者(18- - - - - -20.]。科恩kappa往往产生倾斜的边际分布的值要低得多。此外,kappas从样品用不同的基准利率不可比性13,16]。de桅杆和van Wieringen [16和德桅杆17]研究kappa系数和kappa-type上下文中的潜在的类模型。这些作者认为kappa解释的问题行为,它是一个系数预测协会,而不是一个纯粹的系数协议。其他作者已经确定困难的解释二次kappa命令类别。二次kappa结社行为来衡量,而不是协议的系数(5]。二次kappa的价值也会增加类别数量的增加(21]。此外,二次kappa不能区分表有不同层次的具体协议22]。

一般建议选择名义类别为科恩kappa系数班纳特,最初提出了et al。23)((24- - - - - -26])。因为系数是一个线性变换的原始协议而不是边际总数的函数,它没有表现出的解释困难kappa系数(10,27]。此外,潜在的类模型下讨论了de桅杆和van Wieringen [16和德桅杆17),系数系数是唯一的协议,可以给出一些理由。系数相当于系数詹森和Vegelius [28),琼斯系数再保险(29日),而布伦南和Prediger [12]。对于两类系数相当于系数中讨论,其中,华立和吉尔福德30.],麦克斯韦[31日],Krippendorff [32]。

最近,Gwet [33)提出了一种加权系数与顺序类别等级量表。本文将用这个系数。泛化在[提出33)类似于卡帕的概括(8)加权卡帕(6]。加权方案,可以使用加权的加权方案kappa完全相同。最常用的加权方案加权kappa线性权重(34- - - - - -36)和二次重量(22,37,38]。在本文中,我们研究如何行为作为协议系数与顺序类别等级量表。更准确地说,我们研究的一个特例将会用吗。特殊情况的是系数和得到的系数如果我们使用线性和二次加权方案。我们目前的几个属性这表明的应用作为协议系数并非没有问题。

本文组织如下。节2我们引入符号和定义系数和。节3结果表明,有一个简单的命令的特殊情况如果某种温和的条件。因为这个需求是现实生活中,经常遇到的特殊情况通常要求以同样的方式。节4我们现在的属性三对角协议表。结果表明:许多的特殊情况倾向于产生值接近团结,特别是当类别的评定量表的数量大。部分5包含一个讨论。

2。加权系数

在本节中,我们介绍了符号和定义系数和。Gwet [3356页)定义相似的比例。然而,对于符号方便,我们将定义不同的比例。如果不同权重,对远的分类通常是分配更高的权重。

假设两个固定独立观察员率相同的一组使用相同的主题命令预先定义的类别。人口的科目,让表示类别的分类比例由第一个观察者和类别第二个观察者。此外,让表示观测频率的列联表。的概率可以估计的。假设multinominal抽样模型与对象的总数固定的最大似然估计是由(39,40]。

因为标签的行和列是相同的,表列联表通常称为协议。表1表的一个例子是一个协议。的数据表1来自Holmquist et al。41]。七个病理学家,贴上一个G, 118年分类每个幻灯片的子宫宫颈原位癌,基于最相关的病变,使用命令类别,(1)消极的,(2)非典型鳞状上皮增生,(3)原位癌,(4)鳞状细胞癌早期基质入侵,和(5)浸润性癌。数据也可以发现在兰迪斯和科赫(42]。表1的交叉分类评级的病理学家和D。

让为非负实数。这些数字作为权重,一个用于每个细胞的表吗。如果我们制定Gwet的方法的不同比例,然后Gwet [33]给出的系数 系数是如果我们要求至少一个良好定义的是零。与固定的最大似然估计(1)是由多项抽样模型 在本文中,我们感兴趣的一个特定的权重方案。让是一个非负实数,并考虑权重函数 利用权函数(3)(1我们获得加权系数 各种著名的加权方案权重方案的特殊情况(3)。为我们单位重量 为类别加权方案(5)是由 如果我们使用在(4我们获得 系数(7)是贝内特et al。(23],一项协议系数提出了与名义类别等级量表(12,28,29日]。系数因此系数的一种特殊情况(4)。的价值1如果有完美的观察员和0之间的协议什么时候。对于表1我们的估计。

如果我们使用在(3我们获得线性权重(34- - - - - -36]。为类别的线性加权方案 线性系数用。对于表1我们的估计。

如果我们使用在(3我们获得二次权重(22,37,38]。为类别的二次加权方案 二次系数用。对于表1我们的估计。

最后,如果我们使用在(3我们获得彻底的权重(33,63页,64)。为类别是由激进的加权方案 激进的系数用。对于表1我们的估计。因此,对于表1我们已经订购。

最后,对于类别系数就变成了 因为所有的特殊情况一致的类别,没有的例子摘要表。

3所示。有条件的不平等

如果我们应用系数,,,我们一直找到相同的评级数据三的不平等。例如,考虑数据条目在表2。表2提出了从文学20协议的各种统计数据表。表的第一列2指定协议的源表和第二列显示表是否有大小,,或。表的列3到62包含的值的估计,,,。除第一次调用外的所有条目有三重不平等。

第二个例子我们考虑癌的诊断数据从Holmquist et al。41]。七个病理学家标签118 G分类每个幻灯片的子宫宫颈原位癌,基于最相关的病变,使用五命令类别。表1的交叉分类评级的病理学家和d表吗3提出了各种统计数据的21个成对协议表七病理学家。表2到5列3包含的值的估计,,,。所有21表我们有三重不平等。表的数量在过去的四列2和3定义和讨论。

表2和3说明的顺序是数据经常发现与现实生活。这表明,通常是在增加。三重不平等不一般,但是它拥有如果某个条件是有效的。这个充分条件如下定义。回想一下,与比例协议表。定义的数量 固定,数量在(12)是所有元素的总和这是步骤移除主对角线,除以。因为有精确的元素从主对角线步骤移除,元素的平均分歧吗步骤移除主对角线。自的元素这是步骤移除主对角线对应双的类别步骤,平均分歧的观察家相邻类别,是两个步骤的所有类别的平均分歧,等等。

假设命令类别是很自然的 条件(13)指出,平均分歧的观察者类近在类别排序高于远的排序。因为条件(13)取决于未被注意的概率它不能被直接验证。如果我们更换的概率由我们获得了估计 检查是否不平等(13现实生活)是合理的数据我们可以检查,如果不平等 成立。事实证明,条件(15)适用于许多现实生活中协议表命令类别。这是可以预料到的,如果评定量表已经深思熟虑,因为在这种情况下一个预计,观察者类别之间的分歧更接近在类别排序高于远的排序。例如,考虑表中的数据1。我们有 或。因此,条件(15)适用于表1。此外,最后四列的表2和3包含了估计,,,表的各种协议。表的所有条目2条件(15)持有。此外,除第一次调用外的所有条目,不平等是严格的。表的第一个元素2(8我们有 如果都是平等的,所有特殊情况的一致的。应该注意的是,科恩的数据(8是人为的。条件(15)也适用于大部分条目表3。三个异常相对应的条目对(A、C)、(B, C)和(C, E)。

定理2下面显示是在增加如果条件(13)持有。因此,如果(13)有一个简单的关系系数的特殊情况(4)。特别是,如果13)我们有三重不平等 引理1在定理的证明吗2。

引理1。让为非负实数,让和为是正实数。如果 然后 此外,不平等(21如果两个)是严格的是截然不同的。

证明。我们从第一部分开始的断言。从(20.),为。自为它遵循从(19), 加法(22)在所有和与我们获得 添加(两边23我们获得 自和是积极的,不平等(24)相当于(21)。最后,请注意,如果两个是不同的,那么(22),因此(24)是严格的。

定理2。让是实数。如果条件(13),然后平等,当且仅当在(13)是相等的。

证明。使用(4)我们有当且仅当 自为我们有身份 使用(26)和(27),不平等(25)可以写成 让和为。因为,数量严格递减。自(19)和(20.),不平等(的有效性28),因此有效性的不平等根据引理的应用1。

4所示。三对角协议表

在实践中经常发生,一项协议与有序类别表(大约)三对角。一个三对角表是一个方阵,非零元素只有在主对角线上,第一个对角下面,第一个主对角线斜上方。如果协议表三对角只有观察者相邻类别之间的分歧。在本节中,我们讨论的结果,如果协议表三对角。在这种情况下这是条件(13)持有。这可能是因为如果条件(结果还将13)是有效的。请注意,定理2总是三对角协议表有效。

三对角表在桌子上2有如果,如果,如果。在表6的20个条目2该协议表三对角。在表3三对角表有。对协议表(B, E)和(D、G)是三对角。许多其他协议表条目的对应表2和3大约三对角:只有少数分歧不是对角线上直接低于和高于主对角线。

4.1。上界团结

定理2和表2和3表明,通常是在增加。这意味着贝内特et al通常是一个下界的其他特殊情况的。此外,它表明去团结增加,不管手头的数据。定理3正式这个观察三对角协议表。

定理3。如果是固定的,三对角,那么作为。

证明。如果三对角,(4)成为 自的元素和团结,我们有不平等 的右边(30.)并不依赖于数据。因为分母是在增加我们可以固定,使右边的30.)任意小。因此,作为。

4.2。一个不等式的差异

由于参数在(4)是一个非负实数有不可数无穷多的特殊情况。定理2和3一起表2和3表明,所有这些特殊情况通常隔和1。表2和3还表明,积极的差异和是相当可观的。这表明,大多数元素的序列将谎言接近1,连续差异呢变得越来越小。

在本节中,我们提出一个特定结果的积极的差异和。定理5下面显示从来没有超过。我们首先得到明确的公式为在引理4。

引理4。它认为,

证明。我们只有现在的身份证明(32)和(33)。我们将使用以下的身份和权力的整数(见,例如,43): 使用身份(27),(34)和(35)我们有 此外,使用身份(27),(35)和(36)我们有

定理5。如果三对角,那么平等,当且仅当。

证明。的公式的情况下中给出了三对角(29日)。的不平等或相当于 使用身份(31日),(32)和(33),不平等(39)成为 或者,同样,。

如果协议表三对角,定理5显示,当且仅当或。回想一下,为类别的所有特殊情况系数一致的。因此,对于,我们有。此外,一个插图类别是表的第二项2。我们已经为这个条目,,,。

4.3。依赖数量的类别

班纳特批评反对使用et al是系数往往会产生更高的值协议表更多的类别(26]。更准确地说,如果原始协议是常数(7)我们有作为。因此,如果评定量表有很多类别,我们有,不是一个chance-corrected系数。

而原始的协议作为一个上界,似乎许多其它特殊情况的价值倾向于去统一作为评定量表的类别的数量增加。例如,假设三对角,。使用(29日)和(35的公式是由 我们有作为。自通常是一个下界的所有特殊情况与(定理2),它是所有的系数去统一类别数量的增加。依赖类别的数量被认为是不良的。

5。讨论

班尼特et al。(23]是一个协议与名义分类评级尺度系数,发现并重新发现了许多作者(12,28,29日]。最近,加权的版本提出了Gwet [33)与顺序类别等级量表。在本文中,我们提出了各种属性的一个特例加权版本,用,在那里是一个非负实数。班尼特et al。(23]对应于,而和的版本是分别通过使用线性和二次加权方案。

首先研究了不同版本的是相关的。定理2显示,是在增加如果平均分歧的观察家相邻类别大于平均分歧类别,相距2步,如果后者大于平均分歧类别相距3步骤等等。因此,在这种情况下,有一个简单的特殊情况的值之间的关系。事实证明定理2很强大的结果。首先,由于涉及的所有特殊情况,有不可数无穷多的版本。其次,充分条件适用于许多数据表报告摘要(见表2和3)。自通常是在增加,其特殊的情况基本上是测量同一件事。

为应用程序科恩kappa和加权卡帕,不同的作者提出了目标价值评估kappa系数的值(44- - - - - -47]。有共识的文学,不加批判的应用程序级指导方针导致实际问题的决策。堆场(48)认为,自从二次kappa产生值大大高于由科恩kappa值,不能用于这两个系数相同的指导方针。类似的论点在这里也同样适用。表2和3表明系数,,产生完全不同的价值观。因此,尽管系数测量同一件事,他们在不同程度上这样做。如果人们接受级指南的使用,不同的标准需要开发不同的特殊情况。

最后,许多结果说明,许多特殊情况倾向于产生值接近团结,不管手头的数据。时尤其如此高()和评定量表的类别数量大(5或更多)。这些结果只是证明协议表三对角,但高估计表2和3结果表明,在更一般的条件下举行。的依赖类别的数量意味着需要制定不同的标准根据类别的数量。发展不同的标准不同的系数和不同数量的分类似乎是一个不可能完成的任务。因此,系数系数是无用的一般协议。我们建议限制的应用加权版本的贝内特et al。例如,一个或两个系数与名义上的类别和等级量表与顺序类别等级量表。

利益冲突

作者宣称没有利益冲突有关的出版。

承认

本研究完成,作者是由荷兰科学研究组织,像项目451-11-026。

引用

1. m·a·坦纳和m . a .年轻,“建模顺序尺度分歧,”心理上的公告,卷98,不。2、408 - 415年,1985页。视图:出版商的网站|谷歌学术搜索
2. A . Agresti”之间的协议模型评级等级分类,“生物识别技术,44卷,不。2、539 - 548年,1988页。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学
3. a . Agresti顺序分类数据的分析美国新泽西州霍博肯市威利,第二版,2010年版。视图:MathSciNet
4. m·p·贝克尔,”使用关联模型分析协议数据:两个例子,”医学统计,8卷,不。10日,1199 - 1207年,1989页。视图:出版商的网站|谷歌学术搜索
5. p·格雷厄姆·r·杰克逊,“序数协议的分析数据:加权kappa之外,“临床流行病学杂志,46卷,不。9日,第1062 - 1055页,1993年。视图:出版商的网站|谷歌学术搜索
6. j·科恩,“加权kappa:定类尺度缩放分歧或部分信贷协议规定,“心理上的公告,卷70,不。4、213 - 220年,1968页。视图:出版商的网站|谷歌学术搜索
7. m . Maclure和w·c·威利•“Kappa统计的误解和误用,”美国流行病学杂志》上,卷126,不。2、161 - 169年,1987页。视图:出版商的网站|谷歌学术搜索
8. j·科恩,“名义尺度系数的协议,”教育和心理测量,20卷,37-46,1960页。视图:谷歌学术搜索
9. m . j .大杂院,”科恩kappa总是可以增加和减少的类别,结合”统计方法,7卷,不。6,673 - 677年,2010页。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学|MathSciNet
10. l . m .许和r .字段“评分者间信协议措施:评论${\text{卡巴}}_n$科恩kappa,斯科特π和Aickinα”,理解统计数据,2卷,第219 - 205页,2003年。视图:谷歌学术搜索
11. j . Sim和c·c·莱特”kappa统计可靠性研究中:使用,解释,和样本容量需求,”物理治疗,卷85,不。3、257 - 268年,2005页。视图:谷歌学术搜索
12. r·l·布伦南和d . j . Prediger kappa系数:一些使用,误用和替代品,”教育和心理测量41卷,第699 - 687页,1981年。视图:谷歌学术搜索
13. j . s . Uebersax”决策模型的多样性和评分者间信协议的措施表示“状态”,“心理上的公告,卷101,不。1,第146 - 140页,1987。视图:出版商的网站|谷歌学术搜索
14. a·r·范斯坦和d . v . Cicchetti高协议但低kappa:两个矛盾的问题,“临床流行病学杂志,43卷,不。6,543 - 549年,1990页。视图:出版商的网站|谷歌学术搜索
15. c . a . Lantz和大肠Nebenzahl”的行为和解释κ统计:解决两个悖论。”临床流行病学杂志卷,49号4、431 - 434年,1996页。视图:出版商的网站|谷歌学术搜索
16. j . de桅杆和w . n . van Wieringen”为分类测量:测量系统分析协议和kappa-type指数”《质量技术39卷,第202 - 191页,2007年。视图:谷歌学术搜索
17. j . de桅杆”协议和kappa-type指数”,美国统计学家,卷61,不。2、148 - 153年,2007页。视图:出版商的网站|谷歌学术搜索|MathSciNet
18. w·d·汤普森和s·d·沃尔特kappa系数的重新评价。”临床流行病学杂志第41卷。。10日,949 - 958年,1988页。视图:出版商的网站|谷歌学术搜索
19. w . Vach”,依赖科恩kappa的流行并不重要,“临床流行病学杂志,卷。58岁的没有。7,655 - 661年,2005页。视图:出版商的网站|谷歌学术搜索
20. a·冯·眼睛和m·冯·眼,“科恩的边际上的依赖κ”,欧洲的心理学家,13卷,不。4、305 - 315年,2008页。视图:出版商的网站|谷歌学术搜索
21. h·布伦纳和美国Kliebsch”,依赖加权kappa系数的数量分类,“流行病学,7卷,不。2、199 - 202年,1996页。视图:出版商的网站|谷歌学术搜索
22. m . j .大杂院”加权平方kappa一些反常的结果,“心理测量学,卷77,不。2、315 - 323年,2012页。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学|MathSciNet
23. e·m·班尼特、r·阿尔珀特和a·c·戈尔茨坦”通信通过有限反应质疑,“公众舆论的季度,18卷,不。3、303 - 308年,1954页。视图:出版商的网站|谷歌学术搜索
24. 联合国Umesh、r·a·彼得森和m·t·索伯”Interjudge协议,卡帕的最大价值。”教育和心理测量49卷,第850 - 835页,1989年。视图:谷歌学术搜索
25. g·j·迈耶”,评估可靠性:关键修正一个关键罗夏全面系统的检查,“心理评估,9卷,不。4、480 - 489年,1997页。视图:出版商的网站|谷歌学术搜索
26. m . j .大杂院”相结合的影响类别贝内特,阿尔珀特和戈尔茨坦的年代,“统计方法,9卷,不。3、341 - 352年,2012页。视图:出版商的网站|谷歌学术搜索|MathSciNet
27. j·j·伦道夫,”Free-marginal多重速率的卡帕(多重速率的κ免费):替代弗莱斯fixed-marginal多重速率的卡巴,”《Joensuu学习和教学研讨会,Joensuu,芬兰,2005年。视图:谷歌学术搜索
28. 美国强生和j . Vegelius”概括的G指数和φ系数名义尺度,“多元行为研究,14卷,不。2、255 - 269年,1979页。视图:出版商的网站|谷歌学术搜索
29. c·l·琼斯”的扩展协议的随机误差系数$n\times n$表”,英国精神病学杂志》上,卷134,不。6,617 - 619年,1979页。视图:出版商的网站|谷歌学术搜索
30. 华立和j·p·j·w·吉尔福德,”G指数报告的协议,”教育和心理测量,24卷,不。4、749 - 753年,1964页。视图:出版商的网站|谷歌学术搜索
31. a·e·麦克斯韦“系数之间的协议观察员和他们的解释,“英国精神病学杂志》卷,116年,第655 - 651页,1977年。视图:谷歌学术搜索
32. k . Krippendorff“协会、协议和股权,”质量和数量,21卷,不。2、109 - 123年,1987页。视图:出版商的网站|谷歌学术搜索
33. k . l . Gwet手册的两分的可靠性美国马里兰州盖瑟斯堡,先进的分析,,,2012。
34. d . Cicchetti t·埃里森,“一个新的程序评估得分睡眠脑电图记录的可靠性,”美国的脑电图技术杂志》上11卷,第110 - 101页,1971年。视图:谷歌学术搜索
35. Vanbelle和A·阿尔伯特”,注意在线性加权顺序尺度,kappa系数”统计方法》第六卷,没有。2、157 - 163年,2009页。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学|MathSciNet
36. m . j .大杂院,”科恩的线性加权k是一个加权平均,”先进的数据分析和分类》第六卷,没有。1,第79 - 67页,2012。视图:出版商的网站|谷歌学术搜索|MathSciNet
37. j·l·弗莱斯和j·科恩加权卡帕的等价,组内相关系数作为可靠性的措施,”教育和心理测量33卷,第619 - 613页,1973年。视图:谷歌学术搜索
38. c·舒斯特尔”,注意在加权kappa及其关系的解释和其他统计指标量表评定等级的协议,”教育和心理测量,卷64,不。2、243 - 253年,2004页。视图:出版商的网站|谷歌学术搜索|MathSciNet
39. a . Agresti分类数据分析约翰•威利& Sons 1990。视图:MathSciNet
40. y . m . m .主教s e . Fienberg, p . w .荷兰,离散多变量分析:理论和实践美国剑桥,麻省理工学院出版社,质量,1975年。视图:MathSciNet
41. n . d . Holmquist c·a·麦克马汉和e·o·威廉姆斯,“变化发生在子宫颈原位癌的分类,“产科和妇科的调查,23卷,第585 - 580页,1967年。视图:谷歌学术搜索
42. j·r·兰迪斯和g . g .科赫”应用程序分层kappa-type统计评估的大多数协议在多个观察者,“生物识别技术33卷,第374 - 363页,1977年。视图:谷歌学术搜索|MathSciNet
43. a . f . Beardon“整数,大国的总和”美国数学月刊,卷103,不。3、201 - 213年,1996页。视图:出版商的网站|谷歌学术搜索|MathSciNet
44. j·r·兰迪斯和g . g .科赫”观察者协议分类数据的测量,”生物识别技术33卷,第174 - 159页,1977年。视图:谷歌学术搜索
45. d . v . Cicchetti和s . s .麻雀”发展中建立特定项目的评分者间信度:标准应用程序适应性行为的评估,“美国《精神不足,卷86,不。2、127 - 137年,1981页。视图:谷歌学术搜索
46. p . e . Crewson“读者协议研究”,美国放射学杂志》,卷184,不。5,1391 - 1397年,2005页。视图:出版商的网站|谷歌学术搜索
47. j·l·弗莱斯、b·莱文和m . c .沉重的一击统计方法对利率和比例Wiley-Interscience,纽约,纽约,美国第3版,2003年版。
48. m . j .大杂院,”科恩kappa和加权kappas之间条件的不平等,”统计方法,10卷,14-22,2013页。视图:出版商的网站|谷歌学术搜索|MathSciNet
49. c . s .马丁:k·波洛克o . g . Bukstein和k·g·林奇,“两分的SCID酒精的可靠性和物质使用障碍部分青少年,“药物和酒精依赖卷,59号2、173 - 176年,2000页。视图:出版商的网站|谷歌学术搜索
50. j . s . Simonoff分类数据分析施普林格,纽约,纽约,美国,2003年。
51. 美国安德森,a . m . Housley p·a·琼斯,j . Slattery和j·d·米勒”格拉斯哥结果评分:一个两分的可靠性研究”,脑损伤,7卷,不。4、309 - 317年,1993页。视图:出版商的网站|谷歌学术搜索
52. d·j·f·戴利,公元卢恩,k . j . McConway和e·奥斯托夫斯基较小的数据集的手册查普曼&大厅,伦敦,英国,1994年。
53. m . Nemethy l . Paroli p·g . Williams-Russo t·j·j·布兰克,“估计与区域麻醉镇静:两分协议修改威尔逊镇静,“麻醉与镇痛,卷94,不。3、723 - 728年,2002页。视图:出版商的网站|谷歌学术搜索
54. c . r . j . m . Seddon Sahagian, r . j .格林et al .,“虹膜颜色分类系统的评价,”调查眼科及视觉科学没有,卷。31日。8,1592 - 1598年,1990页。视图:谷歌学术搜索
55. r . w . Bohannon和m·b·史密斯”,评分者间信度修改Ashworth规模的肌肉痉挛状态,”物理治疗,卷67,不。2、206 - 207年,1987页。视图:谷歌学术搜索
56. 诉a·j·玛丽亚和r . m . m . Victorino”临床量表的开发和验证的诊断,药物性肝炎”肝脏病学,26卷,不。3、664 - 669年,1997页。视图:出版商的网站|谷歌学术搜索

版权

版权©2014 Matthijs j .大杂院。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。