JMATH 数学杂志 2314 - 4785 2314 - 4629 Hindawi出版公司 10.1155 / 2014/231909 231909年 研究文章 功率加权版本的班尼特、阿尔珀特和戈尔茨坦<我nline-formula> 年代 瓦洛 Matthijs J。 太阳 Yonghui 心理学研究所、单元方法和统计,莱顿大学,邮政信箱9555,2300 RB莱顿 荷兰 leiden.edu 2014年 2 12 2014年 2014年 30. 05年 2014年 07年 09年 2014年 3 12 2014年 2014年 版权©2014 Matthijs j .大杂院。 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

加权的班尼特、阿尔珀特和戈尔茨坦<我talic> 年代,用<我nline-formula> 年代 r ,进行了研究。这是显示的特殊情况<我nline-formula> 年代 r 通常要求以同样的方式。它也表明,许多特殊情况<我nline-formula> 年代 r 倾向于产生值接近团结,特别是当类别的评定量表的数量大。这是认为的应用<我nline-formula> 年代 r 作为协议系数并非没有困难。

 1。介绍

在行为和生物医学科学,它经常需要测量的强度行为或疾病。例子是觉醒的程度speech-anxious参与者而演讲,从扫描病变的严重程度,或者镇静的严重程度在阿片类药物管理疼痛管理。这些现象的强度通常是由一个观察者使用评定量表和分类有序类别,例如,轻微、中等和严重。为了避免观察者并没有完全了解他或她被要求解释,必须明确定义的类别。测量量表的可靠性研究人员通常问两个独立观察员率相同的主题。分析观察人士之间的协议可以用于评估的可靠性。高评级之间的协议的观察者通常表示一致的分类诊断和互换性的观察员。

评估一个协议顺序量表各种统计方法已经开发出来。例如,loglinear模型提出在坦纳和年轻 1]和Agresti [ 2, 3)可用于分析协议的模式和潜在的分歧的来源。应用这些模型可以在贝克尔( 4)和格雷厄姆和杰克逊( 5]。然而,事实证明,研究人员通常只感兴趣系数,(大约)总结了协议在一个单一的数字。最常用的一个顺序尺度加权系数总结协议在科恩kappa提出( 6)(( 5, 7])。科恩( 8]提出kappa系数作为协议当量表名义指数(无序)类别 9]。由于机会协议的修正系数。加权科恩kappa延伸的原始kappa与有序类别等级量表。在后一种情况下通常有更多的观察人士之间的分歧远邻类别比类别。与加权kappa可以使用重量描述类之间的亲密关系。卡帕和加权kappa在评估协议和标准工具用于成千上万的应用程序( 10, 11]。最常用的版本的加权kappa二次kappa [ 5, 7]。

不同作者已经确定困难的解释kappa名义类别( 7, 12- - - - - - 17]。科恩kappa是一个函数的边际总数,分类的基准利率,这表明经常使用的类别是观察者( 18- - - - - - 20.]。科恩kappa往往产生倾斜的边际分布的值要低得多。此外,kappas从样品用不同的基准利率不可比性 13, 16]。de桅杆和van Wieringen [ 16和德桅杆 17]研究kappa系数和kappa-type上下文中的潜在的类模型。这些作者认为kappa解释的问题行为,它是一个系数预测协会,而不是一个纯粹的系数协议。其他作者已经确定困难的解释二次kappa命令类别。二次kappa结社行为来衡量,而不是协议的系数( 5]。二次kappa的价值也会增加类别数量的增加( 21]。此外,二次kappa不能区分表有不同层次的具体协议 22]。

一般建议选择名义类别为科恩kappa系数<我nline-formula> 年代 班纳特,最初提出了et al。 23)(( 24- - - - - - 26])。因为系数<我nline-formula> 年代 是一个线性变换的原始协议而不是边际总数的函数,它没有表现出的解释困难kappa系数( 10, 27]。此外,潜在的类模型下讨论了de桅杆和van Wieringen [ 16和德桅杆 17),系数<我nline-formula> 年代 系数是唯一的协议,可以给出一些理由。系数<我nline-formula> 年代 相当于系数<我nline-formula> C 詹森和Vegelius [ 28),琼斯系数再保险( 29日),而<我nline-formula> 卡巴 n 布伦南和Prediger [ 12]。对于两类系数<我nline-formula> 年代 相当于系数中讨论,其中,华立和吉尔福德 30.],麦克斯韦[ 31日],Krippendorff [ 32]。

最近,Gwet [ 33)提出了一种加权系数<我nline-formula> 年代 与顺序类别等级量表。本文将用这个系数<我nline-formula> 年代 w 。泛化在[提出 33)类似于卡帕的概括( 8)加权卡帕( 6]。加权方案,可以使用<我nline-formula> 年代 w 加权的加权方案kappa完全相同。最常用的加权方案加权kappa线性权重( 34- - - - - - 36)和二次重量( 22, 37, 38]。在本文中,我们研究如何<我nline-formula> 年代 w 行为作为协议系数与顺序类别等级量表。更准确地说,我们研究的一个特例<我nline-formula> 年代 w 将会用吗<我nline-formula> 年代 r 。特殊情况的<我nline-formula> 年代 r 是系数<我nline-formula> 年代 和得到的系数如果我们使用线性和二次加权方案。我们目前的几个属性<我nline-formula> 年代 r 这表明的应用<我nline-formula> 年代 w 作为协议系数并非没有问题。

本文组织如下。节 2我们引入符号和定义系数<我nline-formula> 年代 w 和<我nline-formula> 年代 r 。节 3结果表明,有一个简单的命令的特殊情况<我nline-formula> 年代 r 如果某种温和的条件。因为这个需求是现实生活中,经常遇到的特殊情况<我nline-formula> 年代 r 通常要求以同样的方式。节 4我们现在的属性<我nline-formula> 年代 r 三对角协议表。结果表明:许多的特殊情况<我nline-formula> 年代 r 倾向于产生值接近团结,特别是当类别的评定量表的数量大。部分 5包含一个讨论。

 2。加权系数

在本节中,我们介绍了符号和定义系数<我nline-formula> 年代 w 和<我nline-formula> 年代 r 。Gwet [ 3356页)定义<我nline-formula> 年代 w 相似的比例。然而,对于符号方便,我们将定义<我nline-formula> 年代 w 不同的比例。如果不同权重,对远的分类通常是分配更高的权重。

假设两个固定独立观察员率相同的一组<我nline-formula> n 使用相同的主题<我nline-formula> c ≥ 2 命令预先定义的类别。人口的科目,让<我nline-formula> π 我 j 表示类别的分类比例<我nline-formula> 我 由第一个观察者和类别<我nline-formula> j 第二个观察者<我nline-formula> 1 ≤ 我 , j ≤ c 。此外,让<我nline-formula> n 我 j 表示观测频率的列联表。的概率<我nline-formula> π 我 j 可以估计的<我nline-formula> n 我 j 。假设multinominal抽样模型与对象的总数<我nline-formula> n 固定的最大似然估计<我nline-formula> π 我 j 是由<我nline-formula> π ^ 我 j = n 我 j / n ( 39, 40]。

因为标签的行和列<我nline-formula> n 我 j 是相同的,表列联表通常称为协议。表 1表的一个例子是一个协议。的数据表 1来自Holmquist et al。 41]。七个病理学家,贴上一个G, 118年分类每个幻灯片的子宫宫颈原位癌,基于最相关的病变,使用命令类别,(1)消极的,(2)非典型鳞状上皮增生,(3)原位癌,(4)鳞状细胞癌早期基质入侵,和(5)浸润性癌。数据也可以发现在兰迪斯和科赫( 42]。表 1的交叉分类评级的病理学家和D。

频率的成对分类癌的病理学家和D ( 41]。

病理学家一个 病理学家维 行
1 2 3 4 5 总
(1)负 25 1 0 0 0 26
(2)非典型鳞状细胞增生 11 15 0 0 0 26
(3)原位癌 1 22 13 2 0 38
(4)鳞状细胞癌 1 8 9 4 0 22
(5)浸润性癌 0 2 1 2 1 6
列的总数 38 48 23 8 1 118年

让<我nline-formula> w 我 j 为<我nline-formula> 我 , j ∈ 1、2 , … , c 非负实数<我nline-formula> w 我 我 = 0 。这些数字<我nline-formula> w 我 j 作为权重,一个用于每个细胞的表吗<我nline-formula> π 我 j 。如果我们制定Gwet的方法的不同比例,然后Gwet [ 33]给出的系数 (1) 年代 w ≔ 1 - - - - - - ∑ 我 = 1 c ∑ j = 1 c π 我 j w 我 j 1 / c 2 ∑ 我 = 1 c ∑ j = 1 c w 我 j 。 系数<我nline-formula> 年代 w 是如果我们要求至少一个良好定义的<我nline-formula> w 我 j 是零。与<我nline-formula> n 固定的最大似然估计( 1)是由多项抽样模型 (2) 年代 ^ w ≔ 1 - - - - - - c 2 n ∑ 我 = 1 c ∑ j = 1 c n 我 j w 我 j ∑ 我 = 1 c ∑ j = 1 c w 我 j 。 在本文中,我们感兴趣的一个特定的权重方案。让<我nline-formula> r ≥ 0 是一个非负实数,并考虑权重函数 (3) w 我 j r ≔ 0 为 我 = j ; 我 - - - - - - j r 为 我 ≠ j 。 利用权函数( 3)( 1我们获得加权系数 (4) 年代 r = 1 - - - - - - c 2 ∑ 我 = 1 c ∑ j = 1 c π 我 j 我 - - - - - - j r ∑ 我 = 1 c ∑ j = 1 c 我 - - - - - - j r 。 各种著名的加权方案权重方案的特殊情况( 3)。为<我nline-formula> r = 0 我们单位重量 (5) w 我 j 0 = 1 我 ≠ j = 0 为 我 = j ; 1 为 我 ≠ j 。 为<我nline-formula> c = 4 类别加权方案( 5)是由 (6) 0 1 1 1 1 0 1 1 1 1 0 1 1 1 1 0 。 如果我们使用<我nline-formula> r = 0 在( 4我们获得 (7) 年代 0 = 1 - - - - - - 1 - - - - - - ∑ 我 = 1 c π 我 我 1 / c 2 c 2 - - - - - - c = ∑ 我 = 1 c π 我 我 - - - - - - 1 / c 1 - - - - - - 1 / c 。 系数( 7)是贝内特et al。( 23]<我nline-formula> 年代 ,一项协议系数提出了与名义类别等级量表( 12, 28, 29日]。系数<我nline-formula> 年代 0 因此系数的一种特殊情况( 4)。的价值<我nline-formula> 年代 0 1如果有完美的观察员和0之间的协议什么时候<我nline-formula> ∑ 我 π 我 我 = 1 / c 。对于表 1我们的估计<我nline-formula> 年代 ^ 0 = 0.364 。

如果我们使用<我nline-formula> r = 1 在( 3我们获得线性权重<我nline-formula> w 我 j ( 1 ) = | 我 - - - - - - j | ( 34- - - - - - 36]。为<我nline-formula> c = 4 类别的线性加权方案 (8) 0 1 2 3 1 0 1 2 2 1 0 1 3 2 1 0 。 线性系数用<我nline-formula> 年代 1 。对于表 1我们的估计<我nline-formula> 年代 ^ 1 = 0.597 。

如果我们使用<我nline-formula> r = 2 在( 3我们获得二次权重<我nline-formula> w 我 j ( 2 ) = ( 我 - - - - - - j ) 2 ( 22, 37, 38]。为<我nline-formula> c = 4 类别的二次加权方案 (9) 0 1 4 9 1 0 1 4 4 1 0 1 9 4 1 0 。 二次系数用<我nline-formula> 年代 2 。对于表 1我们的估计<我nline-formula> 年代 ^ 2 = 0.758 。

最后,如果我们使用<我nline-formula> r = 0.5 在( 3我们获得彻底的权重<我nline-formula> w 我 j ( 0.5 ) = | 我 - - - - - - j | ( 33,63页,64)。为<我nline-formula> c = 4 类别是由激进的加权方案 (10) 0 1 2 3 1 0 1 2 2 1 0 1 3 2 1 0 。 激进的系数用<我nline-formula> 年代 0.5 。对于表 1我们的估计<我nline-formula> 年代 ^ 0.5 = 0.487 。因此,对于表 1我们已经订购<我nline-formula> 年代 ^ 0 < 年代 ^ 0.5 < 年代 ^ 1 < 年代 ^ 2 。

最后,对于<我nline-formula> c = 2 类别系数<我nline-formula> 年代 r 就变成了 (11) 年代 0 = π 11 + π 22 - - - - - - 1 / 2 1 - - - - - - 1 / 2 = 2 π 11 + π 22 - - - - - - 1 。 因为所有的特殊情况<我nline-formula> 年代 r 一致的<我nline-formula> c = 2 类别,没有的例子<我nline-formula> 2 × 2 摘要表。

 3所示。有条件的不平等

如果我们应用系数<我nline-formula> 年代 0 ,<我nline-formula> 年代 0.5 ,<我nline-formula> 年代 1 ,<我nline-formula> 年代 2 我们一直找到相同的评级数据三的不平等<我nline-formula> 年代 ^ 0 < 年代 ^ 0.5 < 年代 ^ 1 < 年代 ^ 2 。例如,考虑数据条目在表 2。表 2提出了从文学20协议的各种统计数据表。表的第一列 2指定协议的源表和第二列显示表是否有大小<我nline-formula> 3 × 3 ,<我nline-formula> 4 × 4 ,或<我nline-formula> 5 × 5 。表的列3到6 2包含的值的估计<我nline-formula> 年代 ^ 0 ,<我nline-formula> 年代 ^ 0.5 ,<我nline-formula> 年代 ^ 1 ,<我nline-formula> 年代 ^ 2 。除第一次调用外的所有条目有三重不平等<我nline-formula> 年代 ^ 0 < 年代 ^ 0.5 < 年代 ^ 1 < 年代 ^ 2 。

从文学20协议表的各种统计数据。

源 数量的类别 系数 统计条件( 15)
年代 ^ 0 年代 ^ 0.5 年代 ^ 1 年代 ^ 2 一个 ^ 1 一个 ^ 2 一个 ^ 3 一个 ^ 4
科恩( 8] 3 .550 .550 .550 .550 .050 .050
马丁et al。 49] 3 .958 .963 .968 .979 .007 0
Simonoff [ 50,p . 307] 3 .800 .817 .835 .871 .030 .006
安德森et al。 51] 3 成为 .455 .494 .569 .081 .031
安德森et al。 51] 3 .719 .746 .775 .831 .044 .006
安德森et al。 51] 3 .250 .307 .367 .484 .109 .031
Agresti [ 39,p . 368] 4 .514 .603 .688 .824 .056 .006 0
Agresti [ 39,p . 378] 4 .304 .411 .513 .675 .075 .014 .007
Simonoff [ 50,p . 288] 4 .683 .748 .810 .905 .040 0 0
Simonoff [ 50,p . 303] 4 .647 .704 .758 .840 .040 04 .006
Simonoff [ 50,p . 303] 4 .124 建仔 .379 .591 .090 .028 .002
手et al。 52] 4 .239 .326 .409 .549 .072 .029 .013
手et al。 52] 4 之中 .525 .597 .711 .056 .014 .009
手et al。 52] 4 .652 .724 .791 .896 .043 0 0
N<我nline-formula> e ´ 甲基et al。 53] 4 .787 .831 .872 .936 .027 0 0
Simonoff [ 50,p . 272] 5 .919 .939 .956 .979 .007 措施 组织 0
Seddon et al。 54] 5 .803 .854 .898 .956 .019 措施 0 0
Bohannon和史密斯 55] 5 .833 .878 原来得到 .967 .017 0 0 0
N<我nline-formula> e ´ 甲基et al。 53] 5 .738 .805 .863 .940 .025 .002 0 0
玛丽亚和Victorino 56] 5 .800 .854 .900 .960 .020 0 0 0

第二个例子我们考虑癌的诊断数据从Holmquist et al。 41]。七个病理学家标签118 G分类每个幻灯片的子宫宫颈原位癌,基于最相关的病变,使用五命令类别。表 1的交叉分类评级的病理学家和d表吗 3提出了各种统计数据的21个成对协议表七病理学家。表2到5列 3包含的值的估计<我nline-formula> 年代 ^ 0 ,<我nline-formula> 年代 ^ 0.5 ,<我nline-formula> 年代 ^ 1 ,<我nline-formula> 年代 ^ 2 。所有21表我们有三重不平等<我nline-formula> 年代 ^ 0 < 年代 ^ 0.5 < 年代 ^ 1 < 年代 ^ 2 。表的数量在过去的四列 2和 3定义和讨论。

21的各种统计数据两两之间的协议表七病理学家( 41]。

病理学家 系数 统计条件( 15)
年代 ^ 0 年代 ^ 0.5 年代 ^ 1 年代 ^ 2 一个 ^ 1 一个 ^ 2 一个 ^ 3 一个 ^ 4
(A, B) .544 .648 .740 .871 .039 .008 0 0
(A, C) .417 .549 .661 .805 .053 .003 04 04
(A, D) .364 .487 .597 .758 .050 .014 .006 0
(A, E) .428 .567 .688 .854 .052 .007 0 0
(F) .216 本季 .449 .614 .055 .021 .013 04
(G) .513 .628 .730 .871 .043 .007 0 0
(B, C) .428 .556 .666 .816 .050 .008 0 04
(B, D) .322 .470 .603 .794 .056 .016 0 0
(B, E) .576 .691 .788 .915 .042 0 0 0
(B, F) .258 .368 .476 .655 .047 .032 .006 0
(B, G) .714 .782 .841 .924 .025 04 0 0
(C, D) .492 .604 .703 .843 .043 .008 .002 0
(C, E) 原始素材 .525 .645 .807 .054 .008 0 04
(C、F) .375 .506 .619 .771 .053 .008 04 04
(C、G) .566 .671 .762 .883 .040 .003 .002 0
(D, E) .258 .412 .550 .752 .059 .018 .002 0
(D, F) .428 .563 .682 .847 .051 .008 0 0
(D、G) .481 .621 .740 .896 .052 0 0 0
(E, F) .153 的长 .412 .595 .060 0。 .013 04
(E, G) .544 .658 .756 .890 .042 04 0 0
(F, G) .375 .486 .592 .761 .043 .025 0 0

表 2和 3说明的顺序<我nline-formula> 年代 ^ 0 < 年代 ^ 0.5 < 年代 ^ 1 < 年代 ^ 2 是数据经常发现与现实生活。这表明,<我nline-formula> 年代 r 通常是在增加<我nline-formula> r 。三重不平等不一般,但是它拥有如果某个条件是有效的。这个充分条件如下定义。回想一下,<我nline-formula> π 我 j 与比例协议表。定义的数量 (12) 一个 j = 1 2 c - - - - - - j ∑ 我 = 1 c - - - - - - j π 我 , 我 + j + π 我 + j , 我 , 为 1 ≤ j ≤ c - - - - - - 1 。 固定<我nline-formula> j ,数量<我nline-formula> 一个 j 在( 12)是所有元素的总和<我nline-formula> π 我 j 这是<我nline-formula> j 步骤移除主对角线,除以<我nline-formula> 2 ( c - - - - - - j ) 。因为有精确<我nline-formula> 2 ( c - - - - - - j ) 的元素<我nline-formula> j 从主对角线步骤移除,<我nline-formula> 一个 j 元素的平均分歧吗<我nline-formula> j 步骤移除主对角线。自的元素<我nline-formula> π 我 j 这是<我nline-formula> j 步骤移除主对角线对应双的类别<我nline-formula> j 步骤,<我nline-formula> 一个 1 平均分歧的观察家相邻类别,<我nline-formula> 一个 2 是两个步骤的所有类别的平均分歧,等等。

假设命令类别是很自然的 (13) 一个 j ≥ 一个 j + 1 , 为 1 ≤ j ≤ c - - - - - - 2 。 条件( 13)指出,平均分歧的观察者类近在类别排序高于远的排序。因为条件( 13)取决于未被注意的概率<我nline-formula> π 我 j 它不能被直接验证。如果我们更换的概率<我nline-formula> π 我 j 由<我nline-formula> n 我 j / n 我们获得了估计 (14) 一个 ^ j = 1 2 n c - - - - - - j ∑ 我 = 1 c - - - - - - j n 我 , 我 + j + n 我 + j , 我 , 0000000000000 为 1 ≤ j ≤ c - - - - - - 1 。 检查是否不平等( 13现实生活)是合理的数据我们可以检查,如果不平等 (15) 一个 ^ j ≥ 一个 ^ j + 1 , 为 1 ≤ j ≤ c - - - - - - 2 , 成立。事实证明,条件( 15)适用于许多现实生活中协议表命令类别。这是可以预料到的,如果评定量表已经深思熟虑,因为在这种情况下一个预计,观察者类别之间的分歧更接近在类别排序高于远的排序。例如,考虑表中的数据 1。我们有 (16) 一个 ^ 1 = 0.050 , 一个 ^ 2 = 0.014 , 一个 ^ 3 = 0.006 , 一个 ^ 4 = 0 , 或<我nline-formula> 一个 ^ 1 > 一个 ^ 2 > 一个 ^ 3 > 一个 ^ 4 。因此,条件( 15)适用于表 1。此外,最后四列的表 2和 3包含了估计<我nline-formula> 一个 ^ 1 ,<我nline-formula> 一个 ^ 2 ,<我nline-formula> 一个 ^ 3 ,<我nline-formula> 一个 ^ 4 表的各种协议。表的所有条目 2条件( 15)持有。此外,除第一次调用外的所有条目,不平等是严格的。表的第一个元素 2( 8我们有 (17) 一个 ^ 1 = 一个 ^ 2 = 0.05 。 如果<我nline-formula> 一个 ^ j 都是平等的,所有特殊情况的<我nline-formula> 年代 ^ r 一致的。应该注意的是,科恩的数据( 8是人为的。条件( 15)也适用于大部分条目表 3。三个异常相对应的条目对(A、C)、(B, C)和(C, E)。

定理 2下面显示<我nline-formula> 年代 r 是在增加<我nline-formula> r 如果条件( 13)持有。因此,如果( 13)有一个简单的关系系数的特殊情况( 4)。特别是,如果 13)我们有三重不平等 (18) 年代 0 ≤ 年代 0.5 ≤ 年代 1 ≤ 年代 2 。 引理 1在定理的证明吗 2。

引理1。

让<我nline-formula> 一个 我 为<我nline-formula> 1 ≤ 我 ≤ 米 非负实数,让<我nline-formula> b 我 和<我nline-formula> d 我 为<我nline-formula> 1 ≤ 我 ≤ 米 是正实数。如果 (19) 一个 我 ≥ 一个 j , f o r 我 < j , (20) b 我 d 我 > b j d j , f o r 我 < j , 然后 (21) ∑ 我 = 1 米 一个 我 b 我 ∑ 我 = 1 米 b 我 ≥ ∑ 我 = 1 米 一个 我 d 我 ∑ 我 = 1 米 d 我 。 此外,不平等( 21如果两个)是严格的<我nline-formula> 一个 我 是截然不同的。

 证明。

我们从第一部分开始的断言。从( 20.),<我nline-formula> b 我 d j > b j d 我 为<我nline-formula> 我 < j 。自<我nline-formula> b 我 d j - - - - - - b j d 我 > 0 为<我nline-formula> 我 < j 它遵循从( 19), (22) b 我 d j - - - - - - b j d 我 一个 我 ≥ b 我 d j - - - - - - b j d 我 一个 j , 为 我 < j 。 加法( 22)在所有<我nline-formula> 我 和<我nline-formula> j 与<我nline-formula> 1 ≤ 我 < j ≤ 米 我们获得 (23) ∑ 我 < j 一个 我 b 我 d j + ∑ 我 < j 一个 j b j d 我 ≥ ∑ 我 < j 一个 我 b j d 我 + ∑ 我 < j 一个 j b 我 d j 。 添加<我nline-formula> ∑ 我 = 1 米 一个 我 b 我 d 我 (两边 23我们获得 (24) ∑ 我 = 1 米 一个 我 b 我 ∑ j = 1 米 d j ≥ ∑ 我 = 1 米 一个 我 d 我 ∑ j = 1 米 b j 。 自<我nline-formula> ∑ j = 1 米 b j 和<我nline-formula> ∑ j = 1 米 d j 是积极的,不平等( 24)相当于( 21)。最后,请注意,如果两个<我nline-formula> 一个 我 是不同的,那么( 22),因此( 24)是严格的。

 定理2。

让<我nline-formula> p , 问 > 0 是实数<我nline-formula> p < 问 。如果条件( 13),然后<我nline-formula> 年代 p ≤ 年代 问 平等,当且仅当<我nline-formula> 一个 j 在( 13)是相等的。

 证明。

使用( 4)我们有<我nline-formula> 年代 p ≤ 年代 问 当且仅当 (25) ∑ 我 = 1 c ∑ j = 1 c π 我 j 我 - - - - - - j p ∑ 我 = 1 c ∑ j = 1 c 我 - - - - - - j p ≥ ∑ 我 = 1 c ∑ j = 1 c π 我 j 我 - - - - - - j 问 ∑ 我 = 1 c ∑ j = 1 c 我 - - - - - - j 问 。 自<我nline-formula> | 我 - - - - - - j | = 0 为<我nline-formula> 我 = j 我们有身份 (26) ∑ 我 = 1 c ∑ j = 1 c 我 - - - - - - j r π 我 j = ∑ j = 1 c - - - - - - 1 j r ∑ 我 = 1 c - - - - - - j π 我 , 我 + j + π 我 + j , 我 = 2 ∑ j = 1 c - - - - - - 1 j r c - - - - - - j 一个 j , (27) ∑ 我 = 1 c ∑ j = 1 c 我 - - - - - - j r = 2 ∑ j = 1 c - - - - - - 1 j r c - - - - - - j 。 使用( 26)和( 27),不平等( 25)可以写成 (28) ∑ j = 1 c - - - - - - 1 j p c - - - - - - j 一个 j ∑ j = 1 c - - - - - - 1 j p c - - - - - - j ≥ ∑ j = 1 c - - - - - - 1 j 问 c - - - - - - j 一个 j ∑ j = 1 c - - - - - - 1 j 问 c - - - - - - j 。 让<我nline-formula> b j = j p ( c - - - - - - j ) 和<我nline-formula> d j = j 问 ( c - - - - - - j ) 为<我nline-formula> 1 ≤ j ≤ c - - - - - - 1 。因为<我nline-formula> 0 ≤ p < 问 ,数量<我nline-formula> b j / d j = j p - - - - - - 问 严格递减<我nline-formula> j 。自( 19)和( 20.),不平等(的有效性 28),因此有效性的不平等<我nline-formula> 年代 p ≤ 年代 问 根据引理的应用 1。

 4所示。三对角协议表

在实践中经常发生,一项协议与有序类别表(大约)三对角。一个三对角表是一个方阵,非零元素只有在主对角线上,第一个对角下面,第一个主对角线斜上方。如果协议表三对角只有观察者相邻类别之间的分歧。在本节中,我们讨论的结果,如果协议表三对角。在这种情况下<我nline-formula> 一个 2 = 一个 3 = ⋯ = 0 这是条件( 13)持有。这可能是因为如果条件(结果还将 13)是有效的。请注意,定理 2总是三对角协议表有效。

三对角表在桌子上 2有<我nline-formula> 一个 ^ 2 = 0 如果<我nline-formula> c = 3 ,<我nline-formula> 一个 ^ 2 = 一个 ^ 3 = 0 如果<我nline-formula> c = 4 ,<我nline-formula> 一个 ^ 2 = 一个 ^ 3 = 一个 ^ 4 = 0 如果<我nline-formula> c = 5 。在表6的20个条目 2该协议表三对角。在表 3三对角表有<我nline-formula> 一个 ^ 2 = 一个 ^ 3 = 一个 ^ 4 = 0 。对协议表(B, E)和(D、G)是三对角。许多其他协议表条目的对应表 2和 3大约三对角:只有少数分歧不是对角线上直接低于和高于主对角线。

4.1。上界团结

定理 2和表 2和 3表明,<我nline-formula> 年代 r 通常是在增加<我nline-formula> r 。这意味着贝内特et al<我nline-formula> 年代 通常是一个下界的其他特殊情况的<我nline-formula> 年代 r 。此外,它表明<我nline-formula> 年代 r 去团结<我nline-formula> r 增加,不管手头的数据。定理 3正式这个观察三对角协议表。

定理3。

如果<我nline-formula> c 是固定的,<我nline-formula> π 我 j 三对角,那么<我nline-formula> 年代 r → 1 作为<我nline-formula> r → ∞ 。

 证明。

如果<我nline-formula> π 我 j 三对角,( 4)成为 (29) 年代 r = 1 - - - - - - c 2 ∑ 我 = 1 c - - - - - - 1 π 我 , 我 + 1 + π 我 + 1 , 我 ∑ 我 = 1 c ∑ j = 1 c 我 - - - - - - j r 。 自的元素<我nline-formula> π 我 j 和团结,我们有不平等 (30) c 2 ∑ 我 = 1 c - - - - - - 1 π 我 , 我 + 1 + π 我 + 1 , 我 ∑ 我 = 1 c ∑ j = 1 c 我 - - - - - - j r ≤ c 2 ∑ 我 = 1 c ∑ j = 1 c 我 - - - - - - j r 。 的右边( 30.)并不依赖于数据。因为分母<我nline-formula> ∑ 我 = 1 c ∑ j = 1 c | 我 - - - - - - j | r 是在增加<我nline-formula> r 我们可以固定<我nline-formula> c ,使右边的 30.)任意小。因此,<我nline-formula> 年代 r → 1 作为<我nline-formula> r → ∞ 。

 4.2。一个不等式的差异

由于参数<我nline-formula> r 在( 4)是一个非负实数有不可数无穷多的特殊情况<我nline-formula> 年代 r 。定理 2和 3一起表 2和 3表明,所有这些特殊情况通常隔<我nline-formula> 年代 0 和1。表 2和 3还表明,积极的差异<我nline-formula> 年代 1 - - - - - - 年代 0 和<我nline-formula> 年代 2 - - - - - - 年代 1 是相当可观的。这表明,大多数元素的序列<我nline-formula> ( 年代 0 , 年代 1 , 年代 2 , … ) 将谎言接近1,连续差异呢<我nline-formula> 年代 1 - - - - - - 年代 0 , 年代 2 - - - - - - 年代 1 , 年代 3 - - - - - - 年代 2 , … 变得越来越小。

在本节中,我们提出一个特定结果的积极的差异<我nline-formula> 年代 1 - - - - - - 年代 0 和<我nline-formula> 年代 2 - - - - - - 年代 1 。定理 5下面显示<我nline-formula> 年代 2 - - - - - - 年代 1 从来没有超过<我nline-formula> 年代 1 - - - - - - 年代 0 。我们首先得到明确的公式<我nline-formula> ∑ 我 = 1 c ∑ j = 1 c | 我 - - - - - - j | r 为<我nline-formula> r = 0 1 , 2 在引理 4。

引理4。

它认为, (31) ∑ 我 = 1 c ∑ j = 1 c 1 我 ≠ j = c c - - - - - - 1 ; (32) ∑ 我 = 1 c ∑ j = 1 c 我 - - - - - - j = c c 2 - - - - - - 1 3 ; (33) ∑ 我 = 1 c ∑ j = 1 c 我 - - - - - - j 2 = c 2 c 2 - - - - - - 1 6 。

证明。

我们只有现在的身份证明( 32)和( 33)。我们将使用以下的身份和权力的整数(见,例如, 43): (34) ∑ k = 1 米 k = 米 米 + 1 2 ; (35) ∑ k = 1 米 k 2 = 米 米 + 1 2 米 + 1 6 ; (36) ∑ k = 1 米 k 3 = 米 2 米 + 1 2 4 。 使用身份( 27),( 34)和( 35)我们有 (37) ∑ 我 = 1 c ∑ j = 1 c 我 - - - - - - j = 2 ∑ j = 1 c - - - - - - 1 c - - - - - - j j = 2 c ∑ j = 1 c - - - - - - 1 j - - - - - - 2 ∑ j = 1 c - - - - - - 1 j 2 = c 2 c - - - - - - 1 - - - - - - c c - - - - - - 1 2 c - - - - - - 1 3 = c c 2 - - - - - - 1 3 。 此外,使用身份( 27),( 35)和( 36)我们有 (38) ∑ 我 = 1 c ∑ j = 1 c 我 - - - - - - j 2 = 2 ∑ j = 1 c - - - - - - 1 c - - - - - - j j 2 = 2 c ∑ j = 1 c - - - - - - 1 j 2 - - - - - - 2 ∑ j = 1 c - - - - - - 1 j 3 = c 2 c - - - - - - 1 2 c - - - - - - 1 3 - - - - - - c 2 c - - - - - - 1 2 2 = c 2 c 2 - - - - - - 1 6 。

定理5。

如果<我nline-formula> π 我 j 三对角,那么<我nline-formula> 年代 1 - - - - - - 年代 0 ≥ 年代 2 - - - - - - 年代 1 平等,当且仅当<我nline-formula> c = 2、3 。

 证明。

的公式<我nline-formula> 年代 r 的情况下<我nline-formula> π 我 j 中给出了三对角( 29日)。的不平等<我nline-formula> 年代 1 - - - - - - 年代 0 ≥ 年代 2 - - - - - - 年代 1 或<我nline-formula> 2 年代 1 ≥ 年代 0 + 年代 2 相当于 (39) 2 ∑ 我 = 1 c ∑ j = 1 c 我 - - - - - - j ≤ 1 ∑ 我 = 1 c ∑ j = 1 c 1 我 ≠ j + 1 ∑ 我 = 1 c ∑ j = 1 c 我 - - - - - - j 2 。 使用身份( 31日),( 32)和( 33),不平等( 39)成为 (40) 6 c c 2 - - - - - - 1 ≤ 1 c c - - - - - - 1 + 6 c 2 c 2 - - - - - - 1 = c c + 1 + 6 c 2 c 2 - - - - - - 1 , 或者,同样,<我nline-formula> c 2 - - - - - - 5 c + 6 = ( c - - - - - - 2 ) ( c - - - - - - 3 ) ≥ 0 。

如果协议表三对角,定理 5显示,<我nline-formula> 年代 1 - - - - - - 年代 0 = 年代 2 - - - - - - 年代 1 当且仅当<我nline-formula> c = 2 或<我nline-formula> c = 3 。回想一下,为<我nline-formula> c = 2 类别的所有特殊情况系数<我nline-formula> 年代 r 一致的。因此,对于<我nline-formula> c = 2 ,我们有<我nline-formula> 年代 1 - - - - - - 年代 0 = 年代 2 - - - - - - 年代 1 = 0 。此外,一个插图<我nline-formula> c = 3 类别是表的第二项 2。我们已经为这个条目<我nline-formula> 年代 ^ 0 = 0.95775 ,<我nline-formula> 年代 ^ 1 = 0.96831 ,<我nline-formula> 年代 ^ 2 = 0.97887 ,<我nline-formula> 年代 1 - - - - - - 年代 0 = 年代 2 - - - - - - 年代 1 = 0.01056 。

 4.3。依赖数量的类别

班纳特批评反对使用et al<我nline-formula> 年代 是系数往往会产生更高的值协议表更多的类别( 26]。更准确地说,如果原始协议<我nline-formula> ∑ 我 = 1 c π 我 我 是常数( 7)我们有<我nline-formula> 年代 0 → ∑ 我 = 1 c π 我 我 作为<我nline-formula> c → ∞ 。因此,如果评定量表有很多类别,我们有<我nline-formula> 年代 0 ≈ ∑ 我 = 1 c π 我 我 ,<我nline-formula> 年代 0 不是一个chance-corrected系数。

而<我nline-formula> 年代 0 原始的协议<我nline-formula> ∑ 我 = 1 c π 我 我 作为一个上界,似乎许多其它特殊情况的价值<我nline-formula> 年代 r 倾向于去统一作为评定量表的类别的数量增加。例如,假设<我nline-formula> π 我 j 三对角,<我nline-formula> ∑ 我 = 1 c π 我 我 = 2 / 3 。使用( 29日)和( 35的公式<我nline-formula> 年代 1 是由 (41) 年代 1 = 1 - - - - - - c c 2 - - - - - - 1 。 我们有<我nline-formula> 年代 1 → 1 作为<我nline-formula> c → ∞ 。自<我nline-formula> 年代 1 通常是一个下界的所有特殊情况<我nline-formula> 年代 r 与<我nline-formula> r > 1 (定理 2),它是所有的系数<我nline-formula> r ≥ 1 去统一类别数量的增加。依赖类别的数量被认为是不良的<我nline-formula> 年代 r 。

 5。讨论

班尼特et al。( 23]<我nline-formula> 年代 是一个协议与名义分类评级尺度系数,发现并重新发现了许多作者( 12, 28, 29日]。最近,加权的版本<我nline-formula> 年代 提出了Gwet [ 33)与顺序类别等级量表。在本文中,我们提出了各种属性的一个特例加权版本,用<我nline-formula> 年代 r ,在那里<我nline-formula> r 是一个非负实数。班尼特et al。( 23]<我nline-formula> 年代 对应于<我nline-formula> 年代 0 ,而<我nline-formula> 年代 1 和<我nline-formula> 年代 2 的版本是<我nline-formula> 年代 r 分别通过使用线性和二次加权方案。

首先研究了不同版本的<我nline-formula> 年代 r 是相关的。定理 2显示,<我nline-formula> 年代 r 是在增加<我nline-formula> r 如果平均分歧的观察家相邻类别大于平均分歧类别,相距2步,如果后者大于平均分歧类别相距3步骤等等。因此,在这种情况下,有一个简单的特殊情况的值之间的关系<我nline-formula> 年代 r 。事实证明定理 2很强大的结果。首先,由于涉及的所有特殊情况<我nline-formula> 年代 r ,有不可数无穷多的版本<我nline-formula> 年代 r 。其次,充分条件适用于许多数据表报告摘要(见表 2和 3)。自<我nline-formula> 年代 r 通常是在增加<我nline-formula> r ,其特殊的情况基本上是测量同一件事。

为应用程序科恩kappa和加权卡帕,不同的作者提出了目标价值评估kappa系数的值( 44- - - - - - 47]。有共识的文学,不加批判的应用程序级指导方针导致实际问题的决策。堆场( 48)认为,自从二次kappa产生值大大高于由科恩kappa值,不能用于这两个系数相同的指导方针。类似的论点在这里也同样适用。表 2和 3表明系数<我nline-formula> 年代 0 ,<我nline-formula> 年代 1 ,<我nline-formula> 年代 2 产生完全不同的价值观。因此,尽管系数测量同一件事,他们在不同程度上这样做。如果人们接受级指南的使用,不同的标准需要开发不同的特殊情况<我nline-formula> 年代 r 。

最后,许多结果说明,许多特殊情况<我nline-formula> 年代 r 倾向于产生值接近团结,不管手头的数据。时尤其如此<我nline-formula> r 高(<我nline-formula> r ≥ 2 )和评定量表的类别数量大(5或更多)。这些结果只是证明协议表三对角,但高估计表 2和 3结果表明,在更一般的条件下举行。的依赖<我nline-formula> 年代 r 类别的数量意味着需要制定不同的标准根据类别的数量。发展不同的标准不同的系数和不同数量的分类似乎是一个不可能完成的任务。因此,系数<我nline-formula> 年代 r 系数是无用的一般协议。我们建议限制的应用加权版本的贝内特et al。<我nline-formula> 年代 例如,一个或两个系数<我nline-formula> 年代 0 与名义上的类别和等级量表<我nline-formula> 年代 1 与顺序类别等级量表。

 利益冲突

作者宣称没有利益冲突有关的出版。

 承认

本研究完成,作者是由荷兰科学研究组织,像项目451-11-026。

坦纳 m·A。 年轻的 m·A。 建模顺序尺度分歧 心理上的公告 1985年 98年 2 408年 415年 10.1037 / 0033 - 2909.98.2.408 2 - s2.0 - 0022115532 Agresti 一个。 之间的协议模型评级等级分类 生物识别技术 1988年 44 2 539年 548年 10.2307 / 2531866 ZBL0707.62227 2 - s2.0 - 0023777938 Agresti 一个。 顺序分类数据的分析 2010年 2日 美国新泽西州霍博肯 威利 MR2742515 贝克尔 m P。 使用关联模型分析协议数据:两个例子 医学统计 1989年 8 10 1199年 1207年 10.1002 / sim.4780081004 2 - s2.0 - 0024414360 格雷厄姆 P。 杰克逊 R。 序数协议的分析数据:加权kappa之外 临床流行病学杂志 1993年 46 9 1055年 1062年 10.1016 / 0895 - 4356 (93)90173 - x 2 - s2.0 - 0027305418 科恩 J。 加权kappa:定类尺度缩放分歧或部分信贷协议规定 心理上的公告 1968年 70年 4 213年 220年 10.1037 / h0026256 2 - s2.0 - 58149412516 Maclure M。 威雷特 w . C。 Kappa统计的误解和滥用 美国流行病学杂志》上 1987年 126年 2 161年 169年 10.1093 / aje / 126.2.161 2 - s2.0 - 0023250550 科恩 J。 一个协议名义尺度系数 教育和心理测量 1960年 20. 37 46 瓦洛 m·J。 科恩kappa总是可以增加和减少通过结合类别 统计方法 2010年 7 6 673年 677年 10.1016 / j.stamet.2010.05.003 MR2728420 ZBL1232.62161 2 - s2.0 - 77956601127 许 l . M。 场 R。 评分者间信协议措施:评论<我nline-formula> 卡巴 n 科恩kappa,斯科特<我talic> π和Aickin<我talic> α 理解统计数据 2003年 2 205年 219年 Sim卡 J。 莱特 C . C。 kappa统计可靠性研究中:使用,解释,和样本容量需求 物理治疗 2005年 85年 3 257年 268年 2 - s2.0 - 14744284163 布伦南 r . L。 Prediger d . J。 kappa系数:一些使用,误用和选择 教育和心理测量 1981年 41 687年 699年 Uebersax j·S。 多样性的决策模型和测量评分者间信协议 心理上的公告 1987年 101年 1 140年 146年 10.1037 / 0033 - 2909.101.1.140 2 - s2.0 - 0001319997 范斯坦 a。R。 Cicchetti d . V。 高协议但低kappa:即两个悖论的问题 临床流行病学杂志 1990年 43 6 543年 549年 10.1016 / 0895 - 4356 (90)90158 - l 2 - s2.0 - 0025286295 Lantz c。 Nebenzahl E。 行为和解释<我talic> κ统计数据:解决两个悖论 临床流行病学杂志 1996年 49 4 431年 434年 10.1016 / 0895 - 4356 (95)00571 - 4 2 - s2.0 - 0029935469 de桅杆 J。 范Wieringen w . N。 绝对测量:测量系统分析协议和kappa-type指数 《质量技术 2007年 39 191年 202年 de桅杆 J。 协议和kappa-type指数 美国统计学家 2007年 61年 2 148年 153年 10.1198 / 000313007 x192392 MR2368104 2 - s2.0 - 34248390977 汤普森 w·D。 沃尔特 s D。 kappa系数的重新评价 临床流行病学杂志 1988年 41 10 949年 958年 10.1016 / 0895 - 4356 (88)90031 - 5 2 - s2.0 - 0024207930 Vach W。 的依赖科恩kappa的流行并不重要 临床流行病学杂志 2005年 58 7 655年 661年 10.1016 / j.jclinepi.2004.02.021 2 - s2.0 - 20444420190 冯的眼睛 一个。 冯的眼睛 M。 科恩的边际上的依赖<我talic> κ 欧洲的心理学家 2008年 13 4 305年 315年 10.1027 / 1016 - 9040.13.4.305 2 - s2.0 - 56849127695 布伦纳 H。 Kliebsch U。 依赖的加权kappa系数的数量类别 流行病学 1996年 7 2 199年 202年 10.1097 / 00001648-199603000-00016 2 - s2.0 - 0030023350 瓦洛 m·J。 加权平方kappa一些自相矛盾的结果 心理测量学 2012年 77年 2 315年 323年 10.1007 / s11336 - 012 - 9258 - 4 MR2909432 ZBL1284.62764 2 - s2.0 - 84858451115 班尼特 e . M。 阿尔珀特 R。 戈尔茨坦 a . C。 通信通过有限反应质疑 公众舆论的季度 1954年 18 3 303年 308年 10.1086/266520 2 - s2.0 - 0040822661 Umesh 美国N。 彼得森 r。 索伯 m . T。 Interjudge协议和卡巴的最大值 教育和心理测量 1989年 49 835年 850年 迈耶 g . J。 评估可靠性:关键修正的一个重要考试罗夏测验的综合系统 心理评估 1997年 9 4 480年 489年 10.1037 / 1040 - 3590.9.4.480 2 - s2.0 - 0031413386 瓦洛 m·J。 结合类别在班纳特的影响,阿尔珀特和戈尔茨坦的年代 统计方法 2012年 9 3 341年 352年 10.1016 / j.stamet.2011.09.001 MR2871436 2 - s2.0 - 84855202570 伦道夫 J·J。 Free-marginal多重速率的卡帕(多重速率的<我talic> κ免费):替代弗莱斯fixed-marginal多重速率的卡巴 《Joensuu学习和教学研讨会 2005年 Joensuu、芬兰 詹森 年代。 Vegelius J。 概括的G指数和φ名义尺度系数 多元行为研究 1979年 14 2 255年 269年 10.1207 / s15327906mbr1402_9 琼斯 c . L。 一个扩展的随机误差系数的协议<我nline-formula> n × n 表 英国精神病学杂志》上 1979年 134年 6 617年 619年 10.1192 / bjp.134.6.617 2 - s2.0 - 0018421651 华立 j·W。 吉尔福德 j . P。 注意G指数的协议 教育和心理测量 1964年 24 4 749年 753年 10.1177 / 001316446402400402 麦克斯韦 答:E。 系数之间的协议观察员和他们的解释 英国精神病学杂志》 1977年 116年 651年 655年 Krippendorff K。 协会、协议和股权 质量和数量 1987年 21 2 109年 123年 10.1007 / BF00167603 2 - s2.0 - 4444293059 Gwet k . L。 手册的两分的可靠性 2012年 美国马里兰州盖瑟斯堡 先进的分析 Cicchetti D。 埃里森 T。 一个新的程序评估得分睡眠脑电图记录的可靠性 美国的脑电图技术杂志》上 1971年 11 101年 110年 Vanbelle 年代。 艾伯特 一个。 报告顺序尺度线性加权kappa系数 统计方法 2009年 6 2 157年 163年 10.1016 / j.stamet.2008.06.001 MR2649614 ZBL1220.62172 2 - s2.0 - 61749098649 瓦洛 m·J。 科恩的线性加权k是一个加权平均 先进的数据分析和分类 2012年 6 1 67年 79年 10.1007 / s11634 - 011 - 0094 - 7 MR2904101 2 - s2.0 - 84857788761 弗莱斯 j·L。 科恩 J。 加权卡帕的等价,组内相关系数作为可靠性的措施 教育和心理测量 1973年 33 613年 619年 舒斯特尔 C。 注意在加权kappa及其关系的解释其他统计指标量表评定等级的协议 教育和心理测量 2004年 64年 2 243年 253年 10.1177 / 0013164403260197 MR2019827 2 - s2.0 - 1842431905 Agresti 一个。 分类数据分析 1990年 约翰威利& Sons MR1044993 主教 y . M . M。 Fienberg s E。 荷兰 p W。 离散多变量分析:理论和实践 1975年 美国马萨诸塞州剑桥市 麻省理工学院出版社 MR0381130 Holmquist n D。 麦克马汉 c。 威廉姆斯 e . O。 变化在子宫颈原位癌的分类 产科和妇科的调查 1967年 23 580年 585年 兰迪斯 j . R。 科赫 G·G。 应用程序分层kappa-type统计评估的大多数协议在多个观察者 生物识别技术 1977年 33 363年 374年 MR0483213 Beardon 答:F。 的整数 美国数学月刊 1996年 103年 3 201年 213年 10.2307 / 2975368 MR1376174 2 - s2.0 - 0030526817 兰迪斯 j . R。 科赫 G·G。 测量观察者协议分类数据 生物识别技术 1977年 33 159年 174年 Cicchetti d . V。 麻雀 美国年代。 建立标准评分者间信度的具体项目:适应性行为的应用程序来评估 美国《精神不足 1981年 86年 2 127年 137年 2 - s2.0 - 0019369245 Crewson p E。 读者协议研究 美国放射学杂志》 2005年 184年 5 1391年 1397年 10.2214 / ajr.184.5.01841391 2 - s2.0 - 19844365736 弗莱斯 j·L。 莱文 B。 沉重的一击 m . C。 统计方法对利率和比例 2003年 3日 纽约,纽约,美国 Wiley-Interscience 瓦洛 m·J。 有条件的科恩kappa和加权kappas之间的不平等 统计方法 2013年 10 14 22 10.1016 / j.stamet.2012.05.004 MR2974806 2 - s2.0 - 84863309440 马丁 c·S。 波洛克 n K。 Bukstein o . G。 林奇 k·G。 两分的SCID酒精的可靠性和物质使用障碍部分青少年 药物和酒精依赖 2000年 59 2 173年 176年 10.1016 / s0376 - 8716 (99) 00119 - 2 2 - s2.0 - 0034194105 Simonoff j·S。 分类数据分析 2003年 纽约,纽约,美国 施普林格 安德森 我美国。 Housley a . M。 琼斯 p。 Slattery J。 米勒 j . D。 格拉斯哥结果评分:一个两分的可靠性研究 脑损伤 1993年 7 4 309年 317年 10.3109 / 02699059309034957 2 - s2.0 - 0027203356 手 d . J。 戴利 F。 卢恩 答:D。 McConway k·J。 奥斯托夫斯基 E。 较小的数据集的手册 1994年 英国伦敦 查普曼&大厅 Nemethy M。 Paroli l Williams-Russo p·G。 布兰克 t·J·J。 估计和区域麻醉镇静:两分协议修改威尔逊镇静 麻醉与镇痛 2002年 94年 3 723年 728年 10.1097 / 00000539-200203000-00045 2 - s2.0 - 0036181987 Seddon j . M。 Sahagian c·R。 格林 r . J。 Sperduto r D。 Gragoudas 大肠。 Yannuzzi l Seddon J。 Gragoudas E。 Puliafito C。 伯顿 T。 布莱尔 N。 法伯 M。 哈勒 J。 评估的虹膜颜色分类系统 调查眼科及视觉科学 1990年 31日 8 1592年 1598年 2 - s2.0 - 0025105993 Bohannon r·W。 史密斯 m B。 评分者间信度修改Ashworth规模的肌肉痉挛状态 物理治疗 1987年 67年 2 206年 207年 2 - s2.0 - 0023130157 玛丽亚 诉a·J。 Victorino r·M·M。 开发和验证临床量表药物引起肝炎的诊断 肝脏病学 1997年 26 3 664年 669年 10.1002 / hep.510260319 2 - s2.0 - 0030865914