关于使用MIN-MAX组合的生物标志物组合以最大化ROC曲线下的部分区域

摘要

背景。基于接收器操作特征（ROC）曲线和ROC曲线（AUC）下的诊断测定的评估和预测性能的生物标志物（AUC）在诊断和靶向药物中至关重要。曲线下的部分区域（PAUC）是一种替代的指标，其专注于诊断测定的一系列实际和临床相关性。在本文中，我们采用并扩展了当多个连续缩放生物标志物可获得的PAUC估计PAEC的估计，并通过模拟将拟议方法与现有方法进行比较。方法。我们进行了广泛的模拟研究，以研究基于其产生最大PAUC估计的不同方法对生物标志物组合的性能。数据来自具有相等和不平等的变差 - 协方差矩阵的不同多变量分布。考虑了ROC曲线的不同形状，假正分数范围和样本大小配置。通过重新替换和休假交叉验证，我们获得了PAUC估计的均值和标准偏差。结果。我们的结果表明，该方法在以下三个重要实际情况下提供了最大的PAUC估计数：（1）非变量正常分布的非偏见和患病参与者的分布数据具有不平等的方差协方差矩阵;或（2）无论潜在的正常性分布假设如何，单个生物标志物产生的ROC曲线相对紧密;（3）从单个生物标志物产生的ROC曲线具有直线形状。结论。建议的方法是强大的，鼓励调查人员在估计许多实际情况的PAUC中使用这种方法。

1.介绍

整个曲线（AUC）下的区域是接收器操作特征（ROC）分析中最常用的摘要指标之一，并且可以解释为对所有特异性值的所有可能值的灵敏度的平均值[1］．AUC的经验估计与Mann-Whitney U统计数据密切相关，用于比较非患病和患病参与者的评级[1］．虽然基于AUC的方法已经发育了很好的发展和广泛实施[2那3.]， AUC的主要局限性之一是它总结了整个曲线的表现，包括可能不具有临床相关性的区域(例如特异性水平低的区域)。ROC曲线下的部分面积(pac)可作为在具有临床意义的一定特异性范围内诊断/预后准确性的汇总指标[4.那5.］．在许多应用中，特定领域之外的假阳性率的测试将没有实际使用，因此对于评估测试的准确性无关。特别是，对于一定患病率的疾病，高误率的不必要的随访将负担卫生系统。有几种分析PAUC的方法[4.那6.-10.］．

当多个连续缩放的生物标志物在评估预后准确度时，可以通过组合几种生物标志物来提高精度。由于其易于实施和解释，使用线性组合的使用是流行的。找到最佳线性组合以最大化ROC曲线下的区域已被广泛研究[11.-14.］．通过扩展Fisher判别函数，Su和Liu [11.首先提出了基于多变量正常假设的最佳线性组合来最大化AUC。苏和刘的方法依赖于强烈的分布假设，因此在不满足分布假设时，PAUC可能对许多实际情况具有不令人满意的性能。刘等。[12.提供了一种方法来构造可以在一些特定的特异性范围内占据主导地位的ROC曲线的最佳线性组合。然而，这种方法取决于关于平均载体和特异性范围的分布假设。因此，对于可能具有临床兴趣的特定特异性和敏感度，它可能无法占主导地位。此外，这种方法涉及计算对应于特征值的特征向量，因此这种方法的稳定性取决于特征向量在相应矩阵的小扰动下的行为[15.］．

在广义线性模型的假设下，金和鲁[13.事实证明，来自逻辑回归估计的组合系数产生了ROC曲线，在整个特异性范围内均匀敏感。没有数据上的分布假设，Pepe和Thompson [16.]考虑通过基于秩的估计，即Mann-Whitney U统计来最大化AUC和PAUC [1］．他们提出了一种算法来寻找生物标志物数量等于2的最佳线性组合。当生物标志物的数量大于或等于3时，这种方法在计算上是令人生畏的[17.］．Hsu和hsueh [18.俞和公园[19.基于多变量正常假设，所提出的方法来最大化ROC曲线下的部分区域。

刘等。[20.]开发出一种非参数最小最大方法，将数据减少为两个维度，以最大化AUC的Mann-Whitney统计数据。由于其非参数性质，这种方法对分布假设具有稳健性，并且由于MIN-MAX程序仅涉及仅搜索一个单个系数，因此计算得益于。虽然有用，但这种方法是基于全部特异性开发的。在许多医疗领域，当测定具有高特异性时，ROC曲线仅临床相关和感兴趣。例如，筛选任何健康人群需要测定的高特异性。类似地，在使用多种基因的使用诊断测定中，只有高灵敏度和特异性分类剂具有临床公用事业（Sparano 2015）。

当考虑几个标记时，我们适应并扩展MIN-MAX方法以估计PAUC。这篇文章的结构安排如下。在部分2，我们对最大化AUC和PAUC的现有方法提供了彻底的审查。在部分3.，我们将Min-Max组合方法扩展到PAUC的优化，并讨论了休假基于对未来观察的准确性评估组合方法的休假（LoPO）交叉验证方法。在部分4.然后，我们开展广泛的模拟，以研究不同组合方法的表现，基于它们的产生最大PAUC估计的能力。在部分5.，给出了两个现实生活中的例子。然后我们在Section中讨论结果6.并为实际使用不同的方法提供指导。

2.现有方法

2.1。定义

不损失一般性，我们考虑ROC曲线（PAUC）下的部分区域，在高特异性值范围内，即，在本文中，考虑小于或等于0.2，即大于或等于0.8的特异性。这是由于如果特异性率较低，则不太可能使用测定。

让那那和那那成为非偏见和患病参与者的生物标志物水平。利用Mann-Whitney U统计数据的相应实证估计在哪里是个定量的经验分布X。

假设我们有P.每个主题的诊断测试或生物标志物，N₁有不清的参与者有评级和N₂患有评级的患者最佳的线性组合系数可以通过最大化pac的经验估计来估计，即在哪里是个定量的经验分布。

2.2。苏和刘的PAUC方法

假使，假设和用均值向量跟踪多元正态分布和协方差矩阵和那IE。，和那分别。苏和刘得出最好的线性组合系数基于ROC曲线对标量变换的不变性和Fisher判别系数，使AUC最大化[11.］．当两个协方差矩阵相等或成比例时，基于Su和Liu的方法的最佳线性系数也会生成在任何特异性范围内优于所有其他曲线的ROC曲线。

2.3。Liu等。对PAUC的方法

通过利用Su和Liu的最佳线性组合系数来实现不理想的性能，Liu等考虑了以下情形 [12.］．作者提供了一种构建最佳线性组合的方法，可以最大化在某种特异性范围内的敏感性。特别地，如果ROC曲线的高特异性区域是感兴趣的，则最佳的线性组合系数是成比例的在哪里特征向量是否对应于矩阵的最小特征值。已经表明，这种线性组合产生了在一些特定特异性范围内占据任何其他ROC曲线的ROC曲线。

2.4。PAUC的Logistic回归

通过考虑多个预测因子的线性组合，logistic回归被广泛用于预测二元结果[13.］．它模拟了具有协变量的给定主题的疾病概率通过使用logit链接函数，即: 在哪里为截距和定义为以前。在广义线性模型的假设下，估计其次是Logistic回归可以最大化二元成果的似函数。Jin和Lu证明，这种估计还在整个特异性范围内均匀地提供最高的敏感性。这意味着最好的线性组合等于结果，ROC曲线不仅具有最大的全AUC，而且还在任何潜在兴趣范围内主导任何其他ROC曲线，从而导致最大的pac。

2.5。Pepe和Thompon的PAUC方法

没有数据的分布假设和那Pepe和Thompson [16.]考虑通过基于排名的估计，即Mann-Whitney U统计，最大化AUC和pac [1］．为简单起见，他们提出了一种算法来寻找生物标志物数量等于2的最佳线性组合(P.= 2),即为和为。基于ROC曲线是缩放转换的变体的事实，为了最大化AUC或PAUC，找到最佳组合系数那在哪里相当于寻找那在哪里。让表示潜在兴趣的假阳性范围。基于Mann-Whitney U统计量的AUC估计和基于pac的AUC估计可以得到和分别在哪里是个斯蒂利亚。作者选择实现一种基于Heagerty和Pepe的半参数方法[21.)来估计那虽然他们还指出了可以应用其他量子估计方法。

2.6。AUC的MIN-MAX方法

Liu等人考虑了生物标志物的最小-最大组合[20.］．让分别为非患病参与者和患病参与者p生物标志物的最大值。同样,让分别是P BioMarkers的最低价值，分别为不清弱和患病参与者。

基于Mann-Whitney U统计的AUC的非参数估计可以通过线性地组合每个受试者的P Biomarkers的最小值和最大值来获得因为这不是一个连续的功能α.，最大化需要搜索而不是基于衍生的方法。搜索方法的最佳价值α.与Pepe和Thompson的方法完全相同。

3.方法扩展:最小-最大值法

我们将最小极大方法推广到求最小最小值。让表示潜在兴趣的假阳性范围。通过考虑最小和最大值P.每个人的生物标志物，所以可以获得PAUC的非参数估计值在哪里是个斯蒂利亚。为简单起见，定量的经验分布可以用来估算吗。然后是佩佩和汤普森[16.]可以应用算法来搜索最佳值α.以最大限度地估计pac。

新标记对任何给定的阈值都具有较大的敏感性和较小的特异性C比任何其他个人标记，鉴于这一点和对所有 ;类似地，新标记对任何给定阈值具有较小的敏感性和更大的特异性C比任何其他个人标记，鉴于这一点和对所有。因此，我们期望MIN-MAX生物标志物的线性组合可以在ROC曲线下提供比其他方法的较大部分区域。我们采用模拟研究来研究所提出的方法与其他建立方法相比如何进行。

交叉验证已被广泛应用于评价统计结果的通用性。Huang et al. [22.]提出了一种LOPO方法来评估线性组合系数的性能，以估计未来观测的AUC。基于LOPO交叉验证的AUC估计如下: 在哪里是基于没有两个的观察数据的最佳线性组合系数一世从非剥离的主题和中观察j患病学科观察。他们还证明，5倍和10倍的交叉验证可以计算得有效，所得到的估计可以渐近地对未来的观察结果渐近。

我们在pac上实现LOPO交叉验证，以评估统计结果的泛化性。基于LOPO交叉验证的pac估计可得到在哪里是个斯蒂利亚。为简单起见，在我们的模拟研究中定量的经验分布将被用来估计。

4.模拟

4．1.描述的模拟

我们进行了广泛的仿真研究，以研究我们提出的方法与基于ROC曲线下的部分区域的建立的组合方法的性能。参与者的评级是从具有相同和不平等的方差 - 协方差矩阵的不同多变量分布模拟。我们检查了假阳性分数0 - 0.1和0 - 0.2，我们考虑了不同的样品尺寸：50:50,50：100,100：50和100：50：50和100：100：用于无处不清的和患者参与者。

对于每个模拟数据集，我们基于四种不同的方法计算pac:min-max，记为min-max;苏和刘的[11.]，记为SULIU;(3) Liu et al.(2006)，记为Liu;(4) logistic回归，记为logistic。此外，我们还使用了两种估计方法:重新替代(记为Re-Sub)和10倍留一对交叉验证(记为LOPO)来计算pac。再代换法是根据每一种方法的所有数据所得到的系数的线性组合估计的。由于机器学习学科中的训练集和验证集之间的原因，再替代方法在估计未来观测的诊断/预后准确性时通常过于乐观[22.］．我们通过对1,000模拟的平均获得PAUC的平均值，标准偏差是估计PPUC的估计样本方差的平方根，来自1,000个模拟数据集。

4．2.等方差-协方差的多元正态分布

我们首先通过生成由多变量正常分布的额定值组成的数据集来比较PAUC上的MIN-MAX方法的性能与其他方法（P.=4)具有不同的均值向量和相同的方差-协方差矩阵(场景#1)。利用ROC曲线的不变性，对评分进行单调递增变换，将未患病参与者的评分分布设置为具有均值的多元正态分布和方差 - 协方差矩阵

在这种情况下，患病参与者的评级是由具有方差 - 协方差矩阵的多元正常分布产生等于那选取均值向量，得到标记#1、2、3、4的AUC分别为0.70、0.73、0.76、0.80 (Case #1)，标记#1、2、3、4的AUC分别为0.6、0.7、0.8、0.9 (Case #2)。

4.3。多元正常分布，不平等方差 - 协方差

我们还考虑了非患病和患病参与者具有不同均值和不等方差-协方差矩阵的多元正态分布(场景#2)。均值设置与场景1中讨论的情况1和情况2相同。方差-协方差矩阵为

4.4。具有不等方差 - 协方差的多变量对数正常分布

我们通过生成由多变量对数正常分布（场景＃3）组成的数据集来调查不同组合方法的性能。首先与场景＃2类似地生成额定值，然后指数以获得多变量对数正常标记值。

4.5。多元伽马分布

我们进一步通过在情况1和案例2（方案＃4）中使用AUC设置生成伽马ROC曲线来检查不同组合方法的性能。伽玛家族是ROC曲线的知名家庭之一[9.那10.那23.-26.］．由于形状的凹凸和灵活性，MA等人。[9.和Ma等人[10.[展示了伽马中ROC曲线的家族，提供实际合理的直线形凹ROC曲线，其中基于PAUC的统计推断是优选的。

伽马河ROC曲线的底层评级模型的概率密度函数具有以下形式：

当κ..接近0，伽玛ROC曲线接近直线的形状和何时 gamma ROC曲线的形状类似于具有潜在正态性假设的ROC曲线。当κ..=1则gamma ROC曲线等价于幂律ROC曲线[23.那27.］．在这里，我们有兴趣调查具有直线形伽马中ROC曲线的方案（κ..= 1/3），因为这种类型的ROC曲线不能由前一个场景生成。

每个模拟数据集由多元伽玛分布产生的额定值组成κ..= 1/3。由于ROC曲线的不变性属性，我们设置了没有任何一般性的损失θ.=1为未患病参与者的潜在评级。然后,我们选择θ.对于潜在的患病评级，以反映ROC曲线下的目标区域，以便＃1和案例＃2。使用高斯Copula模型建立0.5的模态相关性[28.］．所有这些程序都是由R版本2.15.3中的第一个作者编写的，可用：https://duke .box.com / s / u32h7aayxd9bo41b619xpb21sj1nm67。

4.6。仿真结果

我们比较了MIN-MAX方法的性能在估计PAUC中，假设评级来自具有相同方差协方差矩阵的多变量正常分布（表1）.基于再替换和LOPO交叉验证的PAUC，Suliu和Lopoms几乎总是比Min-Max和Liu更好。此外，当AUCS闭合或进一步分开时，Suliu和Logistic方法的性能类似。The min-max approach produced slightly smaller pAUC estimates than that of SULIU and LOGISTIC when the AUCs among biomarkers were relatively close (i.e., Case #1), while this approach became worse when the AUCs were far apart (i.e., Case #2).


AUC	基维辛迪范围	样本大小		敏敏	SULIU	刘	物流

0.7-0.8	0 - 0.1	50:50	重新划分	0.036（0.010）	0.038（0.011）	0.024 (0.011)	0.038（0.011）
			洛博	0.028 (0.012)	0.030（0.011）	0.016（0.011）	0.030（0.011）
		50：100	重新划分	0.036（0.009）	0.038（0.010）	0.024 (0.011)	0.037（0.010）
			洛博	0.028 (0.011)	0.031（0.010）	0.016（0.011）	0.031（0.010）
		100：50	重新划分	0.034（0.008）	0.036（0.009）	0.021（0.010）	0.036（0.009）
			洛博	0.028 (0.009)	0.031（0.009）	0.015（0.009）	0.030 (0.009)
		100:100	重新划分	0.033（0.007）	0.036（0.007）	0.021（0.010）	0.036（0.007）
			洛博	0.028 (0.008)	0.031（0.007）	0.015（0.009）	0.031（0.007）

	0 - 0.2	50:50	重新划分	0.094（0.018）	0.101（0.020）	0.064（0.024）	0.101（0.020）
			洛博	0.081（0.022）	0.086（0.021）	0.049（0.025）	0.086（0.021）
		50：100	重新划分	0.092 (0.017)	0.099（0.018）	0.064（0.024）	0.099（0.018）
			洛博	0.081（0.021）	0.087（0.019）	0.049（0.024）	0.087（0.019）
		100：50	重新划分	0.091（0.015）	0.097 (0.016)	0.059（0.022）	0.098 (0.016)
			洛博	0.082（0.018）	0.087（0.017）	0.047 (0.022)	0.087（0.017）
		100:100	重新划分	0.089（0.013）	0.096（0.013）	0.058（0.022）	0.096（0.013）
			洛博	0.081（0.016）	0.089（0.014）	0.047 (0.021)	0.089（0.014）

0.6-0.9	0 - 0.1	50:50	重新划分	0.047（0.010）	0.064（0.011）	0.034（0.018）	0.065（0.011）
			洛博	0.040 (0.012)	0.056（0.013）	0.026（0.017）	0.054 (0.012)
		50：100	重新划分	0.046（0.010）	0.063 (0.010)	0.034（0.018）	0.063 (0.010)
			洛博	0.041（0.012）	0.057 (0.012)	0.025（0.016）	0.056（0.011）
		100：50	重新划分	0.045（0.009）	0.062（0.009）	0.029（0.016）	0.062（0.009）
			洛博	0.040 (0.010)	0.057（0.010）	0.023（0.014）	0.056（0.010）
		100:100	重新划分	0.044（0.008）	0.062（0.008）	0.030（0.016）	0.062（0.008）
			洛博	0.040（0.009）	0.058（0.008）	0.024 (0.014)	0.057（0.008）

	0 - 0.2	50:50	重新划分	0.114（0.017）	0.148 (0.017)	0.084 (0.037)	0.149 (0.017)
			洛博	0.106（0.020）	0.137（0.019）	0.070 (0.036)	0.135（0.019）
		50：100	重新划分	0.114（0.017）	0.147 (0.015)	0.085（0.037）	0.147 (0.015)
			洛博	0.107 (0.019)	0.138（0.017）	0.070 (0.034)	0.136（0.017）
		100：50	重新划分	0.112（0.015）	0.146（0.014）	0.075 (0.033)	0.146（0.014）
			洛博	0.106（0.017）	0.138 (0.015)	0.065 (0.032)	0.137（0.015）
		100:100	重新划分	0.110 (0.013)	0.146（0.012）	0.079 (0.035)	0.146（0.012）
			洛博	0.106（0.014）	0.140（0.012）	0.068 (0.032)	0.139 (0.012)

此外，我们还考察了MIN-MAX、SULIU、LIU和LOGISTIC这四种方法的性能，假设评级来自方差-协方差矩阵不等的多元正态分布(表1)2）.当auc接近时(案例#1)，min-max方法在基于再替换和LOPO交叉验证产生最大pac的能力上优于其他方法。当auc距离较远时(即案例#2)，SULIU和LOGISTIC方法的性能优于其他两种方法。SULIU方法略优于基于LOPO交叉验证的LOGISTIC方法，因为它考虑了具有不等方差-协方差矩阵的数据的正态性。值得注意的是，在这种情况下，再替代和LOPO交叉验证的pac估价值差异非常小。


AUC	基维辛迪范围	样本大小		敏敏	SULIU	刘	物流

0.7-0.8	0 - 0.1	50:50	重新划分	0.059 (0.011)	0.044（0.011）	0.046（0.010）	0.044（0.011）
			洛博	0.052（0.013）	0.035（0.012）	0.042（0.010）	0.034 (0.012)
		50：100	重新划分	0.058（0.009）	0.044 (0.009)	0.046（0.008）	0.042（0.010）
			洛博	0.053 (0.012)	0.036（0.010）	0.042（0.009）	0.033（0.010）
		100：50	重新划分	0.057（0.008）	0.043 (0.009)	0.045（0.008）	0.045（0.009）
			洛博	0.052（0.010）	0.037（0.009）	0.043（0.008）	0.039（0.009）
		100:100	重新划分	0.057（0.007）	0.043（0.008）	0.044（0.007）	0.043（0.008）
			洛博	0.053（0.009）	0.038（0.008）	0.042（0.007）	0.038（0.008）

	0 - 0.2	50:50	重新划分	0.136（0.018）	0.109（0.019）	0.109 (0.018)	0.109（0.019）
			洛博	0.128 (0.021)	0.093（0.021）	0.102（0.018）	0.093（0.021）
		50：100	重新划分	0.135 (0.015)	0.109 (0.016)	0.109 (0.015)	0.106（0.017）
			洛博	0.129（0.018）	0.095 (0.018)	0.103（0.016）	0.090（0.019）
		100：50	重新划分	0.133 (0.014)	0.107（0.016）	0.107（0.015）	0.110 (0.015)
			洛博	0.128 (0.016)	0.098 (0.017)	0.104（0.015）	0.101（0.016）
		100:100	重新划分	0.133 (0.012)	0.106（0.013）	0.107（0.012）	0.107（0.013）
			洛博	0.129 (0.013)	0.099（0.014）	0.104 (0.012)	0.099（0.014）

0.6-0.9	0 - 0.1	50:50	重新划分	0.051 (0.010)	0.058（0.012）	0.049（0.011）	0.059（0.013）
			洛博	0.044（0.012）	0.048 (0.014)	0.045（0.012）	0.045（0.014）
		50：100	重新划分	0.050 (0.008)	0.059（0.012）	0.049（0.010）	0.056（0.013）
			洛博	0.044（0.010）	0.049（0.013）	0.046（0.010）	0.045（0.013）
		100：50	重新划分	0.049 (0.008)	0.057（0.010）	0.048 (0.009)	0.059 (0.010)
			洛博	0.044 (0.009)	0.051 (0.011)	0.046（0.009）	0.051 (0.010)
		100:100	重新划分	0.049 (0.007)	0.057（0.009）	0.048（0.008）	0.056（0.009）
			洛博	0.044（0.008）	0.051 (0.010)	0.046（0.008）	0.049（0.010）

	0 - 0.2	50:50	重新划分	0.118（0.017）	0.143 (0.018)	0.114（0.020）	0.143（0.019）
			洛博	0.108 (0.020)	0.128 (0.021)	0.108 (0.021)	0.124（0.021）
		50：100	重新划分	0.117（0.014）	0.143 (0.017)	0.115（0.018）	0.141（0.018）
			洛博	0.109 (0.016)	0.129（0.020）	0.109（0.019）	0.124（0.020）
		100：50	重新划分	0.116（0.014）	0.141（0.016）	0.113（0.016）	0.143 (0.015)
			洛博	0.109 (0.016)	0.133（0.017）	0.110 (0.017)	0.132（0.016）
		100:100	重新划分	0.115（0.012）	0.140 (0.013)	0.113（0.014）	0.140 (0.013)
			洛博	0.109 (0.013)	0.133 (0.014)	0.110 (0.014)	0.131（0.014）

此外，我们研究了假设多变量对数正常分布的不同组合方法的性能。从表格3.在这种情况下，当AUCS关闭时，MIN-MAX方法在数据较高时，MIN-MAX方法主导了其他方法（案例＃1）。另一方面，当AUCS相距较远时，物流方法更好地执行。有趣的是，在两种情况下，刘方法在估计PAC的能力通过Lopo交叉验证的能力，而Suliu方法具有最糟糕的表现，因为违反了正常假设。


AUC	基维辛迪范围	样本大小		敏敏	SULIU	刘	物流

0.7-0.8	0 - 0.1	50:50	重新划分	0.059 (0.011)	0.035 (0.009)	0.040 (0.010)	0.040 (0.010)
			洛博	0.054 (0.012)	0.026 (0.010)	0.031（0.011）	0.028 (0.011)
		50：100	重新划分	0.058（0.009）	0.035 (0.008)	0.040（0.009）	0.039（0.009）
			洛博	0.054 (0.011)	0.028 (0.009)	0.032（0.010）	0.028 (0.010)
		100：50	重新划分	0.057（0.008）	0.033（0.008）	0.037（0.008）	0.038（0.008）
			洛博	0.054（0.009）	0.027（0.008）	0.031（0.009）	0.030 (0.009)
		100:100	重新划分	0.057（0.007）	0.033（0.007）	0.036（0.007）	0.037（0.007）
			洛博	0.054（0.008）	0.028 (0.007)	0.031（0.008）	0.030 (0.007)

	0 - 0.2	50:50	重新划分	0.136（0.018）	0.090（0.018）	0.095 (0.019)	0.099（0.019）
			洛博	0.129（0.020）	0.074（0.020）	0.082 (0.020)	0.079（0.020）
		50：100	重新划分	0.135 (0.015)	0.091（0.015）	0.096 (0.017)	0.097 (0.016)
			洛博	0.129（0.017）	0.077 (0.017)	0.084（0.018）	0.079（0.018）
		100：50	重新划分	0.133 (0.014)	0.088（0.015）	0.091 (0.016)	0.095 (0.016)
			洛博	0.129 (0.015)	0.077 (0.017)	0.084（0.016）	0.084（0.017）
		100:100	重新划分	0.133 (0.012)	0.087 (0.013)	0.091（0.014）	0.094（0.013）
			洛博	0.130 (0.013)	0.079 (0.014)	0.084 (0.014)	0.083 (0.014)

0.6-0.9	0 - 0.1	50:50	重新划分	0.050（0.010）	0.051（0.012）	0.056（0.012）	0.059（0.012）
			洛博	0.043（0.012）	0.043 (0.013)	0.048 (0.014)	0.048（0.013）
		50：100	重新划分	0.049 (0.008)	0.050（0.011）	0.057 (0.011)	0.058 (0.011)
			洛博	0.043（0.011）	0.044（0.012）	0.050（0.013）	0.050（0.012）
		100：50	重新划分	0.114（0.014）	0.123（0.020）	0.128（0.018）	0.138（0.016）
			洛博	0.107（0.016）	0.115（0.021）	0.122（0.019）	0.129（0.017）
		100:100	重新划分	0.047（0.007）	0.049（0.010）	0.054（0.009）	0.056（0.009）
			洛博	0.044（0.008）	0.045（0.010）	0.050（0.010）	0.051（0.009）

	0 - 0.2	50:50	重新划分	0.116（0.017）	0.126 (0.021)	0.130（0.022）	0.141（0.019）
			洛博	0.106（0.021）	0.114 (0.023)	0.118（0.024）	0.125（0.021）
		50：100	重新划分	0.115（0.014）	0.125（0.020）	0.131（0.020）	0.140 (0.018)
			洛博	0.107（0.017）	0.114 (0.021)	0.121（0.022）	0.128（0.019）
		100：50	重新划分	0.048（0.008）	0.049（0.011）	0.054 (0.010)	0.057（0.010）
			洛博	0.044 (0.009)	0.044（0.011）	0.050（0.011）	0.051 (0.010)
		100:100	重新划分	0.113（0.012）	0.124 (0.017)	0.128 (0.016)	0.138 (0.014)
			洛博	0.108 (0.014)	0.117 (0.018)	0.122（0.017）	0.130 (0.015)

最后，我们通过生成gamma ROC曲线来考虑不同组合方法的性能。从表格4.（方案＃4）数据建议直线形状ROC曲线，当AUCS接近时，最小最大方法比其他三种方法更好地通过重新取代和LoPO十字架获得最大的PAC-验证。当AUCS相隔较远（案例＃2）时，最小最大方法通过LOPO交叉验证产生了最佳PAUC估计。Logitic方法是基于重新替代的最佳方式。


AUC	基维辛迪范围	样本大小		敏敏	SULIU	刘	物流

0.7-0.8	0 - 0.1	50:50	重新划分	0.068（0.007）	0.059（0.008）	0.052（0.010）	0.066（0.008）
			洛博	0.067 (0.008)	0.056（0.009）	0.048（0.011）	0.059（0.008）
		50：100	重新划分	0.068（0.006）	0.060 (0.007)	0.052（0.009）	0.065 (0.006)
			洛博	0.067（0.006）	0.058 (0.007)	0.049 (0.009)	0.060 (0.007)
		100：50	重新划分	0.068（0.007）	0.059（0.008）	0.050 (0.009)	0.065（0.007）
			洛博	0.067 (0.007)	0.056（0.008）	0.048（0.010）	0.060 (0.007)
		100:100	重新划分	0.068（0.005）	0.059 (0.006)	0.051（0.007）	0.064 (0.005)
			洛博	0.067（0.005）	0.057（0.006）	0.049 (0.008)	0.061 (0.006)

	0 - 0.2	50:50	重新划分	0.145 (0.013)	0.130 (0.015)	0.111（0.020）	0.141（0.014）
			洛博	0.143（0.014）	0.125（0.016）	0.105（0.022）	0.131（0.015）
		50：100	重新划分	0.146（0.010）	0.132 (0.012)	0.111（0.017）	0.141（0.011）
			洛博	0.144（0.011）	0.129 (0.013)	0.107（0.018）	0.133 (0.012)
		100：50	重新划分	0.145 (0.012)	0.130 (0.014)	0.109 (0.018)	0.140 (0.013)
			洛博	0.144（0.012）	0.125（0.015）	0.106（0.020）	0.133 (0.013)
		100:100	重新划分	0.145（0.009）	0.131（0.011）	0.110 (0.015)	0.139 (0.010)
			洛博	0.144（0.009）	0.128 (0.011)	0.108（0.015）	0.134 (0.010)

0.6-0.9	0 - 0.1	50:50	重新划分	0.081（0.006）	0.065（0.009）	0.076（0.007）	0.084 (0.006)
			洛博	0.081（0.006）	0.060（0.011）	0.076（0.007）	0.079（0.008）
		50：100	重新划分	0.081（0.004）	0.066（0.008）	0.076（0.005）	0.083（0.004）
			洛博	0.081（0.004）	0.062（0.009）	0.075（0.005）	0.080 (0.005)
		100：50	重新划分	0.081（0.005）	0.065（0.009）	0.076（0.006）	0.084 (0.005)
			洛博	0.081（0.005）	0.061（0.010）	0.075（0.006）	0.079（0.008）
		100:100	重新划分	0.081（0.004）	0.065（0.008）	0.076（0.005）	0.083（0.004）
			洛博	0.081（0.004）	0.063（0.008）	0.075（0.005）	0.081（0.004）

	0 - 0.2	50:50	重新划分	0.167（0.010）	0.141（0.016）	0.157 (0.013)	0.173（0.010）
			洛博	0.167（0.011）	0.133（0.018）	0.156（0.013）	0.164（0.013）
		50：100	重新划分	0.168（0.008）	0.143（0.013）	0.157（0.010）	0.171（0.008）
			洛博	0.167 (0.008)	0.137（0.014）	0.156（0.010）	0.167 (0.008)
		100：50	重新划分	0.167（0.010）	0.141（0.016）	0.156（0.012）	0.172（0.010）
			洛博	0.167（0.010）	0.134（0.017）	0.155（0.012）	0.165（0.013）
		100:100	重新划分	0.167 (0.007)	0.142（0.013）	0.156（0.009）	0.171 (0.007)
			洛博	0.167 (0.007)	0.138 (0.013)	0.156（0.009）	0.167 (0.007)

5.例子

5.1。例1

我们使用来自癌症和白血病组研究90206的数据，这是转移性肾细胞癌的III期临床试验[29.那30.]，提供我们所提出的方法的一个例子。该研究随机化732名患者，369例抗VEGF治疗和363〜对照组[29.那30.］．该试验设计有588人死亡，以便对数秩统计数据具有86％的力量，以检测死亡人数为0.76的危险比，假设双面显着性水平为0.05。该试验收集患者的血浆，以研究血管生成和炎症标志物与临床结果的关系。相关科学研究的主要目的是将抗VEGF生物标志物与总存活的血管瘤测定相关，并建立预测临床结果的预后模型[31.那32.］．另一个目的是将抗VEGF生物标志物与最佳的客观反应率相关联（定义为部分或完全反应）。血管瘤多路复用阵列经历了严格的评估，以确保数据质量[31.那32.］．进行的标记包括Ang-2，BFGF，BMP-9，CRP，endoGlin，Gro-A，HGF，ICAM-1，IGFBP-1，IGFBP-2，IGFBP-3，IL-6，IL-8，MCP-1，opn，p-selectin，pai-1-active，pai-1-total，pdgf-aa，pdgf-bb，pedf，PLGF，SDF-1，TGFβ1，TGF.β2，TGF.β3-R3, TSP-2, VCAM-1, VEGF, VEGF- c, VEGF- d, VEGF- r1, VEGF- r2。

我们使用随机森林，套索和自适应套索来选择33个生物标志物的前三名生物标志物，以获得最佳客观反应。选择具有最高AUC（0.576,0.610和0.563）的前三个基因（HGF，IL_6和VEGF_R2）作为示例，以证明AUCS彼此接近的情况作为使用的潜在优势提出的方法。这三种生物标志物PAC的经验估计为0.012,0.012和0.028。非反应者和响应者的相关矩阵是

该方法提供以下组合：估计PAUC为0.0427，估计标准偏差为0.0080，基于1,000个自举抽样。

相比之下，Suliu方法提供以下组合：估计PAUC为0.0426，估计标准差为0.0084。

刘方法提供以下组合：估计PAUC为0.0254，估计标准偏差为0.0099，而逻辑方法具有以下组合：估计的pac为0.0422，估计的标准差为0.0084。

5.2。例2.

在本节中，我们将提出的MIN-MAX方法以及SULIU、LIU和LOGISTIC方法应用于一个包含125名女性的杜氏肌营养不良(DMD)数据集。这些生物医学数据最初包含209个观察结果(134个为“正常”，75个为“携带者”)，Cox等人对此进行了研究。[33.]为了开发筛查方法，以鉴定基于对血样的四次测量来鉴定罕见遗传疾病的载体。该数据集在文献中已广泛研究，用于通过使用ROC分析来提高分类准确性。主要目的是将四个标记组合以提高筛选女性作为潜在DMD载体的诊断准确性。例如，康等人。[14.]应用逐步方法将四个制造商组合在此数据中以改善AUC;Hsu和hsueh [18.俞和公园[19.]将其提出的算法应用于此数据的PAUC。

由于在每个血液样本中测量了四个不同的变量M1-M4，如果一个人在几个不同的时间点抽血，我们通过对每个测量值取平均值来处理数据。在125名女性中，87名正常，38名携带者。

类似地，我们研究了四种不同方法在0-0.2范围内对pac的性能。由于四个测量值在不同的尺度上，我们使用标准化方法，即在使用MIN-MAX方法之前，将每个值除以该变量的范围。表示标准化标记值。对于M1-M4，这四个生物标志物PAC的实证估计分别为0.1472,0.0436,0.1086和0.1229。全AUC的经验估计为0.9034,0.6057,0.8232和0.8814。无回应者和受访者的相关矩阵是

该方法提供以下组合（表5.）：利用0.161的估计PAUC，估计标准偏差为0.0119，基于1,000引导抽样。


方法	M1	M2	M3	M4	PAUC

敏敏	-	-	-	-	0.161
SULIU	1	12.6333	7.7165	13.6415	0.137
刘	1	0.5248	0.7805	-0.1087	0.151
物流	1	0.6950	1.3806.	0.2545	0.156

相反，SULIU方法提供了以下组合(表5.）：估计的pac为0.137，估计的标准差为0.0157。

LIU方法提供了以下组合(表5.）：估计0.151的估计PAUC和0.0135的估计标准偏差，而逻辑方法具有以下组合（表5.）：估计PAUC为0.156，估计标准偏差为0.0138。

数字1呈现每个方法的性能。

6.讨论

在本文中，我们将MIN-MAX方法扩展到PAUC的估计，并将其表现与三种常用的方法进行比较。所提出的方法具有MIN-MAX方法和PEPE和汤普森的方法的优点[16.］．这种方法的预期优势是三倍。首先，它可以在ROC曲线下产生更大的部分区域。其次，它是一种非参数方法，因此对分布假设具有稳健。最后，它是计算可行和有效的，因为MIN-MAX程序仅涉及仅搜索一个单个系数。我们的作品[9.那10.]已经表明，使用PAUC的使用不仅是临床用途，而且比在ROC曲线下的区域内的区域内的家庭在近距离绕线的情况下使用完整AUC的统计学更有效。这种方法的另一个优点通过我们的仿真研究表明，在直线形状的伽马中ROC曲线的情况下，基于重新取代的PAC的估计接近基于LOPO交叉验证的估计。这意味着PAUC上的MIN-MAX方法导致良好的相互性。

正如几位作者所指出的那样[14.那22.那34.]，使用再替代来估计ROC曲线下的面积通常会导致过于乐观的结果，或对独立数据集或未来观察的向上偏倚估计。Huang et al. [22.]建议使用LOPO交叉验证以获得更少的偏见估计。康等。[14.]应用Lopo交叉验证以比较不同的组合方法来最大化AUC。因为通过交叉验证的估计导致其推广到独立数据集的能力，我们建议使用交叉验证，当基于重新替换和交叉验证方法的决策是不同的。基于我们的仿真结果，观察估计PAUC的标准偏差随着样本尺寸的增加而降低的标准偏差并不令人惊讶地逐渐减少，并且基于再替换方法的PAUC估计变得更加接近PAC的估计在Lopo交叉验证时，样本尺寸增加。

评估诊断测定和生物标志物的预后表现将继续仍然是几个医疗领域的重要研究课题。这在肿瘤学中尤其如此，其中开发并验证了基于几种生物标志物组合的诊断测定。例如，开发和验证了22-基因模型以预测前列腺癌症风险[35.］．此外，鉴定临床结果的预测标记是一种热门的研究领域，因为找到了定制患者的最佳治疗，不仅对患者而且对医生，保险公司和整体社会而言是有吸引力的。目前，若干预测因子或结果的签名用于指导临床试验中的疗法[35.］．例如，Oncotypedx，一种21-基因表达签名，用于根据复发评分选择乳腺癌患者的治疗[36.］．认识到更多的预测因子将继续应用于临床的事实，当开发出一种生物标志物组合时，将导致最高的pac是至关重要的。

基于我们广泛的模拟，我们的建议如下:

（1）使用Suliu或Logistic方法估计PAUC，具有大致相等的变差多变量正常数据，而不管是否生物标志物之间的AUC相对靠近还是相距差别。刘的方法低估了PAUC大约1/3。这部分是由于身份矩阵的特征向量的不稳定性，因为刘的方法涉及计算对应于最小特征值的特征向量在这种情况下哪个是单位矩阵那并且对应于最小特征值的特征向量在身份矩阵的小扰动下不稳定[15.］．

（2）利用MIN-MAX方法估计PAUC与不平等的差异多变量正常数据相对较近，并且当AUCS相距较远时使用Suliu的方法。

（3）采用最小最大方法来估计当AUCS相对接近时具有高度偏斜的数据的PAUC，但是当AUCS相距较远时使用逻辑方法。

（4）使用MIN-MAX方法以直线形ROC曲线估计PAUC，无论AUCS是否靠近或相距甚远。

总之，最小最大的方法似乎是强大的，鼓励调查人员在估计PAUC的估计中。实现简单，实现可行。在个性化药物的时代，预计对诊断测定的评估和生物标志物组合的性能将仍然是重要的研究领域，不仅在诊断患者方面还在治疗疾病患者方面。

数据可用性

来自模拟的数据可从第一作者获得。CALGB 90206的数据可以通过肿瘤学中的临床试验中的联盟访问。

信息披露

本文的内容是在德克萨斯州奥斯汀的2016年东部北美地区年会上举行。

的利益冲突

作者声明他们没有利益冲突。

致谢

这项工作部分由NIH R01CA155296，U01CA157703，前列腺癌基础挑战奖和美国陆军医学研究（奖项W81XWH-15-1-0467和W81XWH-18-1-0278）部分资助。刘的研究得到了支持尤尼斯肯尼迪施莱佛国家儿童健康与人体发展学院历史研究计划。

参考文献

J. a . Hanley和B. J. McNeil，“接受者工作特征(ROC)曲线下面积的含义和使用”，放射学，卷。143，不。1，pp。29-36,1982。查看在：出版商网站|谷歌学术
X.-h.Zhou，N.A. Obuchowski，D. K. McClish，诊断医学中的统计方法，Wiley系列概率与统计，Wiley-Interscience [John Wiley＆Sons]，纽约，纽约，美国，2002年。查看在：出版商网站|Mathscinet.
M. S. Pepe，分类和预测医学测试的统计评估，卷。28岁牛津统计科学系列《牛津大学出版社》，英国牛津，2003年。查看在：Mathscinet.
D. K. McClish，《分析部分ROC曲线》，医疗决策，卷。9，不。3，pp。190-195,1989。查看在：出版商网站|谷歌学术
江勇，C. E. Metz, R. M. Nishikawa，“高灵敏度诊断测试的接收器工作特性部分区域指数”，放射学，卷。201，没有。3，pp。745-750,1996。查看在：出版商网站|谷歌学术
L. E. Dodd和M. S. Pepe，“部分AUC估计和回归”，生物计量学:国际生物计量学会杂志，第59卷，第59期3，页614-623,2003。查看在：出版商网站|谷歌学术|Mathscinet.
Y. He和M. Escobar，“受试者操作特征曲线下部分区域的非参数统计推断方法，应用于基因组研究”，医学统计，卷。27，不。25，pp。5291-5308，2008。查看在：出版商网站|谷歌学术|Mathscinet.
D. D. Zhang，X.-h.周，D. H.Freeman Jr.和J.L.Freeman，“一种非参数化方法，用于比较ROC曲线下的部分地区及其在大型医疗数据集的应用程序”，医学统计，卷。21，不。5，PP。701-715,2002。查看在：出版商网站|谷歌学术
H. MA，A. I. Bandos，H. E. Rockette和D. Gur，“关于在ROC曲线下使用部分区域进行诊断性能的评估”医学统计，卷。32，不。20，pp。3449-3458,2013。查看在：出版商网站|谷歌学术|Mathscinet.
H. MA，A. I. Bandos和D. Gur，“关于ROC曲线下的部分区域的使用，以比较两个诊断测试，”生物习题杂志(第57卷)2, pp. 304-310, 2015。查看在：出版商网站|谷歌学术|Mathscinet.
J. Q. Su和J. S. Liu，“多种诊断标记的线性组合”美国统计协会杂志，卷。88，不。424，PP。1350-1355,1993。查看在：出版商网站|谷歌学术|Mathscinet.
A.刘，E. F. Schisterman和Y.Zhu，“关于生物标志物的线性组合，提高诊断准确性”医学统计，卷。24，不。1，pp。37-47,2005。查看在：出版商网站|谷歌学术|Mathscinet.
Jin H.和Lu Y.，“广义线性模型下多个预测器的最优线性组合”，统计与概率信，卷。79，没有。22，pp。2321-2327,2009。查看在：出版商网站|谷歌学术|Mathscinet.
L. Kang，A.刘和L. Tian，“线性组合方法，提高未来观察的诊断/预后准确性”，医学研究中的统计方法，卷。25，不。4，pp。1359-1380,2013。查看在：出版商网站|谷歌学术|Mathscinet.
R. Allez和J. Bouchaud，“特征vector动态：一般理论和一些应用程序”物理评论E：统计，非线性和软质物理，卷。86，没有。4，第2012号物品ID 046202,2012。查看在：出版商网站|谷歌学术
M. S. Pepe和M. L. Thompson，“结合诊断测试结果来提高准确性”生物统计学， vol. 1, no. 12，页123 - 140,2000。查看在：谷歌学术
M. S. Pepe, T. Cai，和G. Longton，“使用接收者工作特征曲线下的面积组合分类预测因子”，生物计量学:国际生物计量学会杂志，卷。62，没有。1，pp。221-229,219,2006。查看在：出版商网站|谷歌学术|Mathscinet.
蔡明俊。许和小时。Hsueh，“最大化ROC曲线下部分面积的生物标志物的线性组合，”计算统计数据，卷。28，不。2，pp。647-666,2013。查看在：出版商网站|谷歌学术|Mathscinet.
W. yu和T. Park，“两种简单的多种生物标志物的线性组合算法，以最大化ROC曲线下的部分区域”，“计算统计和数据分析，卷。88，pp。15-27,2015。查看在：出版商网站|谷歌学术|Mathscinet.
C.刘，A.刘和S. Halabi，“敏捷组合的生物标志物组合，以提高诊断准确性”医学统计，第30卷，第2期第16页，2005-2014,2011。查看在：出版商网站|谷歌学术|Mathscinet.
P. J.Heogerty和M. S. Pepe，“回归量数量的半曝气量估计，适用于美国儿童的高度和年龄的标准体重”，“英国皇家统计学会学报:C辑(应用统计学)，卷。48，不。4，pp。533-551,1999。查看在：出版商网站|谷歌学术
“基于AUC的诊断试验的最优组合，”生物计量学:国际生物计量学会杂志，卷。67，没有。2，pp。568-576，2011。查看在：出版商网站|谷歌学术|Mathscinet.
J. P. egan，信号检测理论和ROC分析，学术出版社，美国纽约，1975年。
D. D. Dorfman, K. S. Berbaum, C. E. Metz, R. V. Lenth, J. A. Hanley，和H. A. Dagga，“适当的接受者工作特征分析:bigamma模型，”学术放射学，卷。4，不。2，pp。138-149,1997。查看在：出版商网站|谷歌学术
D. Faraggi, B. Reiser和E. F. Schisterman，“基于汇集评估的生物标志物ROC曲线分析”，医学统计第22卷第2期15，第2515-2527页，2003。查看在：出版商网站|谷歌学术
Y. Huang和M. S. Pepe，“一种基于ROC模型的参数化方法用于评估病例对照研究中连续标志物的预测性，”生物计量学:国际生物计量学会杂志，卷。65，不。4，pp。1133-1144,2009。查看在：出版商网站|谷歌学术|Mathscinet.
J. A. Hanley，“接受者操作特征(ROC)方法论:最先进的状态”计算机断层扫描的关键评论，第29卷，第2期3，第307-35页，1989。查看在：谷歌学术
R. B. Nelsen，Copulas介绍，卷。139统计讲义，春天，柏林，德国，1999。查看在：出版商网站|Mathscinet.
B. I. Rini，S. Halabi，J.E.Rosenberg等，“Bevacizumab Plus干扰素Alfa与转移性肾细胞癌患者的干扰素Alfa单疗法：Calgb 90206，”临床肿瘤学杂志，卷。26，不。33，PP。5422-5428,2008。查看在：出版商网站|谷歌学术
B. I. Rini, S. Halabi, J. E. Rosenberg等，“贝伐单抗联合α干扰素治疗与α干扰素单治疗治疗转移性肾细胞癌的III期试验:CALGB 90206的最终结果”临床肿瘤学杂志，卷。28，不。13，pp。2137-2143，2010。查看在：出版商网站|谷歌学术
A. B. Nixon, S. Halabi, I. Shterev et al., “Identification of predictive biomarkers of overall survival (OS) in patients (pts) with advanced renal cell carcinoma (RCC) treated with interferon alpha (I) +/- bevacizumab (B): Results from CALGB 90206 (Alliance),”临床肿瘤学杂志第31卷第1号条款4520年,2013年。查看在：谷歌学术
A. B. Nixon, H. Pang, M. D. Starr等，“晚期胰腺癌患者的预后和预测性血液生物标志物:来自CALGB80303(联盟)的结果”，临床癌症研究，卷。19，没有。24，pp。6957-6966,2013。查看在：出版商网站|谷歌学术
L. H.Cox，M.M. Johnson和K. Kafadar，“统计图形技术的博览会”统计计算部分ASA诉讼程序的诉讼程序，pp。55-56,1982。查看在：谷歌学术
J. B.Copas和P. Corbett，“高估了接收器操作特征曲线，用于逻辑回归，”Biometrika，卷。89，没有。2，pp。315-331,2002。查看在：出版商网站|谷歌学术|Mathscinet.
N. Erho, a . Crisan, I. a . Vergara等，“前列腺癌基因组分类器预测根治性前列腺切除术后早期转移的发现和验证，”普罗斯一体，第8卷，第2期6、文章编号e66855, 2013。查看在：出版商网站|谷歌学术
J. a . Sparano, R. J. Gray, D. F. Makower等人，“乳腺癌中21个基因表达检测的前瞻性验证，”新英格兰医学杂志，卷。373，没有。21，pp。2005-2014,2015。查看在：出版商网站|谷歌学术

概率与统计学报

生物统计学的新进展

摘要