文摘

健壮的回归是一个重要的迭代过程,分析数据集与异常值和不寻常的观察和减少污染的回归系数的影响。介绍了稳健估计方法处理异常值的问题,提供高效、稳定的估计在他们面前。各种鲁棒估计在文献中已经发展限制的无限的影响异常值或杠杆点模型估计。在这里,一个新的redescending M-estimator提出使用一种新的目标函数和主要专注于让高度健壮和高效的估计,给出承诺的结果。很明显的结果,对于正常的和干净的数据,该估计量几乎是普通最小二乘法和有效,然而,时便成了高度抵抗异常值用于被污染的数据集。仿真研究正在进行评估的性能提出redescending M-estimator在不同数据生成场景包括正常,t分布和双指数分布不同级别的异常值的污染,结果比较与现有redescending M-estimators,例如,胡贝尔,图基Biweight, Hampel,和Andrew-Sign功能。提出的性能估计也检查估计的使用真实的数据应用,发现该估计给有前景的结果比现有的估计。

1。介绍

健壮的回归是一个替代方法时普通最小二乘法(OLS)回归的基本假设是违反自然的数据。OLS方法要求几个假设适合回归线有效,但它产生很差的估计回归系数时相同的假设并不满足,因此,残差变得非常大导致过高的标准错误,这会严重扭曲模型预测。因此,置信区间变得更广泛,回归系数的估计不再是渐近一致。观测偏差估计的参数被称为坏杠杆点,而观测,在预测线被称为杠杆点好。

在回归系数的估计,如果假设OLS的违反,那么这个问题通常是固定使用转换技术。转换后的变量有时消除影响力的异常值的影响,从而影响回归系数的意义,也会导致不正确的预测。在这些情况下,稳健回归方法对异常值变得只剩下最好的选择以适应回归线并找到有效的回归系数的估计。

一个回归模型通常被定义为 的因变量Y和真正的残差向量ε是nx 1,设计矩阵X是n×p。写估计的β, 对相应的拟合残差。

常用的最小二乘法回归模型的参数估计在某些假设;例如,错误的术语可能遵循正态分布与零均值和方差不变,即e_我∼N(0,δ²)。基本概念的最小二乘参数估计的原理是最小化残差平方和。对于正常的数据,定义的最小二乘法估计 在哪里 代表了残差向量。然而,这估计是非常敏感的观察和不好甚至一个小离开正常的数据点。因此,统计学家和数据科学家一直在努力引入新的健壮的高度对离群值的方法。

虽然许多健壮的方法提出了对于文学中较强的抵抗力。例如,一些流行的鲁棒回归估计这里介绍:L1-estimator, M-estimator, R-estimators, GM-estimator, RM-estimator, S-estimator, LMS, LTS MM;τ估计量和redescending M-estimators [1,2]。然而,没有单一的方法可以胜过所有边远场景中的所有方法。一个方法可能是一个例外情况良好,表现良好但可能不适合其他偏远的情况。

保持视图的弱性能可靠的估计,本文尝试引入小说redescending M-estimator优于现有的鲁棒方法的效率和鲁棒性,这给了有前景的结果。本文的主要贡献是提出一个新的redescending M-estimator有潜力表现良好在几乎所有种类的污染数据集在不影响其效率。

2。文献综述

在本节中,我们提出并讨论那些健壮的方法,介绍了文献中由不同的研究人员,主要目的是应对问题的异常值,可以垂直异常值或杠杆点。这些方法的细节如下。

2.1。L-Estimators

L-estimators计算通过使用一些次序统计量的线性组合。第一种这个估计量称为L-estimation方法。它比经典的抗普通最小二乘法和被称为最小绝对偏差(小伙子)回归,这也被称为l₁回归,因为它最大限度地减少绝对偏差的总和。最小绝对值是一个非常简单和容易的程序向有界稳健回归的影响。最小二乘法回归,回归的最小平方的总和,也符合的定义l估计和有时被称为l₂规范。其他类型的L-estimators最小值的平方(LMS)和至少修剪广场(LTS)。然而,一个简短的讨论L-estimators给出如下。

2.2。最小绝对偏差(小伙子)估计量

小伙子估计在1887年引入的埃奇沃斯(3),这是对异常值,特别是当他们出现在因变量的方向y。回归系数的估计可以通过最小化残差的绝对值的总和。最小绝对值回归的数学形式定义为

小伙子估计的目标函数用是一种更普遍的分位数回归和可以写成 在哪里 和ω是分位数,需要估计。更多细节在分位数回归的主题及其应用给出了Koenker和巴塞特4]和Koenker & D 'orey [5]。

虽然小伙子不受异常值影响的方向响应变量y并执行比OLS,然而,当不寻常的值出现在解释变量的方向x(称为杠杆点)的方法小伙子产生很差的估计回归系数作为其击穿点为零,即,和平民主党=0。的小伙子估计不是有效的意思是,使用的假设 和抽样的方差y普通最小二乘法(OLS) ,和小伙子它是 倍OLS的方差,即, 。低击穿点的离群值的方向解释变量x和低效率小伙子相比普通最小二乘法(OLS),这使得小伙子回归估计的吸引力比其他稳健回归方法(6]。

2.3。中间的方块(LMS)回归

最小值的平方(LMS)介绍了Rousseeuw和Yohai [7),基于残差平方的中值代替平方之和残差中使用普通最小二乘法。最小值平方的数学形式给出 在哪里 是订购方残差和选择最优覆盖吗 在这里,p回归系数的数量是估计包括截距项。LMS过程执行大部分的数据点。一个正式的技术表达和量化这个特性取决于击穿点的估计量。通常,故障点(BD)的估计量的最低分数是数据点的变化,可以使一个估计量大。的故障点位置的估计,也就是是说,是百分之零,甚至是一个例外n可以把任意大的变化。同样,击穿点的中值为50%。可以看出,这些数字持续回归;也就是说,the breakdown point for OLS is 0%, and that for the LMS regression is 50%. Since the breakdown point of LMS estimator is 50%, therefore, it has certain disadvantages that limit its use. The maximum relative efficiency of LMS is 37% [8];的收敛速度n^−1/3影响函数没有定义良好的7]。尽管有这些缺点,可以看出LMS估计显著和发挥重要作用的计算效率估计称为MM-estimators给剩余的初步估计。

2.4。至少修剪广场(LTS)估计量

至少修剪广场(LTS) Rousseeuw提出的估计是在1984年,基于减少残差平方和的想法,允许一些观测残差可能很大。LTS估计的原理是修剪的最小化残差平方和。通常定义为以下数学表达式: 在哪里 是观察的子集与最低最小二乘残差最小的目标函数,然后呢λ削减的比例值。它相当于搜索寻找观测残差最小,应用LS适合这些观察。的值为 LTS击穿点估计量是50%,也就是说。,BDP = 0.50 (9]。

即使LTS估计有更多阻力异常值,它遭受的问题相对效率很低(10]。因为LTS估计量的效率低,它不是一个可取的。LTS估计量的重要性是不可否认的,因为它在计算中起着重要作用的其他稳健估计像通用汽车- - - - - -估计,引入了麻省和Hettmansperger11];和获得的残差LTS方法可以成功地用于异常值诊断情节。

3所示。Huber M-Estimators

为了限制在回归问题,异常值的影响米介绍了估计量的胡贝尔(12),通过最小化减少迅速增加残差的函数而不是残差平方和。发展背后的主要目的是使效率之间的权衡OLS估计量和鲁棒性的小伙子。M-estimator只不过是泛化的OLS和小伙子估计。M-estimation的方法是基于残差的一些函数的最小化。的健壮性M-estimation取决于权函数的选择。

如果的假设,就像线性、方差齐性和误差之间没有相关的经典回归,得到满足,那么的OLS估计量β可以通过最小化误差平方的总和利用最大似然估计的方法,例如,

M-estimator基于的标准函数的平方的总和最小化残差少被替换为一个迅速增加的函数残差,说, ,也就是说, 的函数称为目标函数,它具有以下属性:(我) (2) (3) (iv) 为 (v)ρ是连续的(ρ可微的)

M-estimator不一定是规模不变(即。,如果错误r_我= 乘以一个常数,是情商的新的解决方案吗。(8)可能不是一样的旧)。的ψ函数的求导得到目标函数的系数 ,然后给出了一个系统,将其等同于零k+1估计方程的系数, 在哪里ψ是得分函数。然后通过加权函数的双函数除以相应的残差,也就是说,=ψ(r_我)/r_我。现在,假设 ,然后上面的估计方程可以写成

M-estimator计算的迭代方法需要解决上述系统的非线性方程。为此,最常用的优化技术是迭代的再加权最小平方(irl)方法。

3.1。Redescending M-Estimators

Redescending M-estimator Hampel于1972年提出了(13),也被称为三redescending M-estimator。目标函数ρ(r_我)redescending估计量是有限的,而对于大型的残差值,其双函数ψ重新下降至零。Redescending M-estimators完全拒绝极端异常值,因此比M-estimators更健壮。另外,如果的导数ρ(目标函数)redescends为零,估计是redescending M-estimator,也就是说,

的击穿点redescending M-estimators大约等于0.5和被认为是高击穿健壮的估计。如此高的击穿点的得分函数估计顺利redescends为零(14]。有许多类型的redescending M-estimators,其中一些讨论如下。

3.2。Hampel是由三部分组成的函数

Hampel三部曲redescending M-estimator介绍了安德鲁斯et al。15),被认为是第一次尝试向redescending M-estimator。Hampel目标函数的估计是一个阶跃函数,也称为Hampel redescending估计的三个部分。客观、ψ和Hampel权函数的估计如下:

Hampel定义的目标函数

相应的redescendingΨ-function

权函数是 的参数一个,b,c是常数,其范围不同吗 。Hampel估计的性能是有效的,如图1。得分函数可微的。然而,平稳 - - - - - -函数需要导致安德鲁斯的正弦函数的发展。

3.3。安德鲁的正弦函数

安德鲁斯et al。15)引入了一个新的redescending M-estimator俗称Andrews-sine函数。这个估计是抗异常值和顺利redescending可以观察到从图2。Psi,目标函数和权函数的Andrews-sine估计如下:

相应的redescendingΨ-function

权函数是

我们图ρ函数、Ψ-function和图的权函数2。

3.4。图基Biweight函数

Beaton和图基16]介绍了biweight函数。图基biweight函数的光滑,已经成功地应用,广泛用于各种各样的应用程序。目标函数ρ,Ψ-function,权函数可以定义如下:

相应的Ψ-function

权函数是

我们图ρ函数、Ψ-function和图的权函数3。

3.5。迭代再加权最小二乘(irl)

由于没有封闭形式的解决方案的健壮的估计量,因此,irl匹配算法通常用于估计回归系数。在发现残差之前,需要适应模型,它是不可能在一个单一的步骤。无法找到回归系数的估计到残差的值是已知的。这就是为什么采用迭代再加权最小二乘的方法。它有以下步骤:(我)回归直线拟合的数据通过OLS方法通过设置迭代计数器我=0,初始值的回归参数的估计。(2)初步估计的残差权重可以找到从拟合提取了OLS回归的数据。(3)权函数然后应用OLS残差的初始值来创建初步的重量, 。(iv)加权最小二乘法最小化从而获得在第一次迭代我=0。以矩阵形式,W代表n×n对角矩阵的权重,解决方案 (v)新的权重 可以获得从最初的残差加权最小二乘(WLS)。(vi)新的权重在下一次迭代中使用,我=2、加权最小二乘(WLS)来估计 。(七)当估计的迭代将停止从上一次迭代稳定。

一般来说,在每一个问迭代,解决方案是 ,在哪里 。迭代的过程一直持续到 。应该停止迭代,解决方案被认为是聚合如果估计的偏差不超过0.01%来自前面的迭代。

M-estimators被认为是强劲的情况下错误的重尾分布时,误差的方差不遵循方差齐性的假设,和因变量异常值出现的方向y。M-estimators也考虑到矩阵X模型的测量没有错误。在这些情况下,M-estimators被认为是更有效的比OLS估计(14]。

M-estimates大约是95%的效率比OLS古典回归模型的假设下。尽管M-estimators发达的OLS尤其是阻力和鲁棒性不寻常的数据点,而出现的方向y,如最小绝对值(洗手间)估计,M-estimators并不完全对古怪的观察,因为他们没有那些杠杆的异常值点。是指出M-estimates位置的高度健壮,因为他们有击穿点(BDP) 0.5以及有界的影响函数,但M-estimates回归只这些特征y但不是x,因此他们的击穿点等于零,即,BDP = 017]。换句话说,在某些情况下,M-estimators执行并不比OLS (2]。M-estimators的重要性是不可否认的,因为它在计算中起着重要作用更健壮的估计。

4所示。提出了估计量

Redescending估计目标最小化在哪里是偶数,光滑、可微的,连续函数。的选择主要取决于保持视图估计的目的。例如,函数的目标函数应该是能够抵抗极端异常值和应该有界的影响力ψ函数,为大残差为零。同样,redescending估计应该有理想微分平滑函数保持高效和鲁棒性。

在这项研究中,尝试覆盖的一些缺点上述redescending估计。为此,切双曲函数的性质进行了评估,并发现切双曲线函数满足所有属性关联到一个良好的目标函数如下提到的。

考虑以下切双曲函数作为目标函数: 在哪里c和r_我在上面定义的目标函数是调优常数和残差在疯狂。被提议的ρ函数满足所有属性关联到一个良好的目标函数,即(我) (2) ,目标函数是零残留r_我=0(3) ,目标函数应该是单调的(iv) 为 (v)ρ是连续的(ρ可微的)

获得相应的得分函数Ψ提出的一阶导数ρ函数,

同样,获得相应的权函数Ψ除以- - - - - -函数通过r_我,我们得到

目标函数的图形表示,得分函数,权函数呈现在图4。

一个健壮的估计量的一个重要特点是故障点(BDP)和效率,衡量一个健壮的估计量的稳定对于多少是一致的对野生数据点的数据集。一种常见的做法,这些问题是效率和阻力之间的妥协;选择一个最优估计量,最大阻力最小效率下降的情况。换句话说,避免一个健壮的估计量最大效率的成本损失,你也不应该选择完全nonrobust估计量与最大效率,但更喜欢这两个属性之间做出妥协。该Ψ-function,如图2 (b),有不同的机制相比安德鲁的正弦图基biweight估计。得分函数Ψ意思是linear-straight线的,因此,它成为一个更有效的估计量提供,所有的假设的正常实现。时间越长和线性的中央部分提出Ψ-function表现线性中央观察,对大多数其他顺利redescending估计未能这样做。这个线性增加,当然,提高效率的最中央观察仍然满足正常的假设。Ψ-function,然后,redescends慢慢大值的残差,成为零值躺在特定的乐队。

最有趣的点估计量的权函数。提出的权函数估计量分配权重几乎等于1从零到温和的残差的大小,然后加权残差,因此异常值的重量,几乎等于零。图2 (c)显示了拟议中的权函数的图形。

5。模拟研究

评估的总体性能提出了估计量和现有方法在文献中,一个广泛的模拟研究。作为比较,数据集被模拟的不同数据集的分布和污染水平。模拟研究是由考虑不同的因素可能会影响模式和竞争结果的方法。为目的的模拟研究中,1000个数据集生成,提出了估计量,称为阿里redescending M-estimator,利用与胡贝尔图基biweight,安德鲁的sin, Hampel和OLS估计量。作为比较,总均方误差计算的所有复制在模拟研究中通过使用下列公式:

模拟数据集是来自著名的分布,其中两个则重尾分布。以下仿真场景被认为在这个研究:(我)生成两个从标准正态分布,即 (2)学生的t分布,即 (3)双指数分布,即 。

所有的数据都来自上述分布或一些污染增加了异常值的形式,和竞争的结果方法提出了以下表中的数据生成场景和维度。

每一个健壮的三个欲望属性方法偏差,效率和故障点。仿真研究的结果生成干净的数据集的正态分布λ= 0%水平的污染总结表1。它可以观察到从表中给出的结果1OLS估计量的最低总均方误差(TMSE)。拟议的阿里redescending M-estimator是一个很好的竞争对手OLS的总均方误差最小的和最高的效率。

表2给第二个场景中,获得的结果数据集的不同大小和数量的预测变量t分布,生成和总均方误差得到所有的竞争方法包括提出的估计量。从表中给出的结果很明显2该方法优于所有竞争的最小均方误差的方法。同样,表中给出的结果3基于模拟数据集标准拉普拉斯分布产生,这是一个沉重的尾随分布不同的样本大小和数量的预测。从给定的结果可以观察到的性能提出了基于最低总均方误差的估计比提到的其他方法。表4礼物总均方误差的估计以及基于数据集产生正常的竞争方法,观察是正常的90%,和10%的响应中包含异常值以及预测。从给定的结果,很明显,该方法比其他方法表现良好在几乎所有的最低TMSE数据生成场景与不同的样本大小和预测。从表5很明显,该方法更有效有最低TMSE相比的竞争方法模拟数据集,其中80%的标准正态分布的观测已经生成,剩下的20%是生成异常值相同的分布。

上面给出的结果表明,该方法的性能承诺更高的维度,这意味着随着样本量的增加,该方法的效率也会增加,TMSE减少。同样的,当预测数量的增加,提出了方法的性能变得更好,证明了该方法的性能对高维模拟数据集。从模拟结果表6,80%的解释性和响应变量的观测模拟从标准正态和20%相同的分布与不同location-scale参数如上所述,很明显,提出了阿里的性能估计更为高效的其他竞争方法总均方误差最小。此外,该估计量时显示类似的性能异常值的污染率从20%上升到40%,模拟数据如表所示7- - - - - -9。也从这些表中的结果一览无遗,提出了估计的性能改进从较小的样本量大,从最低到高维数据集。

6。应用在真实数据集

在本节中,提出了估计量的性能将使用真实世界的数据集评估以检查其性能以及其他竞争的方法。

6.1。Brownlee的堆栈数据损失

堆栈损失数据集是一个著名的数据集来自Brownlee [18]。它包括考试的植物氧化氨生产硝酸。有21个观测数据集和三个解释变量,也就是说,空气流(X₁),冷却温度(X₂)和酸浓度(X₃),因变量是stackloss (Y)。

表中给出的分析结果10给的估计回归系数及其相应的平方和计算OLS和现有的方法包括提出redescending M-estimator。回归系数的估计和拟合值提出了估计量获得的承诺而强劲的竞争方法如表所示。同样,通过提出模型的残差计算安装估计量小于模型的残差计算安装通过其他redescending M-estimators导致较小的残差平方之和。因此,从仿真研究以及实际数据的应用程序,它可以得出结论,提出了估计量的性能比redescending M-estimators认为在这项研究中。

7所示。结论

拟议中的redescending估计更连续、光滑、和线性在中间,,因此,根据温莎的原则,它满足几乎所有良好的估计量的性质异常值的存在。评估的总体性能提出了估计量,模拟研究在不同数据生成场景,例如,正态分布,t -分布和拉普拉斯分布以及不同的污染情况的反应以及解释变量。从仿真结果发现,当数据集是正常的,提出了估计量的性能几乎一样的OLS总均方误差,但它优于现有的稳健估计。以防被污染的数据集(即存在异常值时响应以及解释变量),该估计量被发现是最好的在所有所有样本大小的估计”n“和预测的数量”p“数据集的不同程度的污染。同样,它也可以从仿真结果得出结论,提出了估计量的性能改善了随着样本量的增加,同时保持其鲁棒性更高的比估计竞争。此外,提出了估计量的效率被发现高于其余的估计。同样的结果也发现在现实数据应用所提出的估计量比现有的估计量。最后,仿真研究的总结,以及实际数据的应用程序,所有的鲁棒估计执行对所有级别的污染作为回应,但是他们的性能变差的杠杆点。然而,该估计量是发现执行比所有redescending估计认为在这项研究中。

数据可用性

复制的结果,数据可从相应的作者。

的利益冲突

作者宣称没有利益冲突。