文摘
岭回归(马尔和Kennard, 1970)和Liu-type(1993年Liu)估计始终有吸引力收缩方法以减少多重共线性的影响,对线性和非线性回归模型。本文提出了一种新的估计解决多重共线性问题的线性回归模型。理论和仿真结果表明,在某些情况下,它执行比刘和岭回归估计在均方误差越小。两个真实(化学和经济)数据进行分析来说明论文的研究结果。
1。介绍
来描述这一问题,我们考虑下面的线性回归模型: 在哪里y是一个响应变量的向量,是一种已知的满秩矩阵的预测或解释变量,是一个向量的未知回归参数,是一个向量的错误,这样 ,和 , 是一个单位矩阵。普通最小二乘估计量(OLS)β在(1)被定义为 在哪里是设计矩阵。
OLS估计量在很长一段时间,直到它被证明预测变量之间存在多重共线性时效率低下。多重共线性是near-to-strong的存在或强线性关系的预测变量。不同作者开发了几个估计OLS估计量作为替代。这些包括斯坦估计量(1),主成分估计量(2),岭回归估计量(3),收缩估计量(4),修改岭回归(MRR)估计量5),和刘估计量6]。此外,一些作者已经开发出两个参数估计应对多重共线性的问题。作者包括Akdeniz和Kaciranlar [7];Ozkale和Kaciranlar8];Sakallıoğlu和Kacıranlar9];杨和张10];和最近Roozbeh11];Akdeniz和Roozbeh12];和Lukman et al。13,14),等等。
本文的目的是提出一个新的单参数ridge-type估计量的回归参数的预测变量模型是线性或near-to-linearly相关。因为我们想要比较的性能提出了估计量刘和岭回归估计量,我们会给他们每个人的简短描述如下。
1.1。岭回归估计量
马尔和Kennard3)最初提出了岭回归估计量。这是一个最受欢迎的方法来解决多重共线性问题的线性回归模型。岭回归估计量是通过最小化目标函数如下: 关于β,将产生正常的方程 在哪里k是负的常数。的解决方案(4)给出了岭估计量定义为 在哪里 ,k是偏置参数。马尔et al。15)定义的调和平均数版本岭回归估计量的偏置参数如下: 在哪里是OLS回归估计的均方误差形式使用方程(1),是我th系数和定义方程(17)。有大量的技术建议由不同作者估计偏置参数。提到一些,麦当劳和Galarneau16];无法无天,王17];Wichern和丘吉尔(18];Kibria [19];Sakallıoğlu和Kacıranlar9];Lukman和Ayinde20.];最近,萨利赫et al。21),等等。
1.2。刘估计量
刘估计量的通过增加(1),然后应用OLS估计量来估计参数。刘估计得到 在哪里 。偏置参数d刘估计量的定义如下: 在哪里是我th的特征值矩阵和这是定义在方程(17)。如果是负的,Ozkale和Kaciranlar8)采取下列选择偏置参数: 在哪里是我th组成部分 。
更多的在刘6)估计,我们参考读者Akdeniz Kaciranlar [7];刘(22];Alheety和Kibria23];刘(24];李、杨(25];菅直人et al。26];最近,Farghali [27),等等。
在本文中,我们提出一个新的类单参数估计量的山脊和刘估计,将把大部分的特点从山脊和刘估计。
1.3。新单参数估计量
该估计量是通过最小化目标函数如下: 关于β,将产生正常的方程 在哪里k是负的常数。的解决方案(11)给出了新的估计 在哪里 , 。新提出的估计量将被称为Kibria-Lukman(吉隆坡)估计量和用 。
1.3.1。新的估计量的性质
该估计量是一个有偏估计量,除非k= 0。 和均方误差矩阵(于广义)被定义为
比较四个估计的性能(OLS、RR Liu和KL),我们重写(1)的规范形式 在哪里和 。在这里,问是一个正交矩阵,这样吗Z 'Z=QX 'XQ=Λ=诊断接头(λ1,λ2、…λp)。的OLS估计量是
岭估计量(RE)是 在哪里和k是偏置参数。 在哪里 。
刘估计量的是 在哪里 。 在哪里 。
提出的单参数的估计量是 在哪里和 。
下面的符号和前题是必要的证明的统计性质 :
引理1。让n×n矩阵米> 0,N> 0(或N≥0);然后,米>N当且仅当λ1(纳米−1)< 1,λ1(纳米−1矩阵的最大特征值纳米−1(28]。
引理2。让米是一个n×n正定矩阵,即米> 0,向量;然后,当且仅当(29日]。
引理3。让 ,我= 1,2,是两个线性估计 。假设 ,在哪里表示的协方差矩阵和 。因此, 当且仅当 ,在哪里(30.]。
本文的其他部分如下。理论比较偏置参数的估计和评估中给出了部分2。模拟研究一直在构建部分3。我们进行了两个数值例子4。本文最终的结论部分5。
2。估计之间的比较
2.1。对比和
之间的区别和是
我们有下面的定理。
定理1。如果k>0,估计量优于估计量使用于广义的标准,当且仅当
证明。的区别(15)和(19)是
在哪里将正定(pd)当且仅当吗我们观察到,k> 0,
。
因此,是pd。
2.2。对比和
之间的区别和是
定理2。当估计量优于在于广义当且仅当 在哪里
证明。使用色散矩阵不同, 很明显,k> 0,G> 0,H> 0。根据引理1,很明显G- - - - - -H当且仅当> 0 ,在哪里矩阵的最大特征值吗因此,是pd。
2.3。对比和
之间的区别和是
我们有下面的定理。
定理3。如果k>0,0 <d< 1,估计量优于估计量使用于广义的标准,当且仅当 在哪里 。
证明。使用色散矩阵之间的差异, 在哪里和 我们观察到,pd当且仅当吗或 。很明显的k>0,0 <d< 1, 因此,是pd。
2.4。参数的确定k
需要估计的参数估计量为实际使用。脊偏置参数和刘收缩参数测定和马尔Kennard [3和刘6),分别。不同作者开发了其他这些岭参数的估计。提到一些,这些包括马尔et al。15];Kibria [19];Kibria和Banik31日];和Lukman Ayinde [20.),等等。的最优值k是最小化
区分 关于k给和设置 ,我们获得
的最优值k在(39)取决于未知参数和 。这两个估计是取代他们的无偏估计。因此,我们有
根据Ozkale Kaciranlar [8),最低版本的(41)被定义为
3所示。模拟研究
自估计理论的比较,岭回归,刘和KL部分2给估计之间的条件优势,使用R 3.4.1的模拟研究进行了编程语言看到更好的图片估计的性能。
3.1。模拟技术
模拟研究的设计取决于因素将影响估计量的性质进行调查和所使用的标准来判断结果。由于解释变量之间的共线性度是最重要的,在吉本斯(32]和Kibria [19),我们使用以下方程生成的解释变量: 在哪里独立标准正态伪随机数和吗代表任何两个解释变量之间的相关性。我们考虑在仿真和7。这些变量是标准化和在相关表单。的n观察因变量y是由以下方程: 在哪里是先验知识N(0,σ2),没有任何一般性的损失,我们将假设零截距的模型(44)。的值β选择这样= 1 (33]。因为我们的主要目标是比较的性能提出了估计量和岭回归和刘估计,我们考虑k=d= 0.1,0.2,…1。我们有限制k在0和1之间Wichern和丘吉尔(18)发现,岭回归时比OLS估计量k是在0和1之间。菅直人et al。26还提出一个更小的值k(小于1)更好。模拟研究是重复1000次的样本大小n= 30和100σ2= 1,25,100。对于每个复制,我们计算估计的均方误差(MSE)通过使用以下方程: 在哪里将任何估计(OLS、脊、刘、KL)。较小的估计量的均方误差将被认为是最好的。
模拟的结果n= 30, ,和ρ= 0.70,0.80ρ= 0.90,表0.99给出1和2,分别n= 100, ,和ρ= 0.7,0.80ρ= 0.90,表0.99给出3和4,分别。相应的模拟结果n= 30,100介绍了表5- - - - - -8。为了更好的可视化,绘制MSE vs。d为n= 30,σ= 10,ρ在数据= 0.70、0.90和0.991- - - - - -3,分别。我们还策划MSE vsσ为n= 30,d=。50, andρ= 0.90和0.99,提出了数字4和5,分别。最后,看到样本大小对MSE的影响,我们绘制MSE和样本量d= 0.5,ρ= 0.90,呈现在图6。
(一)
(b)
(c)
(d)
(一)
(b)
(c)
(d)
(一)
(b)
(c)
(d)
(一)
(b)
(c)
(d)
(一)
(b)
(c)
(d)
(一)
(b)
(c)
(d)
3.2。仿真结果和讨论
从表1- - - - - -8和数字1- - - - - -6看来,的值σ也增加,均方误差值增加(图3),而样本量增加作为MSE值降低(图4)。岭,刘,并提出KL估计均匀主导普通最小二乘(OLS)估计量。总的来说,从这些表,增加水平的多重共线性和解释变量的数量增加的估计均方误差值估计。OLS估计量的数据始终显示执行最差时存在多重共线性。从数据1- - - - - -6和模拟表1- - - - - -8它清楚地表明,或少,该估计量均匀主宰了岭回归估计量,而刘比提出和执行小岭d说,0.3或更少。当 ,岭回归执行最好的更高k,而提出了说估计性能也是最好的k(如0.3或更少)。当d=k= 0.5, ,脊和KL估计比刘估计量。没有估计统一支配对方。然而,看来我们提出的估计量,吉隆坡,性能更好的更广泛的空间d=k在参数空间。如果我们检查所有表1- - - - - -8,我们发现所有估计的结论性能保持不变的和 。
4所示。数值例子
为了说明我们的理论结果,我们认为两个数据集:(i)著名的波特兰水泥数据最初采用森林et al。34)和(2)从Chatterjee和哈迪(法国经济数据35),他们在下面几节中,分析了分别。
4.1。示例1:波特兰数据
这些数据被广泛称为硅酸盐水泥数据集。它最初是通过森林等。34]。它也分析了以下作者:Kaciranlar et al。36];李、杨(25];和最近Lukman et al。13]。这些数据被定义为的回归模型 在哪里=热演化经过180天的治疗以卡路里每克的水泥,=铝酸三钙,=硅酸三钙,= tetracalcium aluminoferrite,= - - - - - -硅酸二钙。预测变量的相关矩阵表9。
通货膨胀因素方差VIF1= 38.50,VIF2= 254.42,VIF3= 46.87,VIF4= 282.51。的特征值是 ,和 ,的条件数大约是424年。vif的特征值,和条件数表示的存在严重的多重共线性。估计参数和MSE展示在表10。似乎从表11该估计量执行最好的较小的MSE的感觉。
4.2。示例2:法国经济数据
法国经济数据Chatterjee和哈迪37)被认为是在这个例子。它已经被Malinvard分析38和刘6),等等。变量是进口的,国内生产、股票形成,国内消费。都是以代表法国法郎的1949年到1966年。
这些数据被定义为的回归模型 在哪里=进口,=国内生产,=股票形成=国内消费。给出的预测变量的相关矩阵表12。
方差通货膨胀因素 和 。的特征值矩阵是λ1= 161779,λ2= 158,λ3= 49.61,号码是32612。vif,如果我们回顾上述相关矩阵条件数,可以说,有存在严重的多重共线性存在的预测变量。
偏置参数的估计量定义在(41)和(42)。脊和刘的偏置参数估计提供了(6),(8)和(9),分别。
我们分析数据使用偏置参数的估计和呈现的结果表10和11。从表可以看出10和11该估计量执行最好的较小的MSE的感觉。
5。摘要和结论
在本文中,我们引入了一个新的有偏估计量,克服多重共线性的问题提供的多元线性回归模型和偏置参数的估计方法。模拟研究进行了比较的性能提出了估计量和刘6和岭回归估计3]。显然仿真结果表明,该估计量进行比刘和山脊在某些条件下的收缩参数。两组实际数据进行分析来说明的好处的上下文中使用新的估计线性回归模型。该估计量是推荐给研究人员在这个领域。其应用可以扩展到其他的回归模型,例如,逻辑回归,泊松,邮政,及相关模型,和那些可能性是在目前的调查(37,39,40]。
数据可用性
数据将在请求。
的利益冲突
作者宣称没有利益冲突。
确认
本文致力于对那些因为COVID-19失去了他们的生命。