多元回归模型的贝叶斯推动

抽象的

我们探讨了一个多元线性回归模型的贝叶斯推断使用一个灵活的先验的协方差结构。常用的贝叶斯设置包括共轭先验、回归系数的多元正态分布和协方差矩阵的逆Wishart规范。这里我们离开这个方法，提出一个新的贝叶斯估计协方差。考虑了协方差矩阵的矩阵对数的唯一元素的多元正态先验问题。这种结构允许协方差的更丰富的先验分布，关于先验位置超参数的信念强度，以及附加的能力，在协方差结构中建模潜在的相关性。基于数值结果，采用马尔可夫链蒙特卡罗方法计算了所有相关参数的后验矩。调用Metropolis-Hastings-within-Gibbs算法来构建与目标后态分布形状紧密匹配的建议密度。作为该技术的应用，我们基于1980年高中及以外调查进行了多元回归研究。

1.介绍

多变量多元回归模型是单变量多元回归模型的自然扩展。众所周知，关键差异是，单变量响应变量是多变量响应变量。通过利用多变量多元回归模型，可以建模响应矢量的协方差。从估计van der merwe和zidek [1]表明协方差结构所起的内在作用，然而，在单独的单变量多元回归模型的情况下，不同响应变量的协方差无法建模。尽管各种响应变量的均值的任何线性组合的最优点估计仍然可以得到，但如果不完全合并多元响应向量中的协方差，就不能得到该估计量方差的适当估计。在这个框架下，需要多元分析来最恰当地产生标准误差的估计。

作为一个特殊的例子，在教育测试数据中，当管理多个学科领域的考试时，通常的做法是简单地将单个考试分数的总和报告为总分数。例如，与学术能力倾向测试(SAT)最常见的衡量标准只是学生的口头成绩和数学成绩的总和。其他考试，如ACT考试，甚至有两个以上的学科领域，并报告一个综合分数，即各个学科分数的算术平均值。在这些情况下，需要通过获取不同科目考试的协方差进行多元分析，以正确估计最终分数的标准误差。

正式贝叶斯分析长期以来一直用于多变量多元回归模型[2］．在这方面广泛使用的逆不希望，因为它是多变量正常协方差矩阵的先前分布的共轭[3.-5.］．也参见Dawid [6.对逆Wishart和Wishart分布进行了一般性的讨论。然而，与传统的贝叶斯方法不同的是，我们将不使用标准的逆Wishart共轭先验的协方差矩阵。原因是逆Wishart在其捕获可能对从业者可用的先验信息的能力上是一个相当限制性的分布。参见Leonard和Hsu [7.， Hsu等[8.，以及Sinay等[9.[更详细地解释反向Wishart的缺点作为协方差矩阵的先前分配。

伦纳德及许[7.]提出了一种替代方法，可以解决反向Wishart的缺点，并允许在先前规范中获得更大的灵活性。在一个单变量的正常模型设置中，正常分布已被用作方差参数对数之前的。在同样的静脉中，伦纳德和恒生[7.[考虑多变量情况的协方差矩阵的矩阵对数转换。利用Bellman的结果[10可以证明，多变量正常似然函数的指数术语可以以Volterra线性积分方程的形式表示。然后，可以通过Bellman的迭代解决方案对Volterra积分方程来获得与可能性成比例的函数的近似。得到的近似具有多元正常形式，关于协方差矩阵的矩阵对数的唯一元素。这允许正常的先前说明书用作共轭先前分布，从而产生适于协方差结构的近似正常后部。

这种技术的主要好处之一是能够通过先验超参数协方差矩阵的方差项来指定正规先验超参数均值向量的每个元素的不同置信度。显然，先验超参数协方差矩阵中的方差项较大，表明相应的先验位置超参数缺乏置信度。这种方法的另一个主要优点是能够对协方差参数之间任何可能的相互依赖性的信念进行建模。这可以通过指定先验超参数协方差矩阵的协方差项来实现。注意，通过这种方式，相互关系和关于协方差参数的先验信念的强度都可以被建模。

利用马尔可夫链蒙特卡罗(MCMC)技术计算所有相关参数的贝叶斯估计。关于协方差结构，由于采用近似后验分布作为建议密度，我们采用metropolis - hastings - in- gibbs (MHWG)算法[11，以正确估计真实靶后验密度。

奠定了一般的轮廓，我们现在继续前进到论文的身体。我们首先介绍和定义标准多变量多元回归模型。我们通过对多元回归模型的误差矩阵进行分布假设来遵循。这为我们提供了一个机制来说明模型的可能性函数。反过来，我们通过正式的分析贝叶斯派生。在贝叶斯分析之后，我们概述了MCMC程序，并讨论了如何计算后部手段和标准误差。我们在高中及以外的调查中得出结论[12］．

2.多变量多元回归模型

我们考虑标准的多元多元回归模型: 在矩阵形式中，我们可以简洁地写出来 在哪里是响应变量的矩阵，是解释变量矩阵，是未知回归系数的矩阵，和是随机错误的矩阵。在部分2.1我们介绍了矩阵正态分布，并对关于分布的一般假设随机误差矩阵在 （2)．矩阵正常表示将极大地促进所遵循的贝叶斯分析。基于矩阵普通，我们继续部分2.2的联合似然函数和．分层先前规范在部分中讨论2.3关节后缘分布见节2.4．

2.1。分布假设和矩阵正态分布

矩阵正态分布与多元正态分布密切相关，是多元正态分布的推广。特别是,随机矩阵，当且仅当随机矢量,在那里表示这一点维矩阵正态分布，是A.位置矩阵,是A.第一个协方差矩阵,是A.第二个协方差矩阵[13，第54页]。和是标准的矢量运营商和克朗克蛋白产品。

我们使分布假设是条件的协方差矩阵， 这随机误差矩阵， 在 （2），跟随矩阵正常零均值矩阵和协方差矩阵和,在那里是A.单位矩阵。形式上,我们有或等效地，错误术语独立同分布的正态随机向量是否都有均值和协方差矩阵．给出了误差矩阵的概率密度函数 在哪里为标准跟踪函数。

２.２.似然函数为有条件的

来自多变量多元回归模型（2）我们可以写．因此，的联合似然函数和由以下内容提供：

对于给定的价值让．请注意,是A.对称几乎肯定的正定矩阵。然后是似然函数（4.)有条件的可以写成 在一个单变量正常模型的贝叶斯分析中，方差参数的对数由单变量正常的正常分布建模。在多变量设置中，Chiu等人也已经研究了协方差矩阵的矩阵对数。[14］．沿着同样的直线，我们考虑矩阵的对数和： 在哪里是A.标准正交矩阵，其列向量为标准化特征向量和是A.对应的归一化特征值的对角矩阵．和被类推定义为．使用这个事实从(6.)并注意到，我们可以表示精确的似然函数(5.)，以下列同等方式: 我们现在定义以下非传统矩阵运算符．让成为…的元素th行和矩阵的第Th列,然后 在哪里是A.向量和．我们类似地限定了，这将在部分中再次出现3．4．前进我们将使用，捕获协方差矩阵的矩阵对数的唯一元素，以模拟协方差结构。

2.3。以前的分布标志

我们将假设先验那是独立于．更具体地说，关于我们假设先验分布一致: 请注意，统一的先前假设可以看作是信息多元正规先验规范的极限情况，这是该建模方法可以容纳的。

我们将假设先验那个，给予和那遵循一个具有平均位置超参数向量的维正态分布和协方差封立参数矩阵．多元正态分布为协方差结构的矩阵对数提供了一个非常丰富和灵活的先验分布族。这比传统的逆Wishart优先规范增加了更大的灵活性。由于多元正态函数被一个均值向量和协方差矩阵完全参数化，我们有能力对更复杂的先验信息进行建模。具体来说，我们可以为的每个元素指定不同的先验均值通过位置覆盖物的元素．此外，我们有能力模拟各种信仰的不同程度的力量的元素通过协方差Quand参数矩阵的对角线元素．此外，通过多元正态先验，我们能够建模元素之间的潜在相互依赖因为我们可以在协方差超参数矩阵中指定非动力协方差术语。也就是说，偏离对角线元素可用于指定元素之间的任何潜在相关性．

我们现在能够为协方差结构设计一个更复杂和准确的预先规范。一个主观贝叶斯实际上可能希望指定所有封锁。通过这种方式，从业者可以通过使用对协方差结构的灵活多变量正常的先前规范充分利用任何相关的先前信息。或者，我们可以选择模拟和,在那里和比和,分别。也就是说,先验我们可能希望只对协方差结构的某些子集建模。一个明显的选择是把方差分量看作一个子集，把协方差分量看作另一个子集。然而，我们强调的一点是，完全一般的多元正规先验规范可以在其整体上被利用。

在这里，我们将考虑以前说明书的内部矩阵形式作为完全广义多元正常的正常分布的示例。具体来说，我们将考虑第一个的元素与剩下的分开条款。也就是说，我们希望将方差分量与协方差分量分开建模．正式，我们假设先验分布。我们有以下先验分布形式: 那里向量和 请注意,是A.矩阵，谁的第一第一列的元素等于1，其余的等于1第一列的术语等于零。第二列由第一个组成元素等于零和剩余等于1的元素。在那和指标矩阵是维数吗和,分别。

因此，和对于方差分量，分别是定位和方差的位置和方差．类似地，和的协方差分量的位置和方差超参数．通过这种方式，我们可以指定两个不同的位置超参数和两个置信水平。

对于普遍的分数，和，我们将假设以下模糊先验分布: 这里需要注意的是，统一先验规范可以被视为多元正态和逆Wishart先验规范的极限情况和,分别。此外，分析实际上可以很容易地适应这些重要的规范。在陈述了所有的先验分布假设之后，我们现在转向后验贝叶斯分析。我们首先检查关节的后验分布。

2.4。确切的关节后分布

所有参数与超参数的精确联合后验分布与(4.）确切的似然函数，（9.的先验分布，（10的先验分布, (12的先验分布和．注意，这里我们将使用互换： 这术语(13)可以积分出来，因此 在哪里．

我们清楚地看到，确切的关节后验分布实际上是不可处理的。这是实现数字MHWG采样技术背后的驱动动机。与其使用复杂的精确联合后验分布，不如考虑每个参数和超参数的全条件分布更容易。

3.马尔可夫链蒙特卡罗方法

如已经注意到，联合后部分布（14）对于相关参数和超参数的绘制推断，没有分析地进行分析易行。这将引起我们在完整条件后分布的后续小节中的考虑。我们派生下面的条件后部分布将为MHWG采样技术提供框架。

３.１.确切的条件后部分布

回顾的最大似然估计是．此外，我们可以重写确切的似然函数（4.), 因此，的后验分布有条件的对于只有涉及的条款，将成比例，产品（15）确切的似然函数乘以（9.的先验分布： 我们知道。的后验分布有条件的是矩阵正规形式。利用本节中所述的矩阵正态分布和多元正态分布的关系2.1， 我们有

3.2。确切的条件后部分布

的联合先验分布那,的乘积10的先验分布和 （12）联合前提分配和．我们可以推导出刚刚的联合分销和通过整合联合分销那,关于．完成积分后，我们有如下的联合先验分布和： 在哪里 和是A.单位矩阵。通过整合我们将有助于促进MCMC程序的速度和简化的算法。

准确的后验分布与(7.）确切的似然函数，乘以（18）联合前提分配和．注意，这里我们将使用互换： 注意，以上确切的后验分布不是已知的形式，不能直接从一个简单的方式模拟。这将促使我们在MHWG采样例程中使用与目标密度紧密匹配的建议密度。

3.3。确切的条件后部分布

确切的后验分布有条件的和正比于(18）联合前提分配和．请注意，精确似然函数(7.）不依赖于因此可以完全省略: 在哪里和是方差和协方差组分的算术手段,分别。我们认识到后部分布和有条件的为独立的逆Gamma随机变量: 这个结果是直观的，理论上是有吸引力的，因为后验分布的方差分量的方差超参数，只取决于方差项的数量和，而后部分布，用于协方差分量的方差超参数，只取决于协方差项的个数和．这阐述了从协方差分开分开的方差分量的建模点。此外，逆伽马是高度易腐烂的，并将其自身归因于随后部分中的数值过程。

3.4。近似条件后部分布

为了实现MHWG抽样算法，我们推导了所有的全条件后验分布那,在 （17), (20.), (22）， 和 （23),分别。但是，我们清楚地看到了模拟基于真实条件后分布（20.），目标分布，是不易行的。因此，采用了Metropolis-Hastings算法，需要构建建议密度。如果提议密度与目标分布的形状紧密匹配，则该算法最佳。

我们可以通过利用线性Volterra积分构造与似函数成比例的函数的近似值。其关键优势是，相对于协方差矩阵的矩阵对数的唯一元素，可以将近似作为多变量正常。这允许多元正常充当缀合物。因此，我们具有多变量的正常后部，即真正的后部的良好代理，并且可以容易地模拟该提案。有兴趣的读者应该参考Leonard和Hsu [7.和Hsu等[8.]详细阐述如何执行这一点。

伦纳德及许[7.]显示我们如何使用Bellman的Volterra积分方程的解决方案[10，第171页]推导出下列近似，即与的似然函数成比例给予和： 召回的部分2.2那,在那里是定义的（6.)．这对称几乎肯定的正定矩阵的似然信息矩阵是并且是标准化特征值的函数和标准化的特征向量．特别是， 在哪里和 在哪里和为是分别为归一化的特征值和特征向量．表示这一点满足条件的向量．我们看到近似的似然函数（24)是一个关于的多元范式．的近似似然函数的函数形式(24）将是贝叶斯分析中的驱动机制．再次，关于近似似然函数的推导细节，请参阅Leonard和Hsu [7.和Hsu等[8.］．

等式（24）为函数提供出色的近似，即与精确的可能性成比例（7.)，当样本量很大。说明了效果，样本量，以及，协方差矩阵的维数，我们进行以下练习。为了不失一般性，我们考虑一个简化的模型，当是一个随机的样本．在我们的说明性示例中，三维尺寸（，5和10）和四个样本大小（考虑了100,500和5000）进行比较。对于公平的比较，相同的样本协方差用于所有四种不同的样本尺寸，每个样本尺寸．样本协方差矩阵假设由元素组成为了th行和th列，在哪里．例如，何时,然后

直方图，在图中1，代表来自的确切可能性（7.)的第(1,1)个元素，的,，其中直方图被归一化以作比较，点曲线表示基于近似的单变量正态密度(24)．请注意，这些直方图是根据使用的重要性采样方法计算的（24）作为重要功能。有关重要性采样方法的概述，请参阅例如Rubinstein [15]和Leonard等人。[16］．从图中可以看出1当样本大小时，近似值更好更大，尺寸大小更小。在协方差矩阵的其他方差和协方差元素中也发现了类似的模式．近似是相当准确的是500或更大。

的近似后验分布和有条件的将与近似似然函数的乘积成比例（24）和联合前提分配（18）：

在指数中完成两种术语的广场（28的近似后验分布如下有条件的和： 那里向量．回顾和的定义(25） 和 （19),分别。因此，我们具有以下近似后部分布有条件的和： 这证明了利用近似似然函数的共轭性。等式（30.）提供了实现MHWG算法的有效提案分布。简而言之，我们开发了一种非常灵活的，同时同时为协方差结构的贸易贝叶斯方法。

3．5．大都会-黑斯廷斯在吉布斯抽样程序

基于上面的理论结果，我们概述了实现MHWG算法的以下过程。具体来说，来自（17), (30.), (20.), (22）， 和 （23）我们有一个正式的设置，用于使用Metropolis-Hastings步骤实现MCMC程序。下面我们概述了实现MHWG算法所涉及的具体步骤。 模拟和从(22） 和 （23),分别。的初始起始值可以设置为等于,在那里 和最大似然估计为．随后的模拟和将基于模拟值． 模拟从(17)．的初始起始值可能基于．随后的模拟将基于模拟值． 模拟一个候选值从(30.)基于和和从步骤和,分别。然后让 在哪里的表达式如下: 和和的定义(29） 和 （20.),分别。

步骤中的最后一个过程是Metropolis-Hastings算法。我们采用此程序，因为我们利用近似到精确的后部分布[11, 291页)。

可以轻松地在MHWG结果上轻松计算任何感兴趣参数的后矩。通常是MHWG估计程序中的情况由于马尔可夫链尚未达到稳定状态，模拟不包括在估计中。在数值程序的缩略下，通常被称为烧迭代。

除了在价值上的烧伤，我们还探索了执行所谓的潜在需要变薄程序。细化步骤只需要保留每一个MHWG采样的模拟值，在哪里被选中足够大，以便删除任何自相关。通过检查样本自相关函数（ACF）地块，从业者可以决定是否需要稀释。我们调查了几个参数的地块。出于说明性目的，在图中2，我们提出了样本ACF图那那,．我们可以看到，在我们的特定应用程序中，自相关不是一个重要问题。其他样本ACF图看起来与许多其他参数非常相似。从业者应该在他们的特定应用中探索使用减薄程序的必要性。

4.申请：高中及其他调查

1980年，国家教育统计中心国家教育纵向研究计划管理高中及以外（HSB）调查[12］．HSB研究包含了1980年的高年级学生和1980年的大二学生。在二年级组群中我们有一个总样本量= 14,667名学生。HSB研究已经广泛分析了许多人，例如Astone和Mclanahan [17],熟料[18圣约翰[19]和zwick和sklar [20.］．

4.1。数据描述

HSB研究包含了大量的数据和变量。特别地，对于二年级的学生，总共有在词汇，阅读，两次数学，科学，写作和公民的两次考试中，考试进行了考试。由于教育测试数据通常，测试分数标准化为具有五十的平均值，标准偏差等于十。我们将使用这些标准化的测试分数来为大二级群组作为多变量响应变量。

调查还从官方成绩单中获得了平均绩点数据。此外，在学校和学生个体水平上收集了一些人口统计学变量。这些变量包括学校类型、学校环境的相对城市化程度、国家的地理区域、性别和种族。所有这些变量都将在多元多元回归中作为分类或定性的解释变量。桌子1提供分类解释变量以及每个类别的相关学生数量的描述。请注意，原来的HSB研究不包括学校类型四。

可以预期的教育数据，有一些中等程度的缺失数据。我们采用了一种用于缺少数据估算的数据增强技术。使用该方法使用该方法 老鼠图书馆(21在R.这个特定的数据增强程序在我们在这里的研究背景下适合，因为它通过链接的方程技术采用多元归发。也就是说，它使用多变量GIBBS采样器过程来增加缺少的数据集。特别地，通过给定鉴于变量的其他列的值，通过生成适当的数据值来增强包含缺失数据的变量的不完整的数据列。

4．2.分类变量的处理对比

表征解释性数据或设计矩阵要考虑分类解释性变量不是唯一的[22, 173页)。实际上有几个对比方法。在我们的分析中，学校类型为零，与普通公立学校相对应的，将作为基础级别，实际上并不是自己的回归线。以同样的方式，城市将作为相对城市化分类解释变量的基础级别。此外，新英格兰地区将充当地理变量的基础级别。西班牙裔或西班牙语是比赛标识符变量的基础级别。最后，我们将指定男性作为基础性别水平。因此，在我们特定应用程序中适当地核对基本级别之后．

4.3。古典多变量多元回归结果

我们考虑标准的多元回归模型(2)的调查数据。总共= 14,667名学生在该队列中参与了研究。我们估计了七个标准化考试的模型，VOCAB, READ, MATH 1, MATH 2, SCI, WRITE和CIVIC的GPA和其他解释变量在前一节中描述。大多数回归系数估计是高度显著的。特别是，GPA在所有七门考试中都非常重要。尽管，某些特定水平的各种分类变量是不显著的一些响应变量。所有相关的统计数据对于所有的响应变量都是非常显著的。此外，根据所进行的方差分析，我们可以得出结论，几乎所有的解释变量都是高度显著的所有七个科目领域的考试。

4.4。模型参数的后估计

在表格中2那3.那4.那5.,6.我们提出了贝叶斯后部手段和矩阵的相关标准误差和．在实践中，对于我们发现的MCMC程序，我们发现总迭代大小= 50万已经足够建立收敛，我们使用= 2000作为燃烧价值。

从表4.我们观察到差异和协方差分量的后部手段略微拉了分别朝向中心量。为了更好地说明后验均值的收缩特性，我们提出了经典的频率估计在表5.．如果我们对表中的后验均值进行元素比较4.和古典频繁估计在表格中5.我们看到，在所有对角元素(方差)中，经典频率估计中相对较小的元素被拉上，而经典频率估计中相对较大的元素被拉下。例如，MATH 1的估计方差从表中的64.9922上升5.至表中65.03074.CIVIC的估计方差从表中的80.8225下降5.表中的80.80414.．对于非对角元素(协方差)也出现了类似的现象。这是由于我们假设的类内矩阵形式的先前规范．

为了进一步研究收缩特性，我们考虑了一个信息先验分布和而不是模糊的先前规格（12)．特别地，我们假设先验那．桌子7.呈现出后均值具有此类信息缀合物的先前规范。在这种信息的先前说明书下，与表的元素相比，各自分别向中央数量朝着中央数量进行更多地拉动方差和协方差分量4.．例如，MATH 1的估计方差在表格中从65.0307进一步移动4.到表中的65.76437.和思民的估计差异从表中的80.8041进一步下降4.到表中的79.05187.．根据信息现有规范和我们观察到收缩物业更加明显。

具体地，观察到数学2和公民考试方差的后估计估计小于其相关的古典频繁估计，而所有其他关于后部估计的对角线元素的所有其他估计大于它们各自的经典频率估计。关于协方差项也可以作类似的陈述。这让我们注意到贝叶斯后验均值的概念，它是先验信息和数据中包含的信息之间的折衷。

4.5。合计的后验估计

对教育测试数据特别感兴趣的是对某一组解释变量的个别学科领域考试的总体总结或综合分数的一些估计。一个显而易见的选择是估计个人考试成绩的总和。在贝叶斯框架中，这可以很容易地通过简单地总结七个学科领域考试的个别后验估计来实现。然而，与总数估计相关的标准误差不能简单地计算为单个估计的方差之和的平方根。这将不能包含明显的协方差术语存在于科目领域的考试。此外，我们将忽略任何潜在的参数不确定性。

假设一个人响应变量向量和相关的解释性变量矢量．注意，单个观测的线性模型可以表示为．此外，总和总分是,在那里是A.矢量矢量。然后，给定和，总分遵循一个单变量正常分布，平均值和方差．

为了更完全占参数不确定性引起的附加变异性，我们考虑个人的总和的无条件均值和方差： 在这里，应理解，符号意味着导致的期望（34）实际上是关于后部分布的和,鉴于．等式（34)可根据MCMC程序的结果，按以下方式计算: 在哪里是MCMC算法的迭代的总数，是部分中定义的刻录迭代的数量3.,．

请注意，通过计算Suck总分的方差，我们完全纳入了响应变量中的明显的协方差结构。此外，在贝叶斯感觉中，我们捕获由于参数不确定性引起的附加变化。

作为一个特定的例子，我们调查了一个假设的学生。学生是西班牙裔或西班牙的女性。她的GPA是3.0，她参加了美国太平洋地区农村社区的私人非酒店。因此，对于这个特定的例子，我们具有以下特征解释性变量矢量．那，以及所有其他剩余的元素等于零。

我们获得了贝叶斯后者的估计，为单独的区域考试，50.9732,51.2566,51.5953,52.1122,50.0902,53.776和52.1576为词汇，阅读，数学1，数学2，SCI，写和市民考试，分别。这导致估计总和总共361.9328，标准误差为44.2357。

结论

总之，我们已经证明了多变量多元回归模型的协方识结构的灵活事先规范，可以提供比逆惠诉族的富裕分布等级。我们讨论了如何基于Bellman对线性Volterra积分方程的解决方案来近似协方差结构的似函数。我们讨论了协方差结构后平均值的收缩特性。这突出了后面意味着作为先前信息与数据中包含的信息之间的折衷的概念。

所有后验估计都是基于MHWG程序的数值结果计算的。Metropolis-Hastings算法被用来解释协方差结构的近似后验分布的抽样。

利益冲突

作者声明本文的发表不存在利益冲突。