高斯协方差的马尔可夫树

文摘

图形模型是有用的在高维特征条件和边际独立结构分布。图形模型协方差图模型的一个重要类,图的节点代表不同的组件的一个随机向量,和没有任何两个变量之间的优势意味着边际的独立性。协方差图模型也代表更复杂的条件独立性的变量子集之间的关系。当捕获或协方差图反映了所有的条件独立语句中出现的概率分布,后者被认为是忠实的其协方差graph-though一般来说这是没有保证的。诚实不过是至关重要的,例如,在模型选择过程进行通过测试条件的恶果。因此,信实的假设的分析理解图形的能力很重要,一个离散的对象,完全捕捉特征的概率分布来描述目标。在本文中,我们表明,多元高斯分布树作为协方差图必然是忠实的。

1。介绍

马尔可夫随机域和图形模型被广泛用于表示有条件的恶果在给定的多变量概率分布(见[1- - - - - -5),等等)。许多不同类型的图形化模型研究了在文学。浓度图编码双变量之间条件独立给其余的人。正式,让我们考虑一个随机向量用一个概率分布在哪里是一个有限集合代表随机变量在吗。一个无向图被称为协方差图(见[1,6- - - - - -11])的概率分布如果边的集合构造如下: 请注意,意味着顶点和不相邻的。

的浓度图与是一个无向图,在那里是顶点的集合,每个顶点代表一个变量。一组顶点之间的边的集合(在吗)构造成对使用规则:对, 在哪里。

注意,调用下标0协方差图(即,与)作为协方差的定义图不涉及条件的恶果。

浓度和协方差图不仅是用于编码成对双变量随机向量之间的关系,但正如我们将在下面看到,这些图还可以用于编码条件之间存在变量的子集的恶果。首先,我们介绍一些定义。

多元分布据说满足“交点属性“如果,子集吗,,,的两两不相交,

我们将调用十字路口属性(参见[2)(1.3)以上浓度的十字路口摘要财产为了区分满意的另一个属性当研究协方差图模型。虽然这个属性可以进一步放松,我们将保留使用的术语2]。

我们首先定义分离的概念图。让,,表示一组两两不相交的顶点。我们说一套分离 和如果所有路径连接和在相交,也就是说,。(这不是用随机独立搞混了相比)。现在,让满足浓度交点属性。然后,三联体的子集两两不相交,如果分离和在浓度图与,然后随机向量是独立于鉴于。后一种属性浓度全球马尔可夫房地产和正式定义为 Kauermann [6)表明,如果满足以下属性:三联体的子集两两不相交, 然后,三联体的子集两两不相交,如果分离和在协方差图与,然后。后者被称为属性协方差全球马尔可夫性质并且可以写正式如下: 在平行于浓度图情况下,属性(1.5)将被称为协方差交叉财产,有时也被称为作文财产。即使满足这两个交点属性,协方差和浓度图可能无法捕捉或分布反映了所有在场的有条件的恶果;,可能存在一个或多个条件恶果出现在概率分布,并不对应任何分离声明或。同样,缺乏分离声明或并不一定意味着一个有条件的独立。相反情况下没有其他有条件的独立存在除了编码的图,我们分类作为一个忠实的概率分布的图形化模型(见[12])。更准确地说,我们说是忠实于它的浓度浓度图,如果三联体吗的子集两两不相交,以下语句: 同样的,据说是协方差的其协方差图如果三联体的子集两两不相交,以下语句: 自然问题的理论和应用概率理论是理解的兴趣的影响诚实假设。这种假设是至关重要的,因为它的收益率的概率分布之间的双射和图的恶果中呈现的分布。在本文中,我们表明,当是一个多元高斯分布,其协方差图是一棵树,它必然是协方差忠诚,也就是说,这种概率分布满足属性(1.8)。同样,相关的协方差图是完全能够捕获所有在场的有条件的恶果的多元分布。这个结果可以看作一种双重的概率结果证明贝克et al。13)的浓度图表明,高斯分布浓度树(即。,浓度图是树)是必然的忠实的浓度其浓度图(暗示属性(1.7)满足)。这个结果被显示,证明高斯分布满足两类条件独立的属性:十字路口属性和可分解的传递性性质。的方法证明了本文的主要结果是截然不同的一个用于浓度图(见[13])。事实上,幼稚或不知情的读者可能会错误地认为协方差的结果树之前只需更换导致的协方差矩阵及其逆贝克尔et al。13]。这当然是不正确的,在某种意义上,相当于说一个矩阵及其逆是相同的。协方差矩阵编码边际恶果而逆协方差矩阵编码条件的恶果。这些都是非常不同的模型。此外,前者是一个弯曲的指数的家庭模式,而后者是一种自然指数的家庭模式。

本文的概述如下。部分2提出了图论开场白。部分2.2简要的概述协方差和浓度图与多元高斯分布有关。本文的主要结果的证明给出了部分3。部分4总结总结本文的结果和影响。

2。预赛

2.1。图论的概念

本节介绍了符号和术语,在后面的部分是必需的。一个无向图由两组和,代表的顶点集,边缘的满意,。为,我们写当和我们说和是相邻在。一个路径连接两个不同的顶点和在是一个独特的顶点序列,在那里和,对每一个,。这样的路径将表示和我们说连接和或者和是连接通过。我们也表示,之间的路径和。现在我们继续定义图形称为树的子类。让是一个无向图。这个图如果任何一对顶点称为树在连接由一个路径;也就是说,。的子图诱导的一个子集用,和。一个连接组件的图是最大的子图的这样每一对顶点可以连接的至少一个路径。现在我们国家一个引理,没有证据,需要在本文的主要结果的证明。

引理2.1。让是一个无向图。如果是一棵树,那么任何子图的引起的一个子集联盟的连接组件,每一个都是树(或我们称之为“树连接组件的联盟”)。

对于一个连通图,分隔符是一个子集的这样存在一对不相邻的顶点和这样,和 如果是一个分隔符,那么很容易验证每一个吗这样也是一个分隔符。

2.2。高斯浓度和协方差图

在本节中,我们提出一个简短的概述浓度和协方差图在概率分布的情况下是多元高斯。考虑一个随机变量,在那里和,在那里正定矩阵的表示锥。不失一般性,我们将假设。逆高斯分布也可以参数化的协方差矩阵用。矩阵被称为精度或浓度矩阵。众所周知(见[2),对于任何一对变量,在那里,。因此,浓度图可以使用精度矩阵构造简单吗和下面的规则:。此外,它可以很容易地推导出从一个经典结果(见[2]),对任何高斯浓度图模型的成对马尔可夫性质(1.2)相当于全球马尔可夫性质的浓度(1.4)。

正如前面看到的(1.1)构造协方差图另一方面使用成对边际独立关系。这也是众所周知的,多元高斯分布,。因此,在高斯情况下,协方差图可以使用下面的构造规则:。它也可以很容易地看到,高斯分布满足协方差交叉属性中定义的(1.5)。因此,高斯协方差图也可以编码条件恶果按照下列规则:三联体的子集两两不相交,如果分离和在协方差图,然后。

3所示。高斯协方差的树

现在我们继续研究信实的上下文中假设多元高斯分布,当相关的协方差图是树。本文的主要结果,给出了定理3.1协方差,证明了多元高斯概率分布在树图必然是忠于他们的协方差图;也就是说,所有的独立性和依赖性可以通过读取图分离。我们现在正式国家定理3.1。证明遵循一系列的前题后不久/定理(s)和一个说明性的例子。

定理3.1。让与高斯分布随机向量。让相关的协方差图。如果是一个独立工会的树木呢协方差是忠实于。

定理的证明3.1需要等结果,给出了计算协方差矩阵的方法从精度矩阵使用浓度的路径图。结果也可以很容易地扩展为显示精度矩阵从协方差矩阵计算吗使用协方差的路径图。我们现在正式国家这个结果。

引理3.2。让与高斯分布随机向量,在那里和正定矩阵。让和分别表示浓度和协方差图相关的概率分布。对所有在, ,如果,,,分别表示和与相应的行和列变量路径省略。一个强矩阵的行列式定义为1。

上面的引理是立即从线性代数的基本结果给出了代数余子式表达式的逆方阵。特别是,一个可逆矩阵,它的逆矩阵可以表示如下:

一个简单的证明可以在Brualdi和Cvetkovic)14]。结果是重新发现在其他上下文(参见[15),但如上所述,它遵循立即从一个矩阵的逆矩阵的表达式。

我们的主要定理(定理的证明3.1)还需要下面的引理证明的结果。

引理3.3。让与高斯分布随机向量。让和分别表示,相关的协方差和浓度图,然后(我) 和有相同的连接组件,(2)如果一个给定的连接组件是一棵树,那么相应的连接组件完成,反之亦然。

证明。证明(我):这一事实和有相同的连接组件可以推导出协方差矩阵的结构和精度矩阵。的连接组件对应块对角矩阵。自那么,通过反相分区矩阵的性质,也有相同的块对角矩阵的变量,构成这些矩阵。这些块对应于不同的组件和。因此,这两个矩阵具有相同的连接组件。
(2)证明:现在,让我们假设协方差图是一棵树,因此这是一个连通图只有一个连接组件。我们将证明浓度图完成通过使用引理吗3.2和计算系数()。自是一个树,任意两个顶点之间存在一个路径和。我们将表示这条道路。然后,通过引理3.2, 首先,请注意,矩阵的行列式(3.3)都是正因为正定矩阵的主要未成年人是积极的。第二,因为我们正在考虑一个路径,,。使用这两个事实,我们推断(3.3),对所有。因此,和在相邻的对所有。浓度图因此完成。证明当树被认为是暗示吗完成遵循同样的。

现在我们举一个例子说明本文的主要结果(定理3.1)。

例3.4。考虑一个高斯随机向量与协方差矩阵及其相关的协方差图(树),给出图1(一)。
考虑到集,,。请注意,不独立的和在任何路径和不相交。因此,我们不能用协方差声称全球马尔可夫性质不是独立的鉴于。这是因为全球马尔可夫性质允许我们读条件协方差恶果出现在分配图中如果存在分离。它不是一个“当且仅当”属性,缺乏分离图并不一定意味着缺乏相应的条件独立。不过,我们将展示在这个例子确实不是独立的鉴于。换句话说,我们将显示图有能力捕捉这个条件依赖性在概率分布。
现在让我们检查之间的关系和鉴于。注意,在这个例子中,,。注意,协方差图与随机向量的概率分布有关子图表示在图吗1 (b)并且可以获得直接的子图诱导的子集。
因为2和5连接通过一个路径,也就是说,,那么系数2和5之间,即系数的协方差矩阵的逆,可以计算使用引理3.2如下: 在哪里和分别是高斯随机向量的协方差矩阵和。因此,由于方程的右边(3.4)不同于零。因此,。
现在,回想一下,对于任何高斯随机向量, 在哪里,,两两不相交的子集。(的对换的3.5)的收益率
因此,我们得出结论,因为不独立的和,不是独立的鉴于。因此,我们获得所需的结果:

我们现在继续定理的证明3.1。

定理的证明3.1。不失一般性,我们假设是一个连接树。让我们假设相反协方差不忠诚,那么存在一个三联体两两不相交的子集,这样,但不独立的和在,也就是说,
作为不独立的和由于是一个连接树,那么存在一对顶点吗这样的单一路径连接和在不相交;也就是说,。因此,。因此,两种情况都可能对道路的地方可以撒谎:或。让我们分别分析这两种情况下。
例1 ()。在这种情况下,整个之间的路径和在于因此我们可以找到一对顶点属于和这样。(为了说明这一点,考虑图呈现在图1(一)。让,,。我们注意到的路径完全在于因此我们可以找到两个顶点,即和,属于路径相邻的)。回想一下,自是一个树,诱导图吗的一个子集是一个联盟树连接组件(参见引理吗2.1)。因此,子图的引起的是一个联盟树连接组件。作为和在相邻的,他们也在附近和属于同一连接组件。(在我们的示例图1(一)与,由一个联盟的两个连接组件各自的顶点和)。因此,之间的唯一路径和正是边缘。利用引理3.2计算系数,也就是说,系数的随机向量的协方差矩阵的逆我们获得, 在哪里表示的协方差矩阵和表示矩阵与相对应的行和列变量和省略。因此,我们可以推断出从(3.9),。因此,。现在,因为是高斯分布,,我们可以应用(3.5)到达一个矛盾,我们最初的假设(3.8)。注意如果路径为空必须完全是在撒谎。这是因为通过假设不相交。时的情况在于覆盖,以防1因此假设。(为了说明这一点,考虑图中给出的图1(一)。考虑,,。在这里,和路径连接和相交)。例2 (和)。在这种情况下,存在一个顶点与,这样的顶点和连接由一个路径在诱导图的通过(见引理2.1)。(在我们的示例图1与,,的顶点和分别对应顶点2和7,然后呢,这是一个完全包含在路径)。
现在让我们用引理3.2计算系数,即系数的随机向量的协方差矩阵的逆。我们获得 在哪里表示的协方差矩阵和表示与相对应的行和列变量路径省略。一个很容易因此推断(3.10),。因此,不是独立的鉴于。因此,一旦我们获得一个矛盾(3.5)自和。

3.5的话。上面的定理的对偶结果集中的情况下树木被贝克等证明。13]。然而我们注意到的参数用于证明定理3.1也不能被用来证明信实的高斯分布树浓度图。这样做的原因如下。在我们的证明,我们的子图的引起的一个子集也与高斯subrandom向量相关的协方差图的作为用。因此,它是可能的计算系数量化的条件(在)之间的依赖和鉴于的路径和协方差矩阵的系数。相反,在浓度图子图指出浓度的图引起的不是一般的浓度图随机向量。因此我们的方法是不能直接适用于浓度图设置。

4所示。结论

在这个报告中我们观察类的多元高斯分布的马尔可夫对协方差图和证明高斯分布树的协方差图必然是忠实的。证明的方法中使用的纸在本质上也是截然不同的浓度图模型的类似结果的证明。因此,所使用的方法可能会有进一步的影响。在这一领域未来的研究将探索如果分析提出了可以扩展到其他类图或分布。

确认

d . Malouche的部分支持由富布赖特奖学金授予68434144。b·拉贾拉特南的部分支持由NSF资助DMS0906392, DMS(发生)1025465,AGS1003823,国家安全局h98230 - 11 - 1 - 0194,和SUFSC10-SUSHSTF09SMSCVISG0906。

引用

1. d·r·考克斯和n . Wermuth多变量的依赖关系卷,67专著的统计数据和应用概率查普曼&大厅,伦敦,英国,1996年。
2. s . l . Lauritzen图形化的模型17卷牛津大学统计科学系列克拉伦登出版社牛津大学出版社,1996年纽约,纽约,美国。
3. j .惠塔克图形应用多元统计模型在概率论与数理统计,威利系列:概率论与数理统计,约翰威利& Sons有限公司奇切斯特,英国,1990年。
4. d·爱德华兹,介绍图形造型,施普林格文本的统计,施普林格,纽约,纽约,美国,第二版,2000年版。
5. b·拉贾拉特南,h . Massam和c·m·卡瓦略“灵活的图形高斯模型中的协方差估计,”统计年报,36卷,不。6,2818 - 2849年,2008页。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学
6. g . Kauermann“二元化的图形化的高斯模型,”斯堪的纳维亚杂志统计,23卷,不。1,第116 - 105页,1996。视图:谷歌学术搜索|Zentralblatt数学
7. m·巴纳吉和t·理查森的二元化图形高斯模型:校正报告,“斯堪的纳维亚杂志统计,30卷,不。4、817 - 820年,2003页。视图:谷歌学术搜索
8. n . Wermuth d·r·考克斯和通用马,“协方差链,”伯努利,12卷,不。5,841 - 862年,2006页。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学
9. d . Malouche“确定完整的低阶条件独立调节,”伯努利,15卷,不。4、1179 - 1189年,2009页。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学
10. k·哈雷和b·拉贾拉特南“协方差的树木和Wishart分布在视锥细胞,”代数方法在统计和概率卷,516当代数学,页215 - 223,美国数学学会,普罗维登斯,国际扶轮,美国,2010年。视图:谷歌学术搜索
11. k·哈雷和b·拉贾拉特南“Wishart分布可分解的协方差图模型的,”统计年报,39卷,不。1,第555 - 514页,2011。视图:出版商的网站|谷歌学术搜索
12. m . Studeny概率有条件的独立结构施普林格,纽约,纽约,美国,2004年。
13. a·贝克·d·盖革,c .温顺,“完美的树状马尔可夫链的分布,概率论与数理统计,25卷,不。2、231 - 239年,2005页。视图:谷歌学术搜索|Zentralblatt数学
14. r . a . Brualdi和d . Cvetkovic)矩阵理论及其应用的组合方法查普曼&大厅/ CRC,纽约,纽约,美国,2008年。
15. b·琼斯和m .西方,“在无向高斯协方差分解图形模型,”生物统计学,卷92,不。4、779 - 786年,2005页。视图:出版商的网站|谷歌学术搜索

版权

版权©2011 Dhafer Malouche和巴拉拉贾拉特南。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。