在随机时间依赖性漂移条件下的子表间测量遍历

摘要

通过Lyapunov技术在随机网络的稳定性中的可能性，研究了马尔可夫链的骨头测量遍历性。简而言之，在这项研究中，我们看看次几何遍历的一般马尔可夫链时，满足一组停止时间上的随机福斯特-李雅普诺夫漂移条件。

1.介绍

近年来，马尔可夫过程的遍历性得到了相当多的关注。在三种标准遍历性中，普通遍历性、几何遍历性(通常称为指数遍历性)和强遍历性，普通遍历性是这三种标准中研究最充分的，特别是在离散时间马尔可夫链上。而次几何遍历性是一种比普通遍历性快但比几何遍历性慢的收敛性，特别是连续马尔可夫过程[1］．

在确定性时间指数的状态相关漂移条件下的遍历性已经被许多作者研究过，[2-4.］．康纳和福特[2]和伊克克斯和梅诺[3.]以漂移条件为形式研究遍历性对于某个确定性函数和一个常数．根据[中的定理2.1（ii）5.]一种确定的功能序列存在并满足Foster-Lyapunov漂移条件： 一套小的和一个常数这样是有界的．

证明了福斯特-李雅普诺夫条件不仅适用于所有条件还包括一系列的停止时间那对于某个离散时间马尔可夫链, (4.］．Zurkowski的研究结果[4.很大程度上依赖于Connor和Fort的作品[2， Meyn和Tweedie [6.，拓米宁和特威迪[5.］．本研究的目的是研究和改进这些随机时间与状态相关的漂移条件的结果，重点是一般马尔可夫链的次几何遍历性。

如Yüksel和Meyn [3.]，有一个功能在国家空间取正的值，并增加停止时间的顺序， 和，这样，对于每一个那 在哪里的功能在一个小集合外是否为正(离零有界)表示最新的事件过滤．读者需要注意虽然不平等（2)对本研究很重要，但不会有太大用处，因为我们只会使用它的精炼(23在定理7.．

整个纸张停止时间的顺序被认为是nondrefreasing，有．根据与状态相关的稳定性标准，传统上认为停止时间采取这种形式 在哪里是国家的确定性函数。

虽然我们的工作将主要限于与娇小的集合，我们知道-不可约过程和非周期过程实际上是小集合小集(5.］．因此，我们不需要担心在以前的一些研究中依赖于小集合的技术可能在随机时间漂移设置中变得不可用，认为小集合不一定是小的．在稳定性理论中，小集类似于紧集不可约马尔可夫链。在大多数的应用中- 可回资源马尔可夫链我们发现任何紧凑型套装都很小。

论文组织如下。节2在美国，我们有介绍基本符号、定义和定理的预备课程。主要结果见本节3.最关心的是什么遍历性。节4.最后，总结本研究的结论。

2.预备

让那,．让(职责。)表示离散时间马尔可夫链(DTMC)，那a continuous time Markov chain (CTMC) on a countable space, as given in Liu et al. [7.])。表示所有链的状态空间．除非另有规定-不可约性、非周期性和我们将要处理的所有链的正递归性都是假设的。DTMC过程对应的转移函数表示为,在那里，是集合的指示函数和和，分别表示条件下链的概率和期望．类似地得到对于CTMC。

２.１.Subgeometric率函数

让函数,在那里是可测量的越来越多的函数的家族令人满意的作为．让表示正函数的类别对一些人来说我们有 然后称为次几何率函数类[8.］．事实上(4.）意味着函数类的等价性这类函数．类中的函数示例是率那那，这是最近在文学中讨论的。没有损失普及，我们认为每当．

属性由(4.)，并将在本研究中经常使用

２.２.Subgeometric率遍历性

让；然后是遍历链是次几何遍历的在规范或只是-遍历的， 然后 在哪里一个(有符号的)测度的过程的唯一不变分布是什么和和是一个可测函数。

在ergodicity分析中，对于任何非空的集合第一次击打的两次次数为,在那里表示链的第一个跳跃时间和．如果单例是由状态组成的吗,我们写为了．我们还注意到如果；然而,,如果．连续链的命中次数我们只需要替换和在上面的符号中，我们做完了。众所周知……7.)当且仅当福斯特-李雅普诺夫漂移条件成立。正因为如此，我们的研究离不开李亚普诺夫漂移条件。让，案件．

２．３．-ergodicity.

为了这样,链被称为-ergodic if.对于一些有限的巨型．

２.４.小集

一组据说是小（要么-小）如果存在一些那，以及一种概率度量在这样

2．5．娇小的设置

一组据说是娇小的如果存在一些非活动措施在一些概率分布这样 娇小套装概括小套。如果假设过程的不可约性和非周期性(整个研究都是这样)，然后设置是一个小集合，当且仅当(8.)是满意的。因此在这种情况下，小集合实际上是小集合。

然后我们声明条件和定理1和2在这个研究中，尤其是在定理的证明中，哪些是有用的8.．

2.6。条件

存在一个函数，一个凹单调函数，可测集，为常数这样

定理1(定理在 [6.])。如果条件持有一些娇小的套装和存在这样，然后存在独特的不变分布那和 在哪里,尽管．

定理2（Douc等人的命题2.5。[9.])。让是一个-不可约和非周期核。假设保持功能和，一套小巧的，和函数和．然后存在不变的概率测量为了所有人在完整和吸收集合,我们有 在哪里那

3.主要结果

本节的核心结果以定理的形式呈现4.那7.,8.．定理4.是定理的修改版本在 [4.),而定理7.是Yüksel和Meyn中定理2.1的修改版本[3.]和命题在Zurkowski [4.］．然后我们对定理进行了改进7.根据…的工作[9.]给予定理8.．

在命题的证明中，将采用骨架链法3.，那么接下来我们定义它。让链条是非周期性和不可约的。让；对于骨架链我们定义, 然后表示第一次击球时间骨架链．命题3.将被用于定理的证明4.．

命题3。对于某些(或任意)有限非空集，一些常数以及任何次几何速率函数,我们有

证明。对于任何,当，有可能是骨架链可以错过连续时间过程的访问来导致．假设那样，我们让我们是逗留的时间和是之间的间隔长度th退出下次拜访对于连续时间马尔可夫过程．我们注意到这一点是独立的，并相同分布，具有指数分布与参数．我们也注意到了是相互独立的吗．
我们定义 然后，则根据次乘性(5.)我们有 我们定义．我们也有；根据假设，我们得到，及按财产分类(6.),我们得到；因此我们可以选择小到足以．由(16)则得到以下递归公式:

定理4。假设存在一个函数和常数和这样，对于越来越多的停止时间 然后对任何链是遍历。

证明。值得注意的是也是一个非周期性和不可缩短的马尔可夫链，满足（[）的单变量的状况（[10]）;因此，是有界的．对于任何和， 和对所有,我们有 由于等同的和我们想因此速度满足潜在倍增性财产（5.)．我们通过主张建立了3.那满足(19） 对于一些因此，根据定理2.1 [1)意味着．然后根据Liu等人的定理3.3 [7.),一组是- 因此，我们得出结论是链条是遍历。

由于在总变化规范中研究了子表层遍历的结果（即- 当我们让我们的时候），值得注意的是定理的结果4.以上适用于连续时间马尔可夫链，中研究的一个可数状态空间7.),让．毛泽东[11]调查遍历性时被限制为．Liu等[7.把结果扩展到当．在随机时间与状态相关的漂移函数下，我们给出了以下推论，这是Liu等人推论2.1的推广[7.］．

推论5。让和．那么下面的式子是等价的。(我)链是遍历,对于有限非空集．(2)对于某些非空有限集以及不断增加的停止时间,存在有限的非负功能那和一个常数这样和 为了,在那里和表示整数部分函数，即小于或等于的最大整数．

证明。这个证明类似于Liu等人对推论2.1的证明[7.并自然地由此而来。

对于随机单调的ctmc，在Liu等人的推论2.2中研究了基于首次击中时间和漂移函数的指数收敛的一些可计算的界[7.这就引出了下一个推论。下面的推论类似于Liu等人的推论2.2 [7.为表单的一个链也遵循定理结果的自然结果4.．

推论6。让．假设正则且完全稳定的强度矩阵是单调,严格增加。如果然后次几何遍历的顺序对于任何一个和任何我们有 在哪里．在特定情况下那这样和推论的漂移准则(ii)5.为单例集保持那那和；然后,对任何和任何 在哪里．

证明。证据类似于刘等人的推子2.2的证据。[7.并自然地由此而来。

定理7.遵循涉及子实测量率收敛的处理- 在案例中不是一个完全的变异标准。简而言之，我们要处理的是-小子集的正则性，或简单-链的遍历性．

定理7。假设是一个-不可约非周期马尔可夫链。进一步假设有函数那那，小套,不断和这样，对于越来越多的停止时间 然后,是遍历。

证明。我们定义了一系列序列经过 在按照惯例每当；因此，．
然后在假设的漂移条件下 这意味着是一个上鞅。对于一个可测子集我们用一个常数表示被采样链的第一次撞击时间作为 然后对于任何, 因为是有界的．
据推测 这 这意味着-链的遍历性．

定理8.下面类似于命题在 [4.]及在[9.］．它的重要性是它概括了定理7.．通过使用条件，定理1和2我们是一种能够获得相当多的形式功能和．

定理8。让链条是非周期性和不可挽回的，即两者-ergodic和各态历经的那和次几何速率函数．假设条件适用于这样还有一套小的这样．进一步让是一对最终的非食谱功能，满足于和,在那里(职责。)当(职责。)．然后链是遍历。

证明。通过定理2我们知道链是-遍历的，也为足够大，它认为．然后通过引理2.7在[9.对于某个常数这样我们有那个,在那里．因此这条链遍历。进一步的定理1表示链的状态遍历;那么，就有一类集合，其中链是存在的-ergodic.．值得注意的是，两者之间有一种平衡速度融合和规范 ；也就是说，前者越慢，后者越大。
因为-链的不可约性和非周期性，只有一个完整的吸收集，可以分成两个分区，比如，的- 套装，并说，的正则集。这两个分区的交集产生集合的- 通过[9.] 我们有 对于任何可访问的集合．事实上(30.)暗示链是遍历。

4.结论

Yüksel和Meyn中定理2.1的改进[3.]和命题在Zurkowski [4.已经在本研究中完成并以定理形式呈现7.．定理4.和8.遵循定理的后果7.．该研究与之前的大量研究一样，可能为更多的随机时间状态依赖的福斯特-李雅普诺夫漂移条件的研究铺平道路，特别是对控制与优化理论、信息论等方面的研究人员已经产生了兴趣。

利益冲突

作者宣布没有关于本文的出版物的利益冲突。

参考文献

1. “一类连续时间马尔可夫过程的次几何收敛速度”，应用概率杂志，卷。42，不。3，pp。698-712,2005。视图:出版商的网站|谷歌学术搜索|Zentralblatt Math.|MathSciNet
2. S. B. Connor和G. Fort，“国家依赖的Foster-Lyapunov标准Markov链子的子表芯融合”，“随机过程及其应用，卷。119，没有。12，pp。4176-4193，2009。视图:出版商的网站|谷歌学术搜索|Zentralblatt Math.|MathSciNet
3. S. Yüksel和S. P. Meyn，“马尔可夫链的随机时间、状态相关的随机漂移及其在擦除通道上的随机稳定应用”，IEEE自动控制事务，卷。58，不。1，pp。47-59,2013。视图:出版商的网站|谷歌学术搜索|MathSciNet
4. r . a . ZurkowskiLyapunov分析马尔可夫链和随机时间依赖漂移的收敛率[M.S.论文]，女王大学，安大略省，加拿大，2013年。
5. P. Tuominen和R. L. Tweedie， "次几何收敛率$F$-ergodic Markov链，“应用概率研究进展第26卷第2期3，第775-798页，1994。视图:出版商的网站|谷歌学术搜索|Zentralblatt Math.|MathSciNet
6. S. P. Meyn和R. L. Tweedie，马尔可夫链与随机稳定性, 1993年施普林格。视图:出版商的网站|MathSciNet
7. “连续时间马尔可夫链的次几何遍历性”，数学分析与应用学报，卷。368，没有。1，pp。178-189,2010。视图:出版商的网站|谷歌学术搜索|MathSciNet
8. E. Nummelin和P. Tuominen，“OREY在哈里斯复发性马尔可夫链条中的定理率与续签理论的应用，”随机过程及其应用，第15卷，第5期。3，第295-311页，1983。视图:出版商的网站|谷歌学术搜索|MathSciNet
9. R. Douc, G. Fort, E. Moulines，和P. Soulier，“次几何收敛率的实际漂移条件”，应用概率年鉴第14卷第2期3，页1353-1377,2004。视图:出版商的网站|谷歌学术搜索|MathSciNet
10. G. O. Roberts和J. S. Rosenthal，“一般状态空间马尔可夫链和{MCMC}算法”，概率调查，第1卷，第20 - 71,2004年。视图:出版商的网站|谷歌学术搜索|Zentralblatt Math.|MathSciNet
11. Y. H. Mao，“连续时间马尔可夫链的ergodic度，”中国科学A，第47卷，第47期。2，页161-174,2004。视图:出版商的网站|谷歌学术搜索|MathSciNet

版权

版权所有©2014 Mokaedi V. Lekgari。这是一篇发布在创意公共归因许可证，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。