随机Lyapunov漂移条件下连续马尔可夫链的次几何遍历性分析

抽象的

我们研究了连续时间马尔可夫链（CTMC）的子表测定速率ergodicity的随机时间依赖的福斯特-Lyapunov分析。我们主要涉及在CTMC的确定性状态相关的漂移条件下利用可用的结果以及用于离散时间马尔可夫链的随机时间依赖漂移条件并将其转移到CTMCS。

1.介绍

马尔可夫过程的遍历理论近年来受到了相当多的关注。次几何遍历性，松散地说，是一种比普通遍历性快但比几何遍历性慢的收敛性，由于我们关注的是次几何遍历性，因此需要对连续马尔可夫过程进行大量的研究[1］．正是由于这个原因，人们对这项研究产生了兴趣。

Meyn和Tweedie [2]开创了对国家依赖漂移的研究不可约马尔可夫过程。康纳和福特[3.发现，国家依赖的福斯特 - Lyapunov标准不仅可以确定马尔可夫过程的遍历性质而且还推断出更多的收敛速度．这项研究关注的是过程在某些确定的时间下采样。在[3.研究结果被用于驯服链的分类。许多作者随后研究了在确定性时间指数上的状态相关漂移条件下的遍历性，其中[4，5］．Yüksel和Meyn [4将他们的结果应用于“擦除通道上的随机稳定”。Zurkowski的动机[5研究其在网络控制和事件触发控制系统中的可能应用。虽然我们不能忽视我们的研究在诸如随机网络稳定性等领域的实际应用，但提出这样的应用超出了我们的工作范围。

康纳和堡垒[3.Yüksel和Meyn [4]以漂移条件为形式研究遍历性对于一些确定性函数和一个常数．根据[的定理2.1(ii)6一个确定的函数序列存在,，且满足福斯特-李雅普诺夫漂移条件: 一套小的和一个常数这样是有界的．

已经证明，福斯特-李雅普诺夫条件并不适用于所有条件还包括一系列的停止时间，对于某个离散时间马尔可夫链(5］．Zurkowski的研究结果[5很大程度上依赖于Connor和Fort的作品[3.， Meyn和Tweedie [7，拓米宁和特威迪[6］．

这项研究是在前人研究的基础上进行的，以一种易于阅读和友好的方式研究随机时间状态相关的漂移条件对ctmc次几何遍历性的影响。在之前的作者Connor和Fort [3.研究了一般马尔可夫链下采样在某些确定时刻的状态相关几何李雅普诺夫漂移条件。随后，Yüksel和Meyn进行了随机时间状态依赖漂移研究[4]和zurkowski [5，分别为一般马尔可夫链和离散链。本研究的工作利用上述研究的结果，重点是可数状态空间的次几何遍历性流程。

论文组织如下。节2在美国，我们有介绍基本符号、定义和定理的预备部分。主要结果见本节3.哪个最关心次几何遍历性,在规范。部分4是关于本研究的结论。

2.预先素质

让,让．我们让表示可数状态空间上的连续时间马尔可夫链．连续时间马尔可夫过程的转移函数表示为在这里和以后是否为集合的指示函数和和，分别表示条件下链的概率和期望．

２.１.第一次打次

给定一个子集我们让 是第一次打开时间延迟了一个常数．在这种情况下我们有．我们也有 第一次拍戏的时候在第一次跳跃之后这个过程。我们还注意到了如果．如果单例仅由状态组成吗，然后我们写为同等为．

2．2．遍历性

为,这样,矩表示为和．根据定义，马尔可夫过程据说是-遍历的(或具有遍历程度的))如果对于某些(然后是所有)有限非空．对于遍历度的更多研究，-遍历性，以及相关主题，有兴趣的读者可咨询毛[8及其参考文献。

２.３.几何遍历性

根据(3.]，是几何遍历的，如果存在一个函数和常量，，如此，对于任何，，它等价于一个尺度函数的存在，小套和常量，,这样．

２.４.Subgeometric率函数

让函数,在那里这个函数族是可测量的递增函数吗令人满意的作为．让表示正函数的类别对一些人来说我们有 然后称为次几何率函数类[9］．事实上(4)暗指函数类的等价性随着函数的阶级．类中的函数示例率，，这个问题直到最近才在文献中讨论过。不失一般性，我们假设每当．

的属性由(4)，并将在本研究中经常使用

2．5．调制的时刻

充分条件遍历性包括第一次击打时间的调制矩。具有次几何速率函数由(4),一个函数,一个子集，为常数，我们定义的调制矩通过 类似于第一次击打时的调制力矩作为(7)上面，第一次击球时间的调制时刻，即，定义如下。用于子实测量速率函数,一个函数，和子集,然后

2.6。尺度测定速率ergodicity.

让；然后是遍历链据说是秩序的骨头测量ergodic在里面规范或只是-遍历的；然后 在哪里一个(有符号的)测度的过程的唯一不变分布是什么,在那里和是一个可测函数。

众所周知……9)当且仅当福斯特-李雅普诺夫漂移条件成立。因此，李雅普诺夫漂移条件在我们的研究中起着至关重要的作用。李雅普诺夫漂移条件提供了返回到可达集合的时间的界限，从而通过关注特定集合上的击球时间来对马尔可夫过程动力学进行一些控制。

我们意识到，在以前的一些研究中依赖于小集的技术可能在随机时间漂移设置中变得不可用，因为小集为可能不一定很小．但是，我们也知道，为了一个-不可约过程，所有的有限子集是小的，且一个可达的闭小集始终存在[10，这表明我们的工作将局限于小集合的工作。然后通过Meyn and Tweedie中的定理5.5.7 [7我们知道如果马尔可夫链是-不可约的和非周期的，那么每个小集合都是小的。因此本研究中所有的小集都是小的，因为假设所有的链都是不可约和非周期。

根据上述的定义和符号，我们准备说明下列次几何率遍历性命题遍历性和遍历性。

第1号提案(见[11])。让是一个不可约马尔可夫过程，并且假设，对于某些和一些函数在,一个,尽管和．如果存在一个小集合和一个常数这样 然后是遍历。

命题2（参见Liu等人的定理3.3。[12])。不可约马尔可夫链是次几何遍历的吗在总变分范数中，当且仅当对某些(然后对所有)有限子集一个人

命题3 (Liu等人的定理3.2 . [12])。对于有限非空集，对于任意有限集，当且仅当和任何,然后．

在本发明的过程中，研究了停止时间的非分泌序列与假设与Spieksma假设2.1中的序列相似[13，现重申如下。递归定义和,如果不是吸收状态(即，)．我们把如果是一种吸收状态;然后,我们有．在这个意义上，顺序是一个非递减的停止时间序列，表示连续的跳转时间。

3.主要结果

本节中提出的内容是对尺度计的ergodicity,在那里假定为不可约的非周期性CTMC。我们的结果以定理的形式呈现4，6,7．定理4是[12),而定理6是Zurkowski中的命题5.1.2的连续对应对手[5］．最后是定理7由[的定理2.16得出11］．

定理4。让是一个不可约的非周期链。进一步假设对于某些(然后对于任何)有限非空集存在一个函数和一个常数这样，对于一个不断增加的停止时间序列， 然后对任何连锁，链条是遍历。

证明。值得注意的是，这条链也是非周期性和不可约的吗是娇小的，因此很小是有界的．让．我们知道 ，因为链条能错过一些连锁的访问吗集，所以，对于任何,我们有 这意味着 对于任何．我们得到了(14)，因为相当于和和假设因而满足次乘性(5)．采用命题3.我们得到(14)意味着对于任何．然后,通过命题2，集合是-常规的;因此，我们得出结论是链条是遍历。

值得注意的是，在实践中，定理中的漂移条件4以上并不容易验证，因为它涉及未知信息．在推论中给出了实际较有利的漂移条件5．这是毛泽东[8调查)遍历性时仅限于；然后Liu等人[12把结果扩展到当．在随机时间与状态相关的漂移函数下，我们给出了以下推论，这是Liu等人推论2.1的改进版本[12］．

推论5。让与．然后链是-ergodic（即，)当且仅当对于有限非空集以及不断增加的停止时间存在有限的非负函数，，为常数这样和 为,在那里和为整部函数，即小于或等于的最大整数．

证明。这个推论的证明类似于Liu等人的推论2.1的证明。[12并自然地由此而来。

的话。在特定情况下的推论5，则称为次几何遍历的速率,对于一些，在总变分范数中当且仅当我们有非负函数在,和这样, 为和任何．

还有李亚普诺夫漂移定理4和推论5这是 在哪里和为方便起见，本文和其余部分均使用。我们注意到矩阵以及实值函数在我们有．

定理6下面讨论的是次几何收敛率遍历链，在这种情况下不是一个总变异量。简而言之，我们将讨论- 娇小的子集．

定理6。假设是一个-不可约非周期马尔可夫链。进一步假设有函数和,在那里在小集合上是有界的,不断，,这样，对于一个不断增加的停止时间序列， 然后是遍历。

证明。对所有以及所有停止的时间，通过Dynkin的不平等，我们得到了 然后对所有我们得到了 因为是有界的．还是在定理中4我们有,尽管,在那里是链的采样击中时间吗．然后 这意味着-链的遍历性．

这个方程 的式(15)14，第5节]，当然有明显的符号变化。

以下定理概括了结果定理中的-ergodicity6结合命题的结果可以建立什么1(例如,- 与定理4(例如,遍历性)。该定理类似于[中的5.1.4命题。5]及在[15］．

定理7(引自定理2.16 in [11])。让是一个不可约的非周期链。进一步假设对于某些(然后对于任何)有限非空集存在一个函数和常量和这样，对于一个不断增加的停止时间序列，,尽管和．然后,对一些和一个常数， 然后是次几何遍历的吗在里面-范数，其中函数是一对逆杨函数。

定理中链的漂移条件7是不容易找到的，但在[11推论2.17]。它被重申为下列推论。

推论8。让链如在定理中7，一个固定的常数和积极的常量这样，对于一个不断增加的停止时间序列， 对于每一个；然后链是次几何遍历的吗,在规范。

4。结论

通过这项研究，我们成功地分析了随机时间状态相关的CTMCs福斯特-李雅普诺夫漂移条件的次几何率遍历性。然而，仍有更多的工作要做，这可能为更多的研究，特别是应用铺平道路。我们所依赖的研究，如Connor和Fort [3.将他们的工作成果应用于“驯服”链(从技术上讲，是任何带有次几何漂移的链))．此外，本文还研究了可数状态空间上的连续时间受控马尔可夫链。11]应用于贴现和平均奖励最优性准则。因此，我们未来的研究将专注于通过精炼我们的结果和识别我们的结果的应用来对这项研究进行任何可能的改进。事实上，对这个问题的兴趣已经从“控制和优化理论”、“信息论”和“排队论”等研究领域发展起来。

利益冲突

作者声明本文的发表不存在利益冲突。

参考

1. “一类连续时间马尔可夫过程的次几何收敛速度”，应用概率杂志，第42卷，第2期3，页698-712,2005。视图:出版商的网站|谷歌学术搜索|MathSciNet
2. S. P. Meyn和R. L. Tweedie，“马尔可夫链收敛的状态相关准则”，应用概率的历史，第4卷，第4期。1，页149-168,1994。视图:出版商的网站|谷歌学术搜索|MathSciNet
3. S. B. Connor和G. Fort，“马尔可夫链次几何收敛的状态相关福斯特-李雅普诺夫准则”，随机过程及其应用，第119卷，第2期。12, pp. 4176-4193, 2009。视图:出版商的网站|谷歌学术搜索|MathSciNet
4. S.Yüksel和S.P.Meyn，“马尔可夫链的随机时间，状态依赖随机漂移和随机稳定在擦除渠道上的应用，”自动控制学报，第58卷，第2期1, pp. 47-59, 2013。视图:出版商的网站|谷歌学术搜索|MathSciNet
5. r . a . Zurkowski马尔可夫链和随机时间状态相关漂移的收敛速度的Lyapunov分析[M.S.]论文)，皇后大学，安大略省，加拿大，2013。
6. P. Tuominen和R. L. Tweedie， "次几何收敛率$f$各态历经的马尔可夫链。”应用概率研究进展第26卷第2期3，第775-798页，1994。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学|MathSciNet
7. S. P. Meyn和R. L. Tweedie，马尔可夫链和随机稳定性, 1993年施普林格。视图:出版商的网站|MathSciNet
8. Mao Y. H.，“连续时间马氏链的遍历度”，中国科学A:数学，第47卷，第47期。2，页161-174,2004。视图:出版商的网站|谷歌学术搜索|MathSciNet
9. E. Nummelin和P. Tuominen，“Harris递推马尔可夫链的Orey定理的收敛速度及其在更新理论中的应用”，随机过程及其应用，卷。15，不。3，第295-311,1983。视图:出版商的网站|谷歌学术搜索|MathSciNet
10. S. P. Meyn和R. L. Tweedie，马尔可夫过程的广义解和哈里斯递归，美国数学会，普罗维登斯，ri，美国，1993年。
11. T. Prieto-Rumeau和O. Hernández-Lerma，“连续时间受控马尔可夫链的均匀遍历性:一项调查和新结果”，运筹学研究年鉴, 2012年。视图:出版商的网站|谷歌学术搜索
12. “连续时间马尔可夫链的次几何遍历性”，数学分析与应用，第368卷，第2期1，页178-189,2010。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学|MathSciNet
13. F. M. Spieksma， " Kolmogorov正演方程与可数态马尔可夫过程的爆炸性，"运筹学研究年鉴, 2012年。视图:出版商的网站|谷歌学术搜索
14. “广义状态空间马尔可夫过程的福斯特-李雅普诺夫技术综述”，刊于随机稳定与随机稳定研讨会论文集， 1993年6月，法国梅斯。视图:谷歌学术搜索
15. R. Douc, G. Fort, E. Moulines，和P. Soulier，“次几何收敛率的实际漂移条件”，应用概率的历史第14卷第2期3，页1353-1377,2004。视图:出版商的网站|谷歌学术搜索|MathSciNet

版权

版权所有©2014 Mokaedi V. Lekgari。这是一篇发布在知识共享署名许可协议，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。