第三章Markov过程.ppt
《第三章Markov过程.ppt》由会员分享,可在线阅读,更多相关《第三章Markov过程.ppt(23页珍藏版)》请在三一文库上搜索。
1、第三章 Markov过程,第一节 Markov链的定义和例子,定义3.1 如果对任何一列状态 及对任何 ,随机过程 满足Markov性质: 则称 为离散时间Markov链。,定义3.2 设 为一离散时间Markov链。给定 在状态 时 处于 状态的条件概率 称为Markov链的一步转移概率,记作 。当这一概率与n无关时称该Markov链有平稳转移概率,并记之为 ,对应Markov链称为时齐Markov链。 记n步转移概率为 ,以 为元 的矩阵 记作 ,称为Markov链的n步转移概率矩阵。,定理3.1 Markov链的n步转移概率矩阵满足 ,在上式中我们定 。 例3.1(一维随机游动)设一质点
2、在直线上的点集 上作随机游动,每秒钟发生一次游动,游动规则是:如果质点处于2,3,4点处,则在下一秒钟,质点均以的概率向左,右移动一单位或停留在原处;如果质点处于1处,则在下一秒钟以概率1移动到2处;如果质点处于5处,则在下一秒钟以概率1移动到4处因为质点不可越出1,5两点,故称为不可越壁的随机游动用 表示在时刻n质点的位置,则 是个齐次马氏链 (1) 试写出它的一步转移矩阵和二步转移矩阵; (2) 若初始分布为 ,试求在时的绝对分布 ,解:(1)一步转移矩阵 二步转移矩阵,(2) 例3.2 设建筑物受到地震的损害程度为齐次马氏链,按损害程度分为5种状态:无损害称为处于状态1,轻损害称为处于状
3、态2,中等损害称为处于状态3,严重损害称公处于状态4,全部倒塌称为处于状态5设一步转移矩阵为 初始分布为 试求接连发生两次地震时,该建筑物的各状态的概率分布, 指出接连发生两次地震后,该建筑物完全倒塌的概率为多少? 严重损害概率为多少?中等以上损害概率为多少?,解:时的绝对分布为 从而知接连发生两次地震后,建筑物完全倒塌的概率为 严重损害的概率为 中等以上损害的概率为: 例3.3 (0l传输系统)一个通信传输系统,通过n个阶段传输数字0和1,设在每一个阶段被下一个阶段接受的数字仍与这阶段相同的转移概率为 ,且记第n阶段被接受到的数为 则 是一个齐次马氏链,其一步转移概率矩阵为 (1)设 求系统
4、经过二级传输后的传真率和四级传输后的误码率(输入和输出相同的概率为传真率,相反的情况称误码率) (2)设 又设初始分布为 ,若己知系统经过n级传输后的输出为l,问原发信号也为l的概率为多少?,解 (1)由 可知系统二级传输后的传真率为: 系统四级传输后的误码率为: (2)根据贝叶斯公式,当已知系统经过n级传输后输出为1,原发信号也为1的概率为:,第二节 Markov链的状态分类,3.2.1 互达性和周期性 定义3.3 可达与互达如果对某一 ,有 则称状态是从状态 可达的记作 ,它表示从状态 经过有限步的转移可以到达状态 。两个互相可达的状态 和 则称为是互达的记作 . 命题3.1 互达性是等价
5、关系 1) 自反性, 2)若 ,则 ,对称性, 3)若 ,则 ,则 ,传递性。 两个状态如果是互达的就称他们是处在同一类中Markov链的所有状态就由互达这一等价关系而分割成不同的等价类由命题3.1我们立刻知道两个类要么互不相交,要么完全重合如果在互达性这一等价关系下Markov链的所有状态都居于同一类那么就称这个Markov链是不可约的换言之,不可约过程的各个状态都是互达的,例3.4 若Markov链有转移概率矩阵 则显见 和 是状态在互达意义下的 两个等价类。这个链是可约的。可以把 它分成两个链来研究。 定义3.4 状态 的周期为Markov链的一个状态,使 的所有 的最大公约数称作是状态
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第三 Markov 过程
链接地址:https://www.31doc.com/p-2568674.html