马尔科夫预测与决策ppt课件.ppt
《马尔科夫预测与决策ppt课件.ppt》由会员分享,可在线阅读,更多相关《马尔科夫预测与决策ppt课件.ppt(47页珍藏版)》请在三一文库上搜索。
1、马尔科夫预测与决策法 小组成员:于文豪 张薇 刘思伯 梅成波 杜照玺,马尔科夫预测与决策,1.基本原理概述 2.马尔科夫预测与决策 3.案例分析,第一节 基本原理,一、基本概念 1.随机变量 、 随机函数与随机过程 一变量x,能随机地取数据(但不能准确地预言它取何值),而对于每一个数值或某一个范围内的值有一定的概率,那么称x为随机变量。 假定随机变量的可能值xi发生概率为Pi 即P(x = xi) = Pi 对于xi的所有n个可能值,有离散型随机变量分布列: Pi = 1 对于连续型随机变量,有 P(x)dx = 1,在试验过程中,随机变量可能随某一参数(不一定是时间)的变化而变化. 如测量大
2、气中空气温度变化x = x(h),随高度变化。这种随参变量而变化的随机变量称为随机函数。而以时间t作参变量的随机函数称为随机过程。 也就是说:随机过程是这样一个函数,在每次试验结果中,它以一定的概率取某一个确定的,但预先未知的时间函数。,2、马尔科夫过程 随机过程中,有一类具有“无后效性性质”,即当随机过程在某一时刻to所处的状态已知的条件下,过程在时刻tto时所处的状态只和to时刻有关,而与to以前的状态无关,则这种随机过程称为马尔科夫过程。 即是:ito为确知,it(tto)只与ito有关,这种性质为无后效性,又叫马尔科夫假设。,简例:设x(t)为大米在粮仓中t月末的库存量,则 x(t)
3、= x(t1)y(t) +G(t) t月的转出量 第t1月末库存量 ,G(t)为当月转入量 x(t)可看作一个马尔科夫过程。,3、马尔科夫链 时间和状态都是离散的马尔科夫过程称为马尔科夫链。例:蛙跳问题 假定池中有N张荷叶,编号为1,2,3,N,即蛙跳可能有N个状态(状态确知且离散)。青蛙所属荷叶,为它目前所处的状态;因此它未来的状态,只与现在所处状态有关,而与以前的状态无关(无后效性成立),1,2,3,4,P33,P22,P44,P41,P42,P31,P32,写成数学表达式为: P( xt+1 = j | xt = it , xt-1 = it1,x1 = i1) =P( xt+1 = j
4、 | xt = it ) 定义:Pij = P( xt+1 = j | xt = i) 即在xt = i的条件下,使 xt+1 = j的条件概率,是从 i状态一步转移到j状态的概率,因此它又称一步状态转移概率。 由状态转移图,由于共有N个状态,所以有,二状态转移矩阵 1.一步状态转移矩阵 系统有N个状态,描述各种状态下向其他状态转移的概率矩阵 P11 P12 P1N 定义为 P21 P22 P2N : : : PN1 PN2 PNN 这是一个N阶方阵,满足概率矩阵性质 1) Pij 0,i,j = 1,2, , N 非负性性质 2) Pij = 1 行元素和为1 ,i=1,2,N,NN,P =
5、,如: W1 = 1/4, 1/4, 1/2, 0 W2 = 1/3, 0, 2/3 W3 = 1/4, 1/4, 1/4, 1/2 W4 = 1/3, 1/3, -1/3,0, 2/3 3)若A和B分别为概率矩阵时,则AB为概率矩阵。,概率向量,非概率向量,2.稳定性假设 若系统的一步状态转移概率不随时间变化,即转移矩阵在各个时刻都相同,称该系统是稳定的。 这个假设称为稳定性假设。蛙跳问题属于此类,后面的讨论均假定满足稳定性条件。,3.k步状态转移矩阵 经过k步转移由状态i转移到状态j的概率记为 P(xt+k =j | xt = i) = Pij(k) i,j = 1,2, , N 定义:k
6、步状态转移矩阵为: P11(k) P12(k) P1N(k) P = : : : PN1(k) PN2(k) PNN (k) 当系统满足稳定性假设时 P = P = P P P 其中P为一步状态转移矩阵。 即当系统满足稳定性假设时,k步状态转移矩阵为一步状态转移矩阵的k次方.,k,k,k,例:设系统状态为N = 3,求从状态1转移到状态2的 二步状态转移概率. 解:作状态转移图 解法一:由状态转移图: 1 1 2: P11 P12 1 2 2: P12 P22 1 3 2: P13 P32 P12 = P11 P12 + P12 P22 +P13 P32 = P1i Pi2,1,3,2,P13
7、,P32,P11,P12,P12,P22,解法二: k = 2, N = 3 P11(2) P12 (2) P13(2) P = P21(2) P22 (2) P23(2) P31(2) P32(2) P33(2) P11 P12 P13 P11 P12 P13 = PP = P21 P22 P23 P21 P22 P23 P31 P32 P33 P31 P32 P33 得: P12(2) = P11 P12 + P12 P22 +P13 P32 = P1i Pi2,三.稳态概率: 用于解决长期趋势预测问题。 即:当转移步数的不断增加时,转移概率矩阵 P 的变化趋势。 1.正规概率矩阵。 定义
8、:若一个概率矩阵P,存在着某一个正整数m,使P 的所有元素均为正数(Pij o),则该矩阵称为正规概率矩阵,k,例: 1/2 1/4 1/4 P = 1/3 1/3 1/3 为正规概率矩阵 2/5 1/5 2/5 0 1 P11 = 0 1/2 1/2 但当 m = 2, 有 有Pij 0 它也是正规概率矩阵。 (P 每个元素均为正数) 但 1 0 0 1 就找不到一个正数m,使P 的每一个元素均大于0,所以它不是正规概率矩阵。, ,P =,2,2,P =,m,P =,2,2.固定概率向量(特征概率向量) 设 P为NN概率矩阵,若U = U1, U2, UN为概率向量,且满足UP = U,称U
9、为P的固定概率向量 例 0 1 1/2 1/2 为概率矩阵 P的固定概率向量 U = 1/3 , 2/3 检验 UP = 1/3 2/3 0 1 1/2 1/2 =1/3 2/3,P =,3.正规概率矩阵的性质 定理一 设P为NXN正规概率矩阵,则 A .P有且只有一个固定概率向量 U = U1,U2, UN 且U的所有元素均为正数 Ui 0 B.NXN方阵P的各次方组成序列 P, P, P, ,P 趋于方阵T,且T的每一个行向量都是固定概率向量U。 即 U1 U2 UN U lim Pk = T = : : : = : U1 U2 UN U 这个方阵T称稳态概率矩阵。,2,3,k,这个定理说
10、明:无论系统现在处于何种状态,在经过足够多的状态转移之后,均达到一个稳态。 因此,欲求长期转移概率矩阵,即进行长期状态预测,只要求出稳态概率矩阵T; 而T的每个行向量都是固定概率向量,所以只须求出固定概率向量U就行了 !,定理二:设X为任意概率向量,则XT = U 即任意概率向量与稳态概率矩阵之点积为固定概率向量。 事实上: U1 U2 UN XT = X : : : = U1Xi U1Xi U1Xi U1 U2 UN = U1 U2 UN = U,例:若 0.4 0.3 0.3 P = 0.6 0.3 0.1 求T 0.6 0.1 0.3 解:设 U = U1 U2 U3 = U1 U2 1
11、U1U2 由 UP = U 有 0.4 0.3 0.3 U1 U2 1U1U2 0.6 0.3 0.1 = U1 U2 U3 0.6 0.1 0.3,即 -0.2U1 + 0.6 = U1 U1 = 0.5 0.2U1 + 0.2U2 + 0.1 =U2 U2 = 0.25 -0.2U2 + 0.3 = U3 U3 = 0.25 U = 0.5 0.25 0.25 则 0.5 0.25 0.25 T = 0.5 0.25 0.25 0.5 0.25 0.25 说明: 不管系统的初始状态如何,当系统运行时间较长时,转移到各个状态的概率都相等。(列向量各元素相等) 即 各状态转移到1状态都为0.5
12、; 2状态都为0.25 ; 3状态都为0.25,第二节 马尔科夫预测和决策,马尔科夫决策方法就是根据某些变量的现在状态及其变化趋向,来预测它在未来某一特定期间可能出现的状态,从而提供某种决策的依据。 马尔科夫决策基本方法是用转移概率矩阵进行预测和决策。,一、转移概率矩阵及其决策特点,转移概率矩阵模型为:,其中Pij 表示概率,,表示转移概率矩阵。,用马尔科夫决策方法进行决策的特点:,(1)转移概率矩阵中的元素是根据近期市场 或顾客的保留与得失流向资料确定的。 (2)下一期的概率只与上一期的预测结果有 关,不取决于更早期的概率。 (3)利用转移概率矩阵进行决策,其最后结 果取决于转移矩阵的组成,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 马尔科夫 预测 决策 ppt 课件
链接地址:https://www.31doc.com/p-3229805.html