信息编码期末复习.ppt
《信息编码期末复习.ppt》由会员分享,可在线阅读,更多相关《信息编码期末复习.ppt(89页珍藏版)》请在三一文库上搜索。
1、期末复习第一章,2011.11,马尔可夫过程的概念,1. 马尔可夫性(无后效性),马尔可夫性或无后效性.,即: 过程“将来”的情况与“过去”的情况是无关的.,齐次马氏链、平稳性的概念.,一步转移概率矩阵的计算.,一步转移概率,一步转移概率矩阵,状态转移图,1,2,3,0.5,0.25,路径: 经过一系列的转变状态i可以到状态j 可达: 两状态间有一条路径 互通 : 两状态间互连 吸收态:只能出去不能进来,平稳概率,意义,对固定的状态j,不管链在某一时刻的什么状,态 i出发, 通过长时间的转移到达状态 j 的概率都趋,于稳定。,信息的定义,通信系统传输和处理的对象,泛指消息和信号的具体内容和意义
2、。 通常需通过处理和分析来提取。,信源是产生消息的源,根据X的不同情况,信源可分为以下类型:,连续信源:如果信源输出的随机变量取值于某一连续区间,为连续信号,消息的个数是无穷值,就叫做连续信源。,离散信源:如果信源输出的随机变量取值于某一离散符号集合,消息在时间和幅值上均是离散的,就叫做离散信源。,1. 离散无记忆信源,离散无记忆信源的数学模型为离散型的概率空间,即:,u2 , , ui , , p(u2), , p(ui), ,离散无记忆信源的概率密度函数,(u),(当满足无记忆条件时),(当进一步满足平稳性时),离散有记忆信源的概率密度函数,若将离散序列信源发出的随机序列消息看作一阶马氏链
3、,则消息序列中任一时刻的消息 仅与其前面的一个消息 有关,而与更前面的消息没有直接关系。,(u),(对于马氏链),(对于齐次马氏链),(对于齐次遍历马氏链),自信息量:任意随机事件的自信息量定义为该事件发生概率的对数的负值。,信息熵平均自信息量:随机变量I(pi)的数学期望定义为平均自信息量,联合熵与条件熵:,定理1-2-2:熵函数的性质: 1.对称性 2.非负性 3.确定性 4.扩展性 5.递推性 6.可加性,定理1-2-2:熵函数的极值性,该性质表明,在离散情况下,信源U的各事件等概率发生时,熵达到极大值。这个重要结论称为最大熵定理。 事件的数目n越多,信源的熵值就越大(对数函数的单调上升
4、性)。,定理1-2-3:熵函数的上凸性,熵函数H(U)为pi= p(ui)的上凸函数,詹森(Jenson)不等式,当f(x)为下凸函数时:,当f(x)为上凸函数时:,离散无记忆信源的序列熵与消息熵,序列熵H(U),(对平稳信源),(熵的可加性),平均每个消息的熵消息熵HL(U),离散序列信源的消息熵HL(U)等于单符号离散信源的熵,定理1-3-1:,证明:,香农不等式,含义:熵不会因为附加条件的增加而有所增加。即,无条件熵大于等于有条件熵。,离散有记忆信源的序列熵与消息熵,定理1-3-3,对离散、平稳、有记忆信源,下列结论成立:,证明:根据仙农不等式,无条件熵大于有条件熵,弱条件熵大于强条件熵
5、。 含义:随着消息序列长度的增加,最后一个消息的条件熵呈递减趋势,即序列所增加的熵越来越小;只有当信源满足无记忆条件时,增加的熵才保持不变,含义:序列的平均消息熵大于等于最后一个消息的条件熵,含义:随着消息序列长度的增加,序列所增加的熵越来越小,那么序列的平均消息熵也将越来越小,含义:当消息序列的长度趋于无穷时,平均消息熵(即极限熵)等于最后一个消息的条件熵,互信息定义,互信息量是通信系统的信宿从信源所获得的信息量。,定理1-4-1:互信息的性质,I(U;V)=H(U)-H(UV) H(V)-H(VU) H(U)+ H(V)- H(U;V ) I(V;U),(1)对称性,(2)非负性,(3)互
6、信息不大于信源熵,H(U)是信源U的信息熵,H(UV)是信宿接收到V后,信源U还保留的熵,二者之差I(U;V)就是在接收过程中得到的关于U,V的互信息量。,对于无扰信道,I(U ; V)=H(U)。,对于强噪信道,I(U; V)= 0。,从通信的角度来讨论互信息量I(U ; V)的物理意义,由第一等式I(U;V)= H(U)-H(UV)看I(U;V)的物理意义:,对于无扰信道,有I(U;V)=H(U)=H(V)。,对于强噪信道,有H(VU)= H(V),从而 I(U; V) = 0。,H(V)是信宿接收到V所获得的信息量,H(VU)是发出消息U后,由于干扰而使V存在的信息熵,二者之差I(U;V
7、)就是一次通信所获得的信息量。,由第二等式I(U;V)= H(V)-H(VU)看I(U;V)的物理意义:,通信前,随机变量U和随机变量V可视为统计独立,其先验信息熵为H(U)+ H(V), 通信后,整个系统的后验信息熵为H(U;V) 二者之差H(U)+ H(V)- H(U;V)就是通信过程中信息熵减少的量,也就是通信过程中获得的互信息量I(U; V)。,由第三等式I(U;V)= H(U)+ H(V)- H(U,V)看I(U;V)的物理意义:,互信息量性质的意义,互信息量的对称性说明对于信道两端的随机变量U和V,由V提取到的关于U的信息量与从U中提取到的关于V的信息量是一样的。只是观察者的立足点
8、不同,对信道两端的随机变量U和V之间的信息流通的总体测度的两种不同的表达形式而已。,熵、条件熵、联合熵与互信息的关系,先验熵,接收符号熵,损失熵,噪声熵,联合熵,互信息的定理,定理1-4-2 当信道给定,即信道转移概率Pji固定,互信息I(U ; V)是信源概率分布pi的上凸函数。 当信源给定,即信源分布概率pi固定,互信息I(U ; V)是信道转移概率Pji的下凸函数。,定理1-4-2说明: 信道固定时,对于不同的信源分布,信道输出端获得的信息量是不同的。因此,对于每一个固定信道,一定存在一种信源(一种分布)pi ,使输出端获得的信息量最大;,信源固定以后,用不同的信道来传输同一信源符号时,
9、在信道输出端获得的信息量是不同的。可见,对每一种信源一定存在一种最差的信道,此信道的干扰最大,而使输出端获得的信息量最小。,信息不增性原理,在信息处理中,经常要对所接收到的信息Y归并或分类为信息Z。 数据处理过程中只会失掉一些消息,绝不会创造出新的信息,即信息不增性。,定理1-4-5,信源效率和冗余度,某信源的极限熵H与实际信息熵HL的比值称为信源效率,即 1减去信源效率称为信源冗余度,即,第二章 限失真信源与信息率失真函数,失真测度及其性质,在通信系统的信源和信宿的联合空间上定义失真测度:,表示信源发出一个符号ui,而在接收端再现vj,所引起的误差或失真。,R(D)函数的定义,香农定义了信息
10、率失真函数R(D),指出:在允许一定失真度D的情况下,信源输出的信息率可压缩到R(D)值。 对限失真信源,应该传送的最小信息率是R(D),而不是无失真情况下的信源熵H(U). 显然 H(U)R(D). 当且仅当 D=0时,等号成立;,R(D),根据前面在互信息中已讨论过的性质:,互信息是 的下凸函数,其极限值存在。所以在PD中一定可以找到某个试验信道,使互信息达到最小,这个最小值就是信息率失真函数R(D) ,简称率失真函数。,信息率失真函数R(D)是假定信源给定的情况下,在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。率失真函数一旦找到,就与求极值过程中选择的试验信道不再有关,
11、而只是信源特性的参量。不同的信源,其R(D)是不同的。 研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下,使信源必须传送给信宿的信息率最小。即用尽可能少的码符号传送尽可能多的信源消息,以提高通信的有效性。这是信源编码问题。,第三章 信道与信道容量,类似于对信源的统计描述,对信道而言描述它的三要素是: 信道输入统计概率空间:XK,p(X), 信道输出的统计概率空间:YK,q(Y), 信道转移概率矩阵:P(Y |X)。 即: ,P , , 它可简化为:,3.1.2 信道描述,,,,,信道容量的定义,离散强对称信道,一、强对称信道,强对称信道的两项重要特征: 其输入消息与输出消息相等,均
12、为n个,即m=n。且信道中总的误差概率Pe,它将平均分配给(n-1)个传输的错误。, 信道转移概率矩阵中的每一行都是第一行的重排列,即信道对输入是对称的;每一列都是第一列的重排列,即信道对输出也是对称的。 条件就对称而言,比条件更加本质,更加重要。若放弃条件,保留条件,我们就可以得到一般性的对称信道。,二、对称信道,对这类一般对称信道有如下定理: 定理3-4-1:对于单个消息离散对称信道,当且仅当信道输入输出均为等概率分布时,信道达到容量值。,结论:对于离散单个消息对称信道,C为最佳输入分布时的最大输出熵。根据最大熵定理,输出分布为等概率时其熵最大。同时由于信道的对称性,此时输入的最佳分布必然
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息 编码 期末 复习
链接地址:https://www.31doc.com/p-3425498.html