[教育学]-第2章-2.doc
《[教育学]-第2章-2.doc》由会员分享,可在线阅读,更多相关《[教育学]-第2章-2.doc(59页珍藏版)》请在三一文库上搜索。
1、第2章 信息的度量2.1 基本要求通过本章学习,了解信源的模型和分类,掌握自信息量和互信息的定义和性质,掌握离散信源的熵及其性质、平均互信息的性质,掌握无记忆信源的扩展,了解离散有记忆信源的熵,了解马尔可夫信源的熵,掌握离散信源的信息率的概念,掌握连续信源的微分熵以及微分熵的极大化,了解连续信源的熵功率的概念。2.2 学习要点2.2.1 信源的分类2.2.1.1根据信源的参数和值分类信源在时刻输出是随机变量。取值于符号表,表示为 ,其中,。根据参数和值的性质,可将信源分为四类:空间离散信源离散信源时间离散信源 时间离散空间离散信源:和均离散 时间离散空间连续信源:离散,连续空间连续信源离散信源
2、时间连续信源 时间连续空间离散信源:连续,离散 (波形信源)时间连续空间连续信源:和均连续为了数字化存储与传输的要求,时间连续信源均要通过采样变为时间离散信源,因此通常简单化表示如下:空间离散信源离散信源空间连续信源连续信源2.2.1.2根据信源的记忆特性分类无记忆信源 N维分布函数: (2.1)各符号间统计无关。有记忆信源各符号间统计相关。2.2.1.3根据信源的平稳特性分类平稳信源:序列的统计特性与时间的推移无关。 (2.2)平稳信源也是有记忆的,只是记忆的长度有限。N阶平稳信源:任一时刻的输出,只与前面N-1时刻、的输出有关。平稳信源只需考虑任意N个相邻时刻的输出序列: (2.3) 独立
3、同分布信源:无记忆信源各个时刻的随机变量是同分布的。非平稳信源:不满足上面条件的信源。2.2.2 信源的数学模型2.2.2.1离散无记忆信源的数学模型离散无记忆信源(DMS)的数学模型可用概率空间表示: (2.4)也可用下式表示 (2.5)若满足约束条件 ,则称为完备信源。2.2.2.2 非理想观察模型非理想观察模型是实际通信或信息传递系统的抽象,由它可引出信息传递的一些共性问题,并能简明的解释一些理论问题。对信源进行观察,观察结果为(),是信源的取值。一般来说,由于有干扰存在,观察过程是非理想的。图2.1是、的非理想观察过程。图2.1 非理想观察过程条件概率,表示了观察过程中干扰的有害影响。
4、条件概率是观察到之后关于输入的概率,称为符号的后验概率。信源观察过程图2.2 非理想观察模型非理想观察模型见图2.2所示。信息是不确定性的减小,通过对信源输出的观察,认识主体所获得的信息为信息 = 先验不确定性 - 后验不确定性 (2.6)2.2.2.3连续信源的数学模型若是连续信源(连续随机变量),其取值区间,统计特性由定义于上的概率密度函数描述。则连续信源的数学模型为: (2.7)2.2.3 离散信源的自信息信源的自信息分为自信息量、条件自信息量和联合自信息量三种,用于量度信息的不确定性的大小。2.2.3.1 自信息量设信源取值的概率为,的自信息量定义为 , (2.8)表示取值的先验不确定
5、性的大小。若对数底为2,单位为比特(bit);对数底为,单位为奈特(nat);对数底为10,单位为迪特(dit)或哈特(Hart);对数取正整数为底,则称为进制单位。2.2.3.2 联合自信息量联合自信息量是自信息量的自然推广。考虑信源和的联合空间,即,其概率空间为: (2.9)且联合概率是完备的,即 (2.10)二元联合符号的联合自信息量定义为 /二元符号 (2.11)它表示代表联合符号的先验不确定性。2.2.3.3 条件自信息量定义在条件下的条件自信息量为 /符号 (2.12)在条件下的条件自信息量可类似定义。表示在观察到符号的条件下还剩下的不确定性。代表输入且观察到时干扰引入的不确定性。
6、2.2.3.4 自信息量的性质(1) 概率为0时,相应的自信息量无意义。(2) 非负性。三种自信息量均非负。(3) 可加性。推广到多维空间: (2.13)该式称为自信息量可加性的链公式。若所有变量均统计独立,则有 (2.14)2.2.4 离散信源的互信息量及其性质2.2.4.1互信息量的定义当观察输入为,观察结果为,从观察结果中得到的有关输入符号的信息,记为,表示与之间的互信息量。 (2.15)互信息量的概率计算式: (2.16)2.2.4.2 互信息量的性质(1) 互易性:(2) 独立变量的互信息量为0:(3) 互信息量可正可负。当互信息量为正,意味着的出现有助于减小的不确定性;当为负,意味
7、着的出现增大了的不确定性。(4) 互信息量不可能大于符号的实在信息,即 (2.17)2.2.5 离散信源熵 自信息量是针对信源的单个符号而言的,表示单个符号的不确定性。熵表示信源的平均不确定性,是对所有符号的自信息量的统计平均。2.2.5.1离散熵的定义对于DMS信源,离散熵定义为 (2.18)表示信源的统计平均不确定性,单位分别是/符号、/符号、/符号、进制单位/符号。2.2.5.2 离散熵的性质(1) 对称性。 (2.19)其中是的任意置换。(2) 可扩展性。 (2.20)加入零概率事件不会改变熵。(3) 非负性。 (2.21)等号成立的充要条件是:只有一个符号概率为1,其余概率均为0,即
8、确定性概率分布。(4) 强可加性。 (2.22)(5) 可加性。 (2.23)(6) 渐化性(递增性)。 (2.24)(7) 凸状性。是上凸函数。(8) 极值性。 (2.25)对以上性质的证明,将用到两个重要不等式:信息论不等式和香农不等式。信息论不等式:对于任意实数,有不等式,当且仅当时,等式成立。香农不等式: (2.26)当且仅当,等式成立。2.2.6 联合熵和条件熵2.2.6.1 联合熵的定义联合信源的熵称为联合熵,是联合自信息量的统计平均或均值: (2.27)推广到多个信源联合的情形: (2.28)2.2.6.2 条件熵的定义条件熵定义为条件自信息量的统计平均值: (2.29)可类似定
9、义。表示对信道输出进行统计平均后,有关的后验平均不确定性;则是干扰引入的平均不确定性。2.2.7 各类熵之间的关系 (2.30)上式是熵的强可加性的另一种表达方式。当与统计无关时,。 以上关系可进一步推广成 (2.31)2.2.8 平均互信息量及其性质2.2.8.1 平均互信息量的定义信源与之间的平均互信息量,是统计平均意义下的先验不确定性与后验不确定性之差,也是互信息量的统计平均: (2.32)2.2.8.2平均互信息量的性质(1)互易性,即。(2)非负性,即。由非负性可得出熵的一个有用性质。因为,故有 (2.33)说明条件熵不会大于无条件熵,增加条件只可能使不确定性减小;进一步推广,条件多
10、的熵不会大于条件少的熵,即 (2.34)(3)有界性,即 (2.35)各种熵以及平均互信息量之间的关系可用以下文氏图表示。图2.3 熵、平均互信息量关系的文氏图2.2.9 离散无记忆扩展信源的熵离散无记忆信源,考虑任意个相邻时刻的输出随机变量,把看成是一个新的离散无记忆信源的输出,记为,称为的次扩展信源。的熵为 /元符号 (2.36)2.2.10 离散有记忆信源的熵考虑离散有记忆阶平稳信源,用两种熵描述不确定性:联合熵和平均符号熵。联合熵 /长符号串 (2.37)平均符号熵 /符号 (2.38)对于一般的离散有记忆信源,需考虑时的极限熵: /符号 (2.39)2.2.11马尔可夫信源的信息熵2
11、.2.11.1 马尔可夫信源设信源所处的状态序列为,在每一个状态下可能输出的符号序列为。若信源输出的符号序列和状态序列满足下列条件,则为马尔可夫信源:(1)某一时刻信源符号的输出只与当时的信源状态有关,而与以前的状态无关,即 (2.40)其中, 。(2)信源状态只由当前输出符号和前一时刻信源状态唯一确定,即 (2.41)马尔可夫信源的状态空间可表述为 (2.42)其中,状态转移概率,是由信源符号条件概率确定。2.2.11.2 马尔可夫信源的信息熵在状态下发出一个符号的条件熵为 (2.43)一般马尔可夫信源的信息熵只能是其平均符号熵的极限值。即 (2.44)2.2.12 离散信源的信息(速)率和
12、信息含量效率离散信源的信息率定义为平均一个符号所携带的信息量,在数值上等于信源的极限熵:/符号 (2.45)信源的信息含量效率定义为实际的实在信息与最大的实在信息之比:, (2.46)当且仅当是DMS且等概率分布时,。定义信源的相对冗余度为 (2.47)2.2.13 连续信源的微分熵和平均互信息量2.2.13.1 连续信源的微分熵连续信源的微分熵定义为: (2.48)微分熵具有相对意义,不具备非负性。2.2.13.2 连续信源的联合熵和条件熵连续信源和的联合微分熵定义为: (2.49)连续信源和的条件微分熵定义为: (2.50)各类微分熵之间的关系: (2.51)不等关系: (2.52)其中,
13、等号成立的充要条件是与统计独立。2.2.13.4 连续信源的平均互信息任意两个连续信源和之间的平均互信息量的计算式为 (2.53)平均互信息量与微分熵之间的关系: (2.54)具有互易性和非负性。2.2.13.5 微分熵的极大化(1)幅值受限设的取值受限于有限区间,则服从均匀分布时,其熵达到最大。(2)方差受限设的均值为,方差受限为,则服从高斯分布时,其熵达到最大。当的均值为零、平均功率受限为,熵达到最大,最大熵为: (2.55)2.2.13.6 连续信源的熵功率定义的熵功率为: (2.56)显然,熵功率不大于平均功率,即。当且仅当服从高斯分布时,等号成立,熵功率等于平均功率。可以用平均功率与
14、熵功率的差值来表示连续信源的剩余度,即连续信源的剩余度只有高斯分布的信源,其剩余度才为零。2.3 习题参考答案2.1 信源模型2.1.1 试简述信源分类以及各种信源特点。答:根据参数集和值域是离散集合还是连续区间,可将信源分为四类:(1) 时间离散空间离散信源(2) 时间离散空间连续信源(3) 时间连续空间离散信源(4) 时间连续空间连续信源根据各随机变量是否统计相关,可将信源分为两类:(1) 有记忆信源:信源在不同时刻输出的各随机变量是统计相关的(2) 无记忆信源:这种信源的输出序列是一族统计上相互独立的随机变量根据信源的维分布函数是否与时间的起点有关,可分为两类:(1) 平稳信源:信源的维
15、分布函数与时间的起点无关(2) 非平稳信源:信源的维分布函数与时间的起点有关2.2 信息的描述2.2.1 在非理想观察模型中,存在哪些不确定性,它们与信息有何关系?答:在对信源进行观察之前,对认识主体来说,信源存在先验不确定性。观察之后,信源还存在后验不确定性。通过对信源输出的观察,认识主体所获得的信息为:先验不确定性后验不确定性2.3 不确定性与信息2.3.1 (原2.5) 一副充分洗乱的牌(含52张),试问:(1)任一特定排列所给出的不确定性是多少?(2)随机抽取13张牌,13张牌的点数互不相同时的不确定性是多少? 解:(1)一副充分洗乱的扑克牌,共有52张,这52张牌可以按不同的一定顺序
16、排列,可能有的不同排列状态数就是全排列种数,为 因为扑克牌充分洗乱,所以任一特定排列出现的概率是相等的。 设事件A为任一特定排列,则其发生概率为 可得,任一特定排列所给出的信息量为 比特 哈特(3) 设事件B为从中抽取13张牌,所给出的点数都不同。 扑克牌52张中抽取13张,不考虑其排列顺序,共有种可能的组合。而扑克牌中每一种点数有4种不同的花色。而每一种花色都有13张不同的点数。13张牌中所有的点数都不相同(不考虑其顺序)就是每种点数的花色不同,所以可能出现的状态数为。因为牌都是充分洗乱的,所以在这种组合中所有的点数都不相同的事件都是等概率发生的。所以 则事件B发生所得到的信息量为 比特 哈
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 教育学
链接地址:https://www.31doc.com/p-1983518.html