离散信源.ppt
《离散信源.ppt》由会员分享,可在线阅读,更多相关《离散信源.ppt(59页珍藏版)》请在三一文库上搜索。
1、2 离散信源,2.1 离散信源的信息熵 2.2 熵的基本性质 2.3 信源的相关性与剩余度,信源的数学模型及分类 信息熵 联合熵与条件熵,2.1 离散信源的信息熵,一、 信源的数学模型与分类,概率空间:,样本空间,概率函数,例1:,P(a1)P(a2)1,例2:,2.1 离散信源的信息熵,一、 信源的数学模型与分类,抛硬币,音频信源,2.1 离散信源的信息熵,一、 信源的数学模型与分类,或,概率空间:,2.1 离散信源的信息熵,信源,离散无记忆信源 (DMS),离散有记忆信源,离散 信源,连续 信源,简单DMS:,复杂信源:,时间离散的连续源,随机波形源,简单连续信源:,一、信源的数学模型与分
2、类,则其中事件ai的自信息为:,设离散信源X,其概率空间为:,2.1 离散信源的信息熵,二、 信息熵,例3,2.1 离散信源的信息熵,定义2-1: 信源输出各消息的自信息量I(ai)的数学期望为信源的平均自信息量,即:,又称为信源X的信息熵或熵。,二、 信息熵,2.1 离散信源的信息熵,平 均 自 信 息,对象,概率矢量,对某给定信源,信息熵H(X)的取值是固定的,而不是随机变量。,二、 信息熵,说明:,例4一组信源:,2.1 离散信源的信息熵,二、 信息熵,熵平均自信息,说明:,2.1 离散信源的信息熵,(A)描述信源X的平均不确定性,含义,(B)平均每个信源符号所携带的信息量,三、 信息熵
3、,例5 (从另一角度领会信息熵的含义) 若布袋内放100个球。其中,70个是红色(a1);30个是白色(a2)。现随机摸出一个球猜颜色,求平均每次试验的信息量。,2.1 离散信源的信息熵,说明:,(A)描述信源X的平均不确定性,含义,(B)平均每个信源符号所携带的信息量,I(ai)与H(X),bit/sig, nat/sig, hart/sig,相同点: (本质)描述不确定性大小,不同点:(对象)个别事件与整个集合,辨析,单位,二、 信息熵,2.1 离散信源的信息熵,练习:,2 离散信源,2.1 离散信源的信息熵 2.2 熵的基本性质 2.3 信源的相关性与剩余度,信源的数学模型及分类 信息熵
4、 联合熵与条件熵,定义2-2:联合集XY上,联合自信息的平均值定义为联合熵,即:,2.1 离散信源的信息熵,三、 联合熵与条件熵,例6:,已知DMS:,2.1 离散信源的信息熵,(联合熵的应用),三、 联合熵与条件熵,N次扩展信源的数学模型:,2.1 离散信源的信息熵,含义:扩展信源XN中平均每个消息序列提供的信息量。 (bit/N-sigs),三、 联合熵与条件熵,(联合熵的应用),定义2-3:联合集XY上,条件自信息的平均值定义为条件熵,即:,2.1 离散信源的信息熵,三、 联合熵与条件熵,设箱中有100个球,其中40个黑球,60个白球。做从箱中取球且不放回试验,连续进行两次,试求猜中第二
5、个球颜色的难度。,例7:,解:,2.1 离散信源的信息熵,(用X表示取出第一个球的颜色,Y表示取出第二个球的颜色),三、 联合熵与条件熵,黑,白,2.1 离散信源的信息熵,(条件熵的应用),且P(aiaj)=P(ai)P(aj|ai) (i,j=1,2,q),,问题:信源X平均每符号输出信息量?,设:二维离散平稳信源X,三、 联合熵与条件熵,2.1 离散信源的信息熵,(条件熵的应用),二维平稳信源熵:,三、 联合熵与条件熵,例8:,有一连续信源,其输出信号的概率密度曲线如下图所示,现将信号等间隔采样,并量化为3个电平,则该连续信源转换成三元离散信源,其符号间的条件概率分布如下表所示。求该离散信
6、源熵。,2.1 离散信源的信息熵,(二维离散平稳信源),三、 联合熵与条件熵,离散二维平稳信源,二维联合概率,2.1 离散信源的信息熵,三、 联合熵与条件熵,2.1 离散信源的信息熵,小结:,自信息,熵,条件自信息,联合自信息,联合熵,条件熵,考虑两个随机事件,考虑两个随机事件集合,习题:,设(X,Y)服从如下联合分布,试求 H(X),H(Y),H(X|Y),H(Y|X),H(XY)。,2.1 离散信源的信息熵,思考题1: 设X是取值有限的随机变量,如果:,H(X)和H(Y1)及H(Y2)的关系是怎样的?,2.1 离散信源的信息熵,思考题2:,2.1 离散信源的信息熵,预习:第2.2和2.3节
7、。,2.1 离散信源的信息熵,2 离散信源,2.1 离散信源的信息熵 2.2 熵的基本性质 2.3 信源的相关性与剩余度,2. 2 熵的基本性质,1. 非负性,2. 确定性,3. 对称性,(i1,iq)为(1q)任意排列,4. 扩展性,习题,确知信源熵为0,2. 2 熵的基本性质,3. 对称性,例:分别计算下列信源熵:,2. 2 熵的基本性质,1. 非负性,2. 确定性,确知信源熵为0,3. 对称性,(i1,iq)为(1q)任意排列,熵只与随机变量的总体结构有关,4. 扩展性,极小概率事件对熵几乎无影响,习题,5. 熵的链式法则,2. 2 熵的基本性质,若X和Y统计独立,则,熵的 强可加性,熵
8、的 可加性,5. 熵的链式法则,2. 2 熵的基本性质,1. 试证明(强可加性):,习题:,2. 2 熵的基本性质,2. 对于离散无记忆信源X的N次扩展信源XN,其信息熵为X信源熵的N倍,即:,当且仅当P1=P2=Pq=1/q时,信源具有最大熵。,2. 2 熵的基本性质,6. 极值性,证明(极值性):,2. 2 熵的基本性质,引理:若x0,则: lnxx-1(即log2x(x-1)loge), (当且仅当x=1时成立),证明:,当且仅当 1/piq=1即pi1/q时等式成立。,当且仅当P1=P2=Pq=1/q时,信源具有最大熵。,信源中各事件出现概率趋于均匀时,信源的平均不确定性最大。 (数据
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 离散 信源
链接地址:https://www.31doc.com/p-2610730.html