[信息与通信]陈伟建-信息论基础-第2章 熵与互信息.ppt
《[信息与通信]陈伟建-信息论基础-第2章 熵与互信息.ppt》由会员分享,可在线阅读,更多相关《[信息与通信]陈伟建-信息论基础-第2章 熵与互信息.ppt(42页珍藏版)》请在三一文库上搜索。
1、2019/1/30,第2章 熵与互信息,信息如何度量?,2019/1/30,2.1 熵,信源发出的消息为单一符号,而这些符号随机地取值于一个有限集合,1、单符号离散信源,定义,表示,离散型随机变量X,2019/1/30,随机变量X的取值xi为信源发出的消息 i=1,2,N,2019/1/30,例1,例2,2019/1/30,2、自信息量,消息xi的概率P(xi)对数的负值,也叫无条件自信息量,用I(xi)表示,定义,表示,单位由对数的底a决定当a=2时为bit(binary unit),a=e时为nat(nature unit),a=10时为Hart(Hartley),2019/1/30,以b
2、it为单位的自信息量,I(xi)与xi的概率P(xi)相关 I(xi)是P(xi)的减函数,且当P(xi) =0时I(xi) ,P(xi) =1时I(xi) =0 I(xi)是P(xi)的连续函数,2019/1/30,例3,信源发出各消息的自信息量,2019/1/30,3、熵,信源各消息自信息量的数学期望,也叫无条件熵,用H(X)表示,定义,表示,单位一般为bit或bit/symbol,2019/1/30,H(X)反映信源每发出一条消息所提供的平均信息量,不反映信源发出某条特定消息的信息量 一般情况下,H(X)不等于每接受一条消息所获得的平均信息量,2019/1/30,4、熵的主要性质和最大熵
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息与通信 信息与通信陈伟建-信息论基础-第2章 熵与互信息 信息 通信 陈伟建 信息论 基础 互信
链接地址:https://www.31doc.com/p-2001293.html