信息论实验指导书.pdf
《信息论实验指导书.pdf》由会员分享,可在线阅读,更多相关《信息论实验指导书.pdf(19页珍藏版)》请在三一文库上搜索。
1、信息理论与编码实验指导书 电子与电气工程学院 罗晓琴 编 实验要求 1、实验前认真阅读实验指导书的内容,并完成预习任务。 2、复习 Matlab 的相关知识,完成仿真。 3、要熟悉本次实验的任务。 4、实验过程中要认真记录实验结果,仿真结果需经指导教师审阅。 5、实验后每位同学要独立完成实验报告的内容。 目录 实验一 离散信源的自信息量和熵3 实验二 最大离散熵定理6 实验三 费诺编码9 实验四 霍夫曼编码13 实验五 香农编码16 实验一:计算离散信源的自信息量和熵 一、实验目的 1 、熟悉离散信源的特点。 2 、学习 Matlab 仿真离散信源的方法。 3 、学习离散信源自信息量和信源熵的
2、计算方法。 4 、熟悉 Matlab 编程。 二、实验设备 1、计算机 2、软件: Matlab 三、实验原理 本实验主要完成信源概率分布的自信息量以及信源熵的计算。 计算公式如下: 一个字符它所携带的信息量是和该字符出现的概率有关,概率可以表征自信 息量的大小自信息的计算公式为: 2 1 ()l o g a I a p 自信息量有两个含义: 第一、当事件发生前,表示该事件发生的不确定性; 第二、当事件发生后,标是该事件所提供的信息量 自信息量的单位取决于对数所取的底,若以 2 为底,单位为比特,以 e 为底, 单位为奈特,以 10 为底,单位为哈特。 在通信系统中,通常取比特为单位,底数2
3、略去不写。 由于自信息 I(a)是一个随机变量,不能用来表征整个信源的不确定度。所以 我们用平均自信息量来表征整个信源的不确定度。平均自信息量就是信源输出所 有消息的自信息的数学期望,又称为信息熵、信源熵,简称熵。 熵(平均自信息)的计算公式为: 22 11 1 ( )loglog qq iii ii i H xppp p 信息熵 H(x)是对信源的平均不确定性的描述。它从平均意义上来表征信 源的总体信息测度。对于某特定的信源,其信息熵是一个确定的数值。 信息熵具有如下三种物理意义。 第一,信息熵 H(x)是表示信源输出后,每个消息或符号所提供的平均信 息量。 第二,信息熵 H(x)是表示信源
4、输出前,信源的平均不确定性。 第三,信息熵 H(x)可表征变量 X的随机性。 由此可以看出,自信息量与信息熵的含义是不同的: (1)信息熵是表征信源本身统计特性的一个物理量,它表示信源的平均不确 定性,是信源输出的每一个消息所能提供的平均信息量;自信息量表示的是 每一个消息的信息量度。 (2)信息熵是针对信源的, 是信源输出的信息量, 表示信源输出前的平均不 确定性;自信息量是针对信宿的, 是接收者在消除了信源不确定性后所获得的信 息的度量。 (3)若信道无干扰, 接收者获得的信息量在数量上等于信源的熵,若有干扰 时,则两者不相等。 四、实验内容 1 、已知信源概率分布为:p=1/2,1/4,
5、1/8,1/8,编写出计算自信息量的 Matlab 程序。 程序: function I = deal(p) n=4; for i =1: n I(i)=-log2(p(i) ; end 打开空白的 M 文件编辑器,将上述程序输入。保存。通过M文件调用的形式完 成仿真。 步骤:在 command window中输入 p=1/2,1/4,1/8,1/8调用 deal.M 文件输 入I=deal(1/2,1/4,1/8,1/8),仿真实现。 2 、写出信源概率分布为:p=1/2,1/4,1/8,1/8离散信源熵的 Matlab 程序。 程序: function H = deal(p) n =4;
6、H =0; for i =1: n I(i)=-log2(p(i) ; H = H + p(i)*I(i); end 打开空白的 M 文件编辑器,将上述程序输入。保存。通过M文件调用的形式完 成仿真。 步骤:在 command window中输入 p=1/2,1/4,1/8,1/8调用 deal.M 文件输 入H=deal(1/2,1/4,1/8,1/8),仿真实现。 3、写出信源概率分布为: p=1/2,1/4,1/8,1/8的离散信源自信息量和信源熵的 Matlab 程序。 function I H = deal(p) n = length(p); H = 0; for i =1: n I
7、(i)=-log2(p(i) ; H = H + p(i)*I(i); end 步骤:在 command window中输入 p=1/2,1/4,1/8,1/8调用 deal.M 文件输 入I H=deal(1/2,1/4,1/8,1/8),仿真实现。 4、将程序在计算机上仿真实现,验证程序的正确性并完成思考题的程序设计。 五、思考题 1、说明离散信源自信息量和信息熵的不同含义。 2、甲地天气预报构成的信源空间为: X 晴云大雨小雨 (x)p 1 3 1 4 1 6 1 4 乙地信源空间为: Y 晴小雨 (y)p 5 8 3 8 求此两个信源的熵。求各种天气的自信息量。 六、实验报告要求 总结
8、离散信源的特点及离散信源平均信息量的计算, 写出实验内容中的仿真 程序及结果,完成思考题中MATLAB 实现语句 , 并附上仿真实现的结果。 实验二最大离散熵定理 一、实验目的 1 、熟悉熵函数的基本性质。 2 、掌握最大熵定理。 3、学习 Matlab 仿真二维曲线图的方法。 4 、熟悉 Matlab 编程。 二、实验设备 1、计算机 2、软件: Matlab 三、实验原理 信息熵 H(x)是随机变量 X的概率分布 p(x)的函数,它有如下性质: 1、对称性 H(P)=H(p1,p2,p3, ,pn)= H(p2,p3, ,pn p1)=H(pn,p1,p2,p3, ,pn-1) 概率分布的
9、顺序是可以任意互换的, 互换后的概率分布表示的是相同的随机 变量,随机变量的总体结构没有变化,则可证明对应的熵函数的值也不会变。该 性质表明熵函数只与信源的总体统计特性有关。这也说明,信息熵只抽取了信源 信息输出的统计特征, 而没有考虑信息的具体含义和效用。也就是说, 信息熵有 它的局限性,它不能描述时间本身的具体含义和主观价值等。 2、确定性 H(1,0)=0 在概率矢量 P=(p1,p2,p3, ,pn)中,只要有一个分量为1,其它分量必为 0,这由概率分布的完备性可以得到。也就是说信源的平均不确定度为0。 3、非负性 H(P)=H(p1,p2,p3, ,pn) 0 因为 P=(p1,p2
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 实验 指导书
链接地址:https://www.31doc.com/p-5631656.html