《信息论与编码》陈运部分作业详解资料.pdf
《《信息论与编码》陈运部分作业详解资料.pdf》由会员分享,可在线阅读,更多相关《《信息论与编码》陈运部分作业详解资料.pdf(18页珍藏版)》请在三一文库上搜索。
1、第 2 章信源熵 2.1试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍? 答:2 倍,3 倍。 2.2一副充分洗乱了的牌 (含 52 张牌),试问 (1) 任一特定排列所给出的信息量是多少? (2) 若从中抽取13 张牌,所给出的点数都不相同, 能得到多少信 息量?解: (1) !52log 2 (2) 任取 13 张,各点数不同的概率为 13 52 !13 C ,信息量:9.4793(比 特/符号) 2.3居住某地区的女孩子有 %25 是大学生,在女大学生中有75%是身 高 160 厘米上的,而女孩子中身高160 厘米以上的占总数的一 半。假如我们得知 “ 身高 160 厘米以上的某女
2、孩是大学生” 的消 息,问获得多少信息量? 答案: 1.415 比特/符号。 提示:设事件 A 表示女大学生,事件 C 表示 160CM 以上的女孩,则问题就是求p(A|C), 8 3 2 1 4 3 4 1 )( )|()( )( )( )|( Cp ACpAp Cp ACp CAp 22 log(/)log 3/81.415p A C 2.4 设离散无忆信源 1234 0123 3/81/ 41/ 41/8 Xaaaa P X , 其发出的消息 为(202120130213001203210110321010021032011223210),求 (1) 此消息的自信息量是多少? (2) 在
3、此消息中平均每个符号携带的信息量是多少? 解:(1)信源符号的自信息量为I(ai)=-log2p(ai),故 0,1,2,3的自信息 量分别为 1.415、 2、 2、 3。 消息序列中 0,1,2,3 的数目分别为 14,13,12,6,故此消息 的自信息量为 1.415*14+2*13+2*12+3*6=87.81 比特, (2)87.81/45=1.951比特。 2.6 设信源 123456 0.20.190.180.170.160.17 Xaaaaaa P X ,求这信源的熵, 并解释为什么log6HX不满足信源熵的极值性。 提示:信源的概率之和大于1。 2.7 同时掷两个正常的骰子,
4、也就是各面呈现的概率都为1/ 6,求: (1) “3和 5 同时出现 ” 这事件的自信息量; (2) “两个 1 同时出现 ” 这事件的自信息量; (3) 两个点数的各种组合 (无序对 )的熵或平均信息量; (4) 两个点数之和 (即2,312构成的子集 )的熵; (5) 两个点数中至少有一个是1 的自信息量。 解: (1) 4.17(比特 /符号 ),提示: 3 和 5 同时出现的概率为 2 6 1 6 1 =1/18 (2) 5.17(比特/符号),提示:两个 1 同时出现的概率1/36 (3) “两个点数相同 ” 的概率:1/36,共有 6 种情况; “ 两个点数不同 ” 的概率 :1/
5、18,共有 15种情况 .故平均信息量 为: 22 61151 loglog 36361818 4.337 比特/符号 (4) 3.274(比特/符号)。提示:信源模型 234567891 01 11 2 55111111111 3618129366369121836 (5) 1.711(比特 /符号 )。提示:至少有一个1 出现的概率为 36 11 6 1 6 1 6 1 6 1 2.8 证明 12n HX XX 12n HXHXHX 提示: 由教材式 (2.1.26)和(2.1.28)可证 证明: 1212 123 1221 1221 ()()(),()( ) ()()( ) ()() (
6、)()() ()()()() ()()()()() nn n nnn nnn H XYH XH Y XH Y XH Y H XYH XH Y HX XXH XH XX H XH XH XX H XH XH XH XX H XH XH XH XH X 2.4证明 312 HXX X 31 HXX,并说明等式成立的条件。 提示:见教材第38 页 2.10 对某城市进行交通忙闲的调查,并把天气分成晴雨两种状态, 气温分成冷暖两个状态,调查结果得联合出现的相对频度如下: 若把这些频度看作概率测度,求: (1) 忙闲的无条件熵; (2) 天气状态和气温状态已知时忙闲的条件熵; (3) 从天气状态和气温状
7、态获得的关于忙闲的信息。 解:设 X、Y、Z 分别表示 忙 闲、晴 雨 和冷 暖, (1) 先 求 忙 闲的 概 率 分 布 103 40 103 63 )( 闲忙 XP X , 无 条件 熵 22 63634040 ()loglog 103103103103 H X=0.9637(比特/符号) (2) () XYZ P XYZ 忙晴冷忙晴暖忙雨冷忙雨暖闲晴冷闲晴暖闲雨冷闲雨暖 1282716815512 103103103103103103103103 H(XYZ)=2.8357 20232832 () 103103 103103 YZ P YZ 晴冷晴暖雨暖雨冷 ,H(YZ)=1.9769
8、 ()H X YZH(XYZ)- H(YZ)=0.8588(比特/符号) (3) I(X;YZ)=H(X)-H(X/YZ)=0.1049 比特/符号 2.11 有两个二元随机变量XY和,它们的联合概率为 X Y 0 1 0 1 1/8 3/8 3/8 1/8 并定义另一随机变量 XYZ (一般乘积 )。试计算: (1) (),( ),(),(),()()H XH YH ZH XZH YZH XYZ和; (2) (),(),(),(),(),(),(),H X YH Y XH X ZH Z XH Y ZH Z YH X YZ H Y XZ和HZ XY; (3) ;,;,;,;,;IX YI X
9、ZI Y ZIX Y ZI Y Z XIX Z Y和。 解: (1) XY 的概率分布为 00011011 ()1/83/83/81/8 XY P XY 2222 11333311 ()loglogloglog1.8113 88888888 H XY 比特/符号 X 的概率分布 01 ()1/ 21/ 2 X P X , 22 1111 ()loglog1 2222 HX比特/符号 X 的概率分布 01 ( )1/ 21/ 2 Y P Y , H(Y)=1 比特/符号 Z=XY 的概率分布 8 1 8 7 10 )(ZP Z , 22 7711 ()loglog0.5436 8888 H Z比
10、特/符号 XZ 的联合概率分布 8/18/302/1 11100100 )(XZP XZ , H(XZ)=1.4056 比特/符号 YZ 的联合概率分布 8/18/302/1 11100100 )(YZP YZ , H(YZ)=1.4056 比特/符号 XYZ的联合概率分布 8/1008/308/308/1 111110101100011010001000 )(XYZP XYZ , H(XYZ)=1.8113 比特/符号 (2) H(X/Y)=H(XY)-H(Y)=1,8113-1=0.8113比特/符号; H(Y/X)=H(XY)-H(X)=1.8113-1=0.8113比特/符号 H(X/
11、Z)=H(XZ)-H(Z)=1.4056-0.5436=0.862 比特/符号; H(Z/X)=H(XZ)-H(X)=1.4056-1=0.4056比特/符号; H(Y/Z)=H(YZ)-H(Z)=1.4056-0.5436=0.862 比特/符号; H(Z/Y)=H(YZ)-H(Y)=1.4056-1=0.4056比特/符号; H(X/YZ)=H(XYZ)-H(YZ)=1.8113-1.4056=0.4057比特/符号; H(Y/XZ)=H(XYZ)-H(XZ)= 1.8113-1.4056=0.4057比特/符号; H(Z/XY)= H(XYZ)-H(XY)=1,8113-1.8113=0
12、比特/符号; (3) I(X;Y)=H(X)-H(X/Y)=1-0.8113=0.1887比特/符号; or I(X;Y)=H(X)+H(Y)-H(XY)=1+1-1.8113=0.1887比特/符号; I(X;Z)= H(X)-H(X/Z)=1-0.862=0.138比特/符号; or I(X;Z)=H(X)+H(Z)-H(XZ)=1+0.5436-1.4056=0.138比特/符号; I(Y;Z)= H(Y)-H(Y/Z)= 0.138比特/符号; or I(Y;Z)=H(Y)+H(Z)-H(YZ)= 1+0.5436-1.4056=0.138比特/符号; I(X;Y/Z)=H(X/Z)-
13、H(X/YZ)=0.4563比特/符号; I(Y;Z/X)=H(Y/X)-H(Y/XZ)=0.4056比特/符号; I(X;Z/Y)=H(Z/Y)-H(Z/XY)=0.4056比特/符号; 2.13 设有一个信源, 它产生0,1序列的信息。 它在任意时间而且不论 以前发生过什么符号,均按00.4,10.6pp的概率发出符号。 (1) 试问这个信源是否是平稳的? (2) 试计算 2 312 ,lim N H XHXX XHX及; (3) 试计算 4 H X并写出 4 X信源中可能有的所有符号。 解:(1) 是平稳信源 (2) 信源熵 H(X)=-0.4log20.4-0.6log20.6=0.9
14、71 比特/信源符号, 2 ()2()1.942H XH X比特/信源符号,由题设知道这个信源 是无记忆信源,因此条件熵和极限熵都等于信源熵。 (3)884.3971.04)( 4 XH比特/信源符号, 4 X信源中可能的符号共16 个。 2.14 设 12 , N XXXX是 平 稳 离 散 有 记 忆 信 源 , 试 证 明 : 12N H X XX 1 ()H X 21321121NN HXXH XX XH XX XX。 提示:见教材第 44 页 证明:因为()()()H XYH XH Y X,故 12121121 1221122121 121122121 1211122121 ()()
15、 ()()() ()()() ()()()() NNNN NNNNN NNNN NNNN HX XXH X XXH XX XX H X XXHXX XXH XX XX H X XH XX XXHXX XX H XHXXH XX XXH XX XX 2.16 一阶马尔可夫信源的状态图如题2.16图所示。信源 X 的符号集 为0,1,2。 (1) 求平稳后信源的概率分布; (2) 求信源的熵H。 题 2.16 图 解:(1)由图得一阶马尔可夫信源的状态为s1=0,s2=1,s3=2。 对应的一步转移概率矩阵为 pp pp pp P 0 0 0 , 由各态历经定理,有 3 1 ()()() jiji
16、 i p sp s p ss,即 113212323 ( )( )(),()( )(),()()()p sp s pp spp sp s pp spp sp spp sp 解方程组得状态极限概率满足 123 ()()()p sp sp s, 又由 123 ()()()1p sp sp s得(0)(1)(2)1/ 3ppp (2) 33 1 1222 11 ( ) ()log()(loglog)/ ijiji ij HHp s p ssp sspppp bit symbol 2.17 黑 白 气 象 传 真 图的 消 息 只 有黑 色 和 白 色 两 种 , 即 信 源 X黑,白。设黑色出现的概
17、率为p(黑)=0.3,白色的出现概率 p(白)=0.7。 (1) 假设图上黑白消息出现前后没有关联,求熵HX; (2) 假设消息前后有关联,其依赖关系为p(白/白)=0.9,p(黑/ 白)=0.1,p(白/黑)=0.2,p(黑/黑)=0.8,求此一阶马尔可夫 信源的熵 2( )HX; (3) 分别求上述两种信源的剩余度,比较 2( )HXHX和的大小, 并说明其物理意义。 解:(1) 22 ()0.3log 0.30.7log 0.70.8813H X比特/信源符号 ; (2) 由各态历经定理,有 2 1 ()() () jiji i p sp s p ss,即 p(白)= p(白)p(白/白
18、)+ p(黑) p(白/黑)=0.9 p(白)+0.2 p(黑) p(黑)= p(白)p(黑/白)+ p(黑) p(黑/黑)= 0.1 p(白)+0.8 p(黑) 解方程组得: p(白)=2 p(黑),又由于 p(白)+p(黑)=1, 所以p(白)=2/3, p(黑)=1/3 22 22 11 ()( ) ()log() ijiji ji HXp s p ssp ss=0.5533比特/符号; (3) H0(X)=log22=1,无关联信源剩余度为1-0.8813/1=11.87%, 一阶马尔可夫信源剩余度为1-0.5533/1=44.67% 这说明马尔可夫信源比无相关信源的冗余度大,编码时可
19、以获得更 高的压缩比。 第 3 章信道容量 3.1设信源 12 0.60.4() Xaa P X 通过一干扰信道, 接收符号为 12 ,Yb b, 信道传递矩阵为 51 66 31 44 ,求 (1) 信源 X 中事件12 aa和分别含有的自信息量。 (2) 收到消息1,2jbj后,获得的关于 1,2 i ai的信息量。 (3) 信源 X 和信宿 Y的信息熵。 (4) 信道疑义度H X Y和噪声熵H Y X。 (5) 接收到信息 Y后获得的平均互信息量。 解:(1) 1 ()0.737I a(比特/符号), 2 ()1.322I a比特/符号, (2) 1212 51 3 2 66 (),()
20、(),(), 35 51 44 p bp bp ap a, 5 6 112 35 (;)log0.4739I a b(比特/符号), 1 6 122 2 5 (;)log1.263I a b(比特/符号), 14 212 35 (;)log1.263I ab(比特/符号), 3 4 222 2 5 (;)log0.9069I a b(比特/符号) (3) 0.971(比特/符号),0.971(比特/符号), (4) 0 . 50 . 1 () 0.10.3 P XY ()1.6856H XY(比特/符号), ()()()0.7146H Y XH XYH X, (/)()()0.7146H XY
21、H XYH Y (5) I(X;Y)=H(Y)-H(Y/X)=0.2564 比特/符号 3.2 设二元对称信道的传递矩阵为 21 33 12 33 (1) 若 (0)3 4,(1)1 4,(),(; )PPH XH X YH Y XI X Y求和 ; (2) 求该信道的信道容量及其达到信道容量时的输入概率分布。 解:(1) H(X)=H(3/4, 1/4)=0.8113比特/符号, 1212 21 75 33 (),()(),(), 1212 12 33 p bp bp ap a H(Y)= H(7/12, 5/12)=0.9799比特/符号, 11 24 () 11 126 P XY, H(
22、XY)=1.7296 比特/符号, H(X/Y)=H(XY)-H(Y)=0.7497比特/符号, H(Y/X)= 0.9183比特/符号, I(X;Y)=H(Y)-H(Y/X)=0.0616 比特/符号, (2)C= 1-H(p)= 22 2211 1(loglog) 3333 =0.0817比特/符号, p(0)=p(1)=1/2 3.6 有一个二元对称信道,其信道矩阵为 0.980.02 0.020.98 。设该信源以 1500bit s的速度传输输入符号。现有一消息序列共有14000 个二 元符号,并设 1 01 2 pp,问从信息传输的角度来考虑, 10 秒 钟内能否将这消息序列无失真
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论与编码 信息论 编码 部分 作业 详解 资料
链接地址:https://www.31doc.com/p-5198814.html