[信息与通信]第7章_网络信息理论简介.ppt
《[信息与通信]第7章_网络信息理论简介.ppt》由会员分享,可在线阅读,更多相关《[信息与通信]第7章_网络信息理论简介.ppt(60页珍藏版)》请在三一文库上搜索。
1、1,第7次课(上次课的回顾)2009年4月12日,简要说明连续信源的熵的主要特性。 冯宏星,潘勇 说出信源消息为均匀分布、高斯分布和指数分布时信源的熵。 高晨,潘敏 简述峰值功率受限条件下信源的最大熵定理。任杰,翟大伟 简述平均功率受限条件下信源的最大熵定理。贺秀春,金毅 简述均值受限条件下信源的最大熵定理。 肖俊,蒲盟 6. 简述白色高斯噪声的定义。 印芷漪,张耀华 7. 给出香农公式,说明其含义。 丁佳佳,金涛 8. 简述理想接收机的工作原理,并阐述为什么说理想接收机只有对数字通信才有实际的意义。 吕登伟,王海,2,第七章 网络信息理论简介,3,本章内容提要,多址信道及其传输特性 广播信道
2、,4,香农的信息理论对两个信源、两个信宿所组成的最小通信网中的信息传输作出了详尽的分析。 通信网的拓扑结构和通信方式趋于多样化。基于单信源、单信道的信源编码与信道容量理论已无法回答此类通信网中信息的有效表示与信道的充分利用问题,信息论的研究工作开始逐渐转向网络信息理论领域。 网络信息理论的主要问题是冲突、协作和反馈,这些问题的研究包括分布式信源编码(数据压缩)以及分布式通信(确定网络的覆盖能力)。 这些问题目前尚未解决,本章仅对一些特殊情况进行研究。,第7章 网络信息理论简介,5,定义7.1 具有多个输入端和多个输出端的信道称为多址信道(MAC) 。对于数字通信,是指包含有编码器、译码器的等效
3、信道。,图7.1多址信道示意图,6,多址接入是用时分、频分或码分等方法将一个物理信道分成若干独立的子信道来实现的,因此,各输入信号被局限在某种互不相交的子空间内 。例如: 频分多址 (FDMA ) 时分多址 (TDMA ) 码分多址 (CDMA ) 空分多址 (SDMA ) 在各种通信系统中,多个输入X1 , X2 , , XN可以是统计独立的,也可能是彼此相关的。,7,图7.1中的几种特例: 1)多输入单输出系统 2)单输入多输出系统 3)多输入多输出系统 讨论的重点是信息的流量问题,即组成网络的各个信道的信息传输速率R1,R2, 、它们之间的相互影响、信道上总的信息传输速率R以及对应的信道
4、容量 C。 由香农第二定理可知,对信息传输速率的限制是信道容量,它包括各个子信道的信道容量 C1 , C2 , 及总的信道容量 C。,8,定义7.2 二元接入信道是指有两个输入信源、一个信宿的多用户信道,即双输入单输出信道。如图7.2所示。,图7.2 二元接入信道,定义7.3 对于已编码消息集合X1,X2 ,若分别采用n位二进制编码,则( ), n为二元接入信道的输入码序列。 注:这里R1、R2的量纲,9,设信源X1, X2送给信道的码字分别为W1, W2 ,信宿端译码不是W1, W2的概率为PrY(W1, W2 )| (W1, W2 ) ,则 ( ), n码的平均错误概率为:,=,(7.1)
5、,若存在能使 趋于0的码序列( ), n,则称(R1, R2 )为二元接入信道的可用信息率对。,10,(1)R1, R2的限制条件 由W1传至 的信息率用R1表示,它就是从Y中获取的关于X1的平均信息量,即 R1 = I (X1, Y) (7.2) 若X2已确知,则可排除X2引起的对于X1传输的干扰,使R1达到最大,即可有,(7.3),其中取最大值是通过改变编码器以得到最合适的X1 和X2的概率分布P(X1)和P(X2),从而使条件互信息量I (X1, Y/X2)达到最大值而得到的。,11,把式(7.3)所得到的最大值称为条件信道容量:,根据Shannon第二定理,应有R 1 C1 (7.5)
6、,(7.4),同理 R2 = I (X2, Y) (7.6),R 2 C2 (7.8),12,现在的情况是两个输入均在信道上传递,故有 R12 = I ( X1X2; Y) = H (Y)-H (Y| X1X2 ) (7.9) 令 则 R12 C12 (7.11),(7.10),13,(2)C12和C1、C2的关系 定理7.1 设二元接入信道的信源输入为已编码消息集合X1、X2,对应它们的信道容量为C1、C2,二元接入信道的信道容量为C12,则C12的下限值是C1和C2中的较大者。,14,证明 在C1和C2中,设C1 C2(当然亦可设C2 C1),因为对所有P(X1 )和P(X2 ) 都有 H
7、(Y) H (Y/X2 ) (7.12) H(Y)H(Y/X1 X2 ) H (Y/X2)H (Y/X1 X2 ) (7.13) 令P0 (X1 )和P0 (X2 )是使式(7.13)右边达到极大值的输入概率分布,则由式(7.4),有,(7.14),15,由式(7.10),又有,(7.15),又假设C1 C2,所以 C12 max (C1, C2) (7.16) 证毕。,16,定理7.2 设二元接入信道的信源输入为已编码消息集合X1、X2,对应它们的信道容量为C1、C2,二元接入信道的信道容量为C12,则C12不超过C1与C2之和。,17,证明 假设,(7.17),若X1和X2统计独立,则有,
8、(7.18),18,同时 H (X1 X2 /Y) = H (X1 /Y) + H (X2 /YX1) (7.19) 再由式(7.17)、(7.18)和(7.19),有 = H (X1 /Y) H (X1 /YX2) (7.20) 因为 H (X1 /YX2) H (X1 /Y) (7.21) 所以 = H (X1 /Y) - H (X1 /YX2) 0 (7.22) 即得 I (X1 ;Y/X2) + I (X2 ;Y/X1) I (X1 X2 ;Y) (7.23) 设P0(X1)和P0(X2)使I (X1 X2 ;Y)达到极大值,由(7.23),有,(7.24),19,而,(7.25),由
9、式(7.4)、(7.7)、(7.24)和(7.25)证得 C 1 2 C1 + C2 (7.26) 证毕。,20,(3)R12和R1+R2的关系 当X1, X2统计独立时,有 R1+R2R 1 2=H (Y|X2)H (Y|X1 X2) +H (Y|X1)H (Y|X1X2) H (Y) +H (Y|X1X2) =H (Y)H (Y|X1X2) (7.27) 其中 H (Y/X1) = H (Y /X2) = H (Y) 由于自熵不会小于条件熵,即H(Y)H (Y|X1X2) 0,则有 R12 R1 +R2 (7.28) 综上所述,可以得到如图7.3所示的(R1, R2)的值域图,其中C12和
10、坐标轴构成等腰直角三角形,其顶点可以在C1(或 C2)与C1 +C2之间平移。,21,图7.3 ( R1,R2 )的值域图,纵坐标: C12C2 C2 C12 C1+C2 横坐标:C12C1 C1 C12 C1+C2,22,例7.1 设两个独立信源的消息X1和X2分别被送到两个独立的二进制对称信道(BSC)传输,信道的香农线图如图7.4所示,其交叉传输概率分别为p1和p2,求其信息传输速率的值域图。,图7.4 例7.1的香农线图,23,解 设两个BSC信道的信道容量分别为C1和C2,信息传输速率分别为R1和R2,根据式(5.26),有 C1 = 1 H (p1) C2 = 1 H (p2) 由
11、于两个信道彼此独立,故有 C 1 2 = C1 + C2 本题的信息传输速率值域图如图7.5所示。由于两个BSC信道完全独立,其信息传输速率相互之间没有关系,它是二元接入信道的特例。,24,图7.5 例7.1中(R1,R2)的值域图,25,例7.2 设有二进制二元信道,其输入、输出的关系为 Y = X1 X2 求其信息传输速率的值域图。 解 根据题意,有 或 因此在任何时候,都有R1 + R2 = 1 。其信息传输速率的值域图如图7.6所示。,26,图7.6 例7.2中(R1,R2)的值域图,27,例7.3 求二元二进制删除信道的信息传输速率的值域图。 解 设二元二进制删除信道的输入消息为 X
12、1 = 0, 1和X2 = 0, 1,信道输出为,若输入等概,即对于信源X1、X2,都有P(0) = P(1) =1/2,则对于联合信源 X1X2,有 P(00) = P(01) = P(10) = P(11) =1/4,28,对于信宿Y则有 PY (0)= P(00),PY (1)= P(01)+ P(10),PY (2)= P(11) 通过计算可得 C1=1,C2=1,其信息传输速率的值域图如图7.3所示。,29,图7.7 例7.3中(R1,R2)的值域图,30,把二元信道扩展到N个输入端的情况,即假设有N个用户,N个编码器。设第r个编码器输出的信息率为Rr ,相应的信道容量为Cr ,则,
13、(7.29),31,类似地,Rr 除了受Rr Cr限制外,还应受各种联合条件的限制,例如需考虑除r外的其它1个, 2个, , (N-1)个编码器的消息在信道中传输时对r的影响。 取1, 2, N的一个子集A,A = r1, r2, , rl,rA,另有A的补集S,S = s1, s2, , sm,sA,l + m = N,则,(7.30),可以得出联合限制条件,(7.31),显然,(7.32),二元接入信道是N元输入信道的特例。,32,定义7.5 若二元接入信道的两个输入信源X1和X2相互统计独立,并且是取值于整个实数轴的连续随机变量,信道噪声是加性白色高斯噪声,输出端的随机变量Y在时刻i,有
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息与通信 信息 通信 网络 理论 简介
链接地址:https://www.31doc.com/p-2001119.html