第3章信道及其容量.ppt
《第3章信道及其容量.ppt》由会员分享,可在线阅读,更多相关《第3章信道及其容量.ppt(94页珍藏版)》请在三一文库上搜索。
1、第三章 信道及其容量,信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量,即信道容量。,本章内容: 信道的分类及离散信道的数学模型 平均互信息及其性质 信道容量的概念及几种典型信道的信道容量计算 信源与信道的匹配 信道编码定理,3.1 信道的数学模型和分类,图3.1.1 通信系统的一般模型,3.1 信道的数学模型和分类,一、信道的分类 根据载荷消息的媒体不同,根据信息传输的方式,根据信息传输的方式分类中 根据信道的用户多少: 两端(单用户)信道 多端(多用户)信道 根据信道输入端和输出端的关联: 无反馈信道 反馈信道 根据信道的参数与时间的关系: 固定参数信道 时
2、变参数信道 根据输入和输出信号的特点: 离散信道 连续信道 半离散或半连续信道 波形信道,二、离散信道的数学模型,条件概率 p(y/x) 描述了输入信号和输出信号之间统计依赖关系。 它反映了信道的统计特性。,例如,其中: p(ai)表示输入某符号的概率,p(bj)表示输出某符号的概率,p(bj|ai)表示发送ai而接收为bj概率,-条件概率。,显然可以用条件(转移)概率表示信道的噪声干扰特性。,根据信道的统计特性即条件概率 p(y/x)的不同,离散信道又可分成三种情况: 无干扰信道 有干扰无记忆信道 有干扰有记忆信道,(1)无干扰(噪声)信道 信道中没有随机性的干扰或者干扰很小,输出信号y与输
3、入信号 x 之间有确定的、一 一对应的关系。即: y f (x),(2)有干扰无记忆信道 信道输入和输出之间的条件概率是一般的概率分布。 如果任一时刻输出符号只统计依赖于对应时刻的输入符号,则这种信道称为无记忆信道。,(3) 有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类型。 例如在数字信道中,由于信道滤波使频率特性不理想时造成了码字之间的干扰。 在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关,而且还与此前其他时刻信道的输入符号及输出符号有关,这样的信道称为有记忆信道。,处理有记忆有干扰信道的两种方法: (1)最直观的方法是把记忆较强的N个符号当作一个N
4、维矢量,而把各矢量之间认为是无记忆的,这样就转化成无记忆信道的问题。当然,这样处理会引入误差: N,误差。 (2)另一种处理方法是把 p(y/x) 看成马尔可夫链的形式,这是有限记忆信道的问题。 此时,信道的统计特性可用在已知时刻的输入符号和前时刻信道所处的状态的条件下,信道的输出符号和所处的状态的联合条件概率来描述,即用 p(ynSn/xnSn-1) 来描述。,三、单符号离散信道,单符号离散信道: 输入符号为X,取值于a1,a2, ,ar。 输出符号为Y,取值于b1,b2, ,bs。 条件概率:p(y/x)p(y=bj/x=ai)p(bj/ai) 这一组条件概率称为信道的传递概率或转移概率,
5、可以利用条件概率来描述干扰对信道影响的大小。,用传递概率 p(bj/ai) 来描述干扰影响的大小 一般简单的单符号离散信道可以用X, p(y/x) ,Y 三者加以描述。 其数学模型可以用概率空间X, p(y/x) ,Y描述。 当然,也可用下图来描述:,一般离散单符号信道的传递概率可用矩阵形式表示,即,矩阵P完全描述了信道的特性,可用它作为离散单符号信道的另一种数学模型的形式。 P中有些是信道干扰引起的错误概率,有些是信道正确传输的概率,所以该矩阵又称为信道矩阵(转移矩阵) 。,在这里直观表示矩阵P中每行之和应等于“l”,表明:在信道输入为ai时,在输出端接收到的一定是符号b1,b2 , ,bs
6、中一个。,例1 二元对称信道,BSC,Binary Symmetrical Channel,解:此时,X:0,1 ; Y:0,1 ; r=s=2,a1=b1=0;a2=b2=1。 传递概率:,p是单个符号传输发生错误的概率,表示信道输入符号“0”而接收到的符号为“1”,或信道输入符号为“1”而接收到的符号为“0”的概率的概率。 (1-p)表示是无错误传输的概率。 转移矩阵:,0 1 0 1,输出,输入,符号“2”表示接收到了“0”、“1”以外的特殊符号 这种信道实际是存在的。,0 2 1 0 1,例2二元删除信道。BEC,Binary Eliminated Channel,解:X:0,1 Y:
7、0,1,2 此时,r 2,s 3, 传递矩阵为:,设有一个信道,其输入为正、负方波信号,那么,信道输出送入译码器的将是受干扰后的方波信号R(t),如图(b)。,0 2 1 0 1,如果信道干扰不是很严重的话,则“10”和“01”的可能性比“02”和“12”的可能性小得多,所以假设: p(y=1/x=0)p(y=0/x=1)0是合理的。,一般单符号离散信道的一些概率关系 设信道的输入概率空间为:,信道输出Y的符号集为B=b1,b2,bs。 给定信道矩阵为:,(1) 输入和输出符号的联合概率:,式中: p(bj|ai) -前向概率(信道的传递概率),发送为ai,通过信道传输接收到为bj的概率。它是
8、由于信道噪声引起的,所以描述了信道噪声的特性。 p(ai/bj)-后向概率,已知信道输出端接收到符号为bj,但发送的输入符号为ai的概率。它描述了信道引起的疑义性。 p(ai)-先验概率,接收到一个输出符号以前输入符号概率 p(bj)-输出某符号的概率,(2)根据条件概率可得输出符号的概率:,输出/输入符号与转移概率关系的矩阵形式为:,(3) 根据贝叶斯定律可得后验概率:,表明:在信道输出端接收到任一符号bj,一定是输入符号a1,a2 , ,ar中的某一个送入到信道。,3.2 信道疑义度与平均互信息,本节进一步研究离散单符号信道的数学模型下的信息传输问题。,一、信道疑义度,信道输入信源X的熵,
9、H(X)是在接收到输出Y以前,关于输入变量X的先验不确定性,称为先验熵。 如果信道中无干扰(噪声),则信道的输出符号与输入符号一一对应,那么,接收到传送过来的符号后就消除了对发送符号的先验不确定性。 但如果信道中有干扰(噪声)存在,接收到符号Y后对发送的是什么符号仍存在有不确定性。,接受到bj后,关于X的不确定性为,后验熵在输出符号集Y范围内是个随机量,对后验熵在符号集Y中求数学期望,得条件熵-信道疑义度:,这是接收到输出符号bj后关于X的后验熵。 后验熵是当信道接收端接收到输出符号bj后,关于输入符号的信息测度。,信道疑义度(含糊度):它表示在输出端收到全部输出符号Y集后,对于输入端的信号集
10、X尚存在的不确定性(存在疑义)。 这个不确定性是由于干扰(噪声)引起的。 如果是一一对应信道,那么接收到符号Y后,对X的不确性完全消除,则信道疑义度H(X/Y)0。 条件熵小于无条件熵,即H(X/Y) H(X)。 这说明接收到符号集Y的所有符号后,关于输入符号X的平均不确定性减少了,即总能消除一些关于输入端X的不确定性,从而获得了一些信息。,互信息量 I(xi ; yj):收到消息yj 后获得关于xi的信息量,即:互信息量表示先验的不确定性减去尚存的不确定性,这就是收信者获得的信息量,对于无干扰信道,I(xi ; yj) = I(xi);,对于全损信道,I(xi ; yj) = 0;,二、平均
11、互信息,平均互信息I(X; Y): I(xi ; yj)的统计平均。,定义 I(X;Y)=H(X)-H(X/Y)为X和Y之间的平均互信息。 它代表接收到符号集Y后平均每个符号获得的关于X的信息量,也表示了输入与输出两个随机变量之间的统计约束程度。,关于平均互信息I(X;Y) 互信息 I(x ; y) 代表收到某消息y后获得关于某事件x的信息量。它可取正值,也可取负值。 若I(x ; y)= 0。 若I(X;Y) = 0,表示在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量-全损信道。,信道疑义度(损失熵),信源符号通过有噪信道传输后所引起的信息量的损失。,I(X;Y) = H(X
12、) - H(X|Y) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(X)+H(Y)-H(XY) 其中:,平均互信息与各类熵的关系,噪声熵(或散布度),反映了信道中噪声源的不确定性。,平均互信息与各类熵之间关系的说明,I(X;Y) = H(X) - H(X|Y):从Y中获得关于X的平均互信息I(X;Y),等于接收到输出Y的前、后关于X的平均不确定性的消除; I(X;Y) = H(Y) - H(Y|X) :平均互信息I(X;Y)也等于发出X的前、后关于Y的平均不确定性的消除 ; 熵只是平均不确定性的描述,I(X;Y)才是接收端所获得的信息量(不确定性的消除)。 平均互信息量
13、I(X;Y) 确定了通过信道的信息量的多少,因此称它为信息传输率或传信率 。,平均互信息与各类熵之间关系的集合图(维拉图)表示: H(X|Y) = H(X) - I(X;Y) H(Y|X) = H(Y) - I(X;Y) H(XY) = H(X)+H(Y)- I(X;Y),如果用X表示案情,Y表示犯人讲话,那么,H(X|Y) 表示犯人讲话后警察对案件的不解,I(X;Y)表示警察从对话中了解案件的情况。 如果H(X|Y)=0,说明警察听了罪犯的讲话后完全了解案情。 如果I(X;Y)=0,说明罪犯的讲话对案情毫无帮助。,信道疑义度(损失熵),噪声熵(或散布度),两种特殊信道,(1)、离散无干扰信道
14、 (无噪无损信道 ),信道的输入和输出一一对应,信息无损失地传输, -无噪无损信道。 H(X|Y) = H(Y|X) = 0 损失熵和噪声熵都为“0” 由于噪声熵/损失熵等于零,因此,输出端接收的信息就等于平均互信息: I(X;Y) = H(X) = H(Y),(2)、输入输出独立信道 ( 全损信道 ) 信道输入端X与输出端Y完全统计独立,H(X|Y) = H(X) , H(Y|X) = H(Y) 所以 I(X;Y) = 0 I(X;Y) = H(X) - H(X|Y) 信道的输入和输出没有依赖关系,信息无法传输,所以称为全损信道。 接收到Y后不可能消除有关输入端X的任何不确定性,所以获得的信
15、息量等于零。同样,也不能从X中获得任何关于Y的信息量。 平均互信息I(X;Y)等于零,表明了信道两端随机变量的统计约束程度等于零。,二种极限信道各类熵与平均互信息之间的关系,H(X|Y) = H(X) H(Y|X) = H(Y) I(X;Y) = 0,H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y),无噪无损信道:完全重迭,全损信道:完全独立,无噪无损信道:,全损信道:,3.2.2 平均互信息的性质,平均互信息 I(X;Y) 具有以下特性: (1)非负性 即 I(X;Y) = 0,当X、Y统计独立时等式成立。 证明:利用詹森不等式,(2)极值性 即 I(X;Y) = H(X)
16、当 H(X/Y)=0 时,即信道中传输信息无损时,等式成立。,(3)交互性(对称性) 即 I(X;Y) = I(Y;X) 当 X、Y统计独立时,I(X;Y) = I(Y;X)=0 当信道无干扰时,I(X;Y)=I(Y;X)=H(X)=H(Y),(4)凸状性,平均互信息I(X;Y)只是信源X的概率分布p(x)和信道的传递概率p(y/x)的函数,即: I(X;Y) = f p(x), p(y|x),I(X;Y)是输入信源的概率分布p(x)的型凸函数。,I(X;Y)是信道传递的概率p(y/x)的型凸函数。,例3.2.1设BSC的输入概率空间为:,信道如图:,计算得平均互信息: I(X;Y) = H(
17、Y)- H(Y/X),同时,根据离散无记忆信道的性质,可得:,所以:,当信道固定时,I(X;Y)是信源概率的型函数。,是0,1区域上的熵函数。,本例中 I(X;Y)H(p + p) - H (p) 若信源固定,I (X;Y) 是 信道概率p 的型凸函数。,平均互信息I(X;Y)是输入信源的概率分布p(x)的型凸函数。,该结论意味着: (当信道固定时) (1)对固定信道,选择不同的信源(其概率分布不同)与信道连接,在信道输出端接收到每个符号后获得的信息量是不同的。 (2)对于每一个固定信道,一定存在有一种最佳的信源(某一种概率分布 p(x),使输出端获得的平均信息量为最大。,平均互信息I(X;Y
18、)是信道传递的概率p(y/x)的型凸函数。,该结论说明,当信源固定后,选择不同的信道来传输同一信源符号,在信道输出端获得关于信源的信息量是不同的。 对每一种信源都存在一种最差的信道,此时干扰 (噪声) 最大,而输出端获得的信息量最小。,3.3 离散无记忆信道的扩展信道,对于离散无记忆信道 ,其扩展信道的传递概率满足:,用 X,p( y / x ),Y 概率空间来描述。 设离散无记忆信道的 输入符号集Aa1, , ar, 输出符号集Bb1 , , bs,信道矩阵为:,则此无记忆信道的N次扩展信道的数学模型如图所示:,而信道矩阵:,其中:,例3.3.1 求二元无记忆对称信道(BSC)的二次扩展信道
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信道 及其 容量
链接地址:https://www.31doc.com/p-2979414.html