《一章信息论初步.ppt》由会员分享,可在线阅读,更多相关《一章信息论初步.ppt(17页珍藏版)》请在三一文库上搜索。
1、1,第一章 信息论初步,离散信源的熵 熵的定义: 设:信源 X 能发出n个不同的消息x1, x2, , xi, , xn, 则定义熵为信源的平均信息量 H(X): 式中,I (xi) = - log2 P(xi) (b) I (xi)表示消息 xi含有的信息量 熵H(X)可以理解为信源的平均不确定度。,2,二进制信源的熵 设: 信源仅有“0”和“1”两种消息。 发送“1”的概率P(1) = , 则 发送“0”的概率P(0) = 1 - = 信源的熵等于 若一个消息是一个码元,则熵H()的单位:比特 / 码元 H() 曲线 当 = 1/2时,此信源的熵最大;这时的两个消息是等概率出现的,其不确定
2、度最大。 当 1/2时,一个消息比另一个消息更可能出现,因此不确定度减小。 若 或 等于0,则不确定度为0。,3,n 进制信源的熵 设:信源有n种可能出现的消息,并用Pi表示第i个消息的 出现概率, 则由熵的定义可以写出此信源的熵 熵的最大值: 令上式对Pk的导数等于0,求H的最大值。 由于 故当Pk变时, 可仅使Pn随之变化,并保持其他Pi为常数。 于是得到 利用求导数公式 上式变为 或,4,令 等于0,就可以求出H的最大值。 当Pk = Pn,上式等于0。由于Pk是任意一个消息的出现概率,所以有 将上式代入 得到H的最大值:,5,离散信道模型 二进制无记忆编码信道的模型 信道的特性:由下列
3、信道转移概率矩阵所完全确定 式中,P(yj /xi) 发送 xi ,收到 yj 的条件概率。 信道输入和输出概率关系 若输入概率矩阵为 则由 可以计算出,6,输入输出的联合概率矩阵P(X, Y) 将P(X)写成对角线形式: 并与 相乘,得到联合概率矩阵P(X, Y): 式中, 发送 xi 收到 yj 的联合概率,7,例1:设有一个二进制信道,如图所示, 其转移矩阵为: 若信道输入的概率为 试求输出概率矩阵P(Y)和联合概率矩阵P(X, Y)。 解 输出概率矩阵: 联合概率矩阵:,8,1.3 联合熵和条件熵 设:一信道有n个可能输入和m个可能输出, 则可用输入概率P(xi),输出概率P(yj),
4、转移概率P(yj/xi)和联合概率P(xi, yj)定义下列不同的熵函数: 信源的平均信息量; 熵 接收码元的平均信息量;熵 给定发送X后接收码元的 平均不确定度;条件熵 收到一个码元后发送码元 的平均不确定度;条件熵 整个通信系统的平均不确 定度。联合熵 联合熵公式: 该式的证明见讲义稿!,9,连续信源的信息度量:见讲义稿!,10,2.4 有扰离散信道的信道容量 互信息量 I (X; Y) 定义:在收到发送码元后,此发送码元的平均不确定度的下降量 式中, H(X) 信源的平均不确定度; H(X / Y) 收到一个码元后发送码元的平均不确定度 上式可以改写为 性质: 信道容量C 定义:互信息量
5、的最大值与发送端符号发送速率r的乘积 (b/s) 性质:C 仅是信道转移概率的函数; C是有扰离散信道的最高信息传输速率。,11,例2:试求下图中的无噪声离散信道的容量。 【解】 由式 及式 可知,对于无噪声信道, 当 i j 时, P(xi, yj) = 0, P(xi / yj) = 0; 当 i = j 时,P(xi / yj) = 1。 因此,H(X / Y) = 0,I(X; Y) = H(X) 若信源中所有码元是等概率的,则信源的熵H(X)最大。 因此,,12,例3:试求图中二进制对称信道的容量。 其中P(x1) = ,P(x2) = 1 - 。 【解】根据信道容量的定义式, 需要
6、求出 的最大值。 上式右端第二项为 将P(x1) = ,P(x2) = 1 - 和转移概率p, q代入上式,得出 上式可以化简为 将上式代入 得到,13,当H(Y)为最大时,上式达到最大。 H(Y)的最大值等于 1,故 按照上式画出的曲线: 结束,14,2.2.2 有扰连续信息的信息传输(见讲义) 对于白色加性高斯噪声的连续信道,它能够传输的最大信息速率由下式给出: 香农-哈特莱(Shannon-Hartley)定律 式中, B 信道带宽(Hz), S/N 信号噪声功率比。 Cc 信道传输的最大信息速率 (b / s)。 香农第二定理:给定一个容量为Cc的离散无记忆信道和一个正速率为R的信源,
7、若 R Cc,则必定有一种编码,使信源的输出能实现无误传输。,15,容量Cc的特性 保持Cc不变,带宽B和信噪比S/N可以交换。 对于无噪声情况(S/N = ),只要带宽不为0,则容量Cc将是无穷大。 在有噪声情况下,当B 时,Cc趋向于如下极限值: 【证】令x = S/n0B,代入 得到 因为当x 0时,(1 +x)1/x e,所以上式变为,16,例:设1帧黑白电视图像由30万个像素组成,每个像素能取10个亮度电平,并且这10个亮度电平是等概率出现的。若每秒发送25帧图像,要求图像信噪比达到30 dB,试求所需传输带宽。 【解】因为每个像素以等概率取10个可能电平,所以每个像素的信息量等于 而每帧图像的信息量If 等于 因为每秒有25帧图像,故要求信息传输速率为 信道容量Cc 必须不小于此值。由于要求信噪比为30 dB,故将这些数值代入式 得出 即要求,17,2.7 小结,
链接地址:https://www.31doc.com/p-3246929.html