1、信息论与编码理论第4章 离散信道4.1 离散信道的数学模型n由于干扰的存在，信道的输出Y与信道的输入X不完全相同，用条件概率p(y|x)描述。n而输入和输出又有各自的统计特性，分别用 和 表示。4.2 信道的分类n根据输入输出事件的时间特性离散信道：GSM连续信道：有线电视、广播半连续信道n根据输入输出个数两端信道（单路信道）：电话多元接入信道：信道的复用广播信道：广播n根据统计特性恒参信道：信道的统计特性不随时间发生变化。随参信道：信道的统计特性随时间发生变化。n根据记忆特性无记忆信道：信道的输出仅与当前的输入有关，与以前的输入无关。有记忆信道：信道的输出不仅与当前的输入有关，与以前的输入也
2、有关系。几种特殊信道n无噪无损信道：输入集和输出集之间存在一一对应的关系。n有噪无损信道：有噪无损信道的一个输入符号可能对应多个输入符号，而一个输出符号只对应一个输入符号。n无噪有损信道：无噪有损信道的一个输入符号只对应一个输入符号，而一个输出符号可能对应多个输入符号。n无用信道：输入与输出相互独立，没有任何关系。4.3 离散无记忆信道4.3.1 离散信道的数学模型n离散无记忆信道中，当前的输出yj仅与当前的输入xi有关，与过去的输入无关，即yj出现的概率仅与xi有关n信道转移矩阵或者信道矩阵例4-3n假设串口通信的误码率为4%，即A发送“0”而B接收到“1”的概率是0.04，A发送“1”而B
3、接收到“0”的概率也是0.04，可以得到该信道的信道转移矩阵n二进制对称信道n简称为BSC（Binary Symmetric Channel）二元：输入和输出符号集均为0,1对称：1变成0和0变成1的概率相等。np(0|0)=p(1|1)=1-p，p(0|1)=p(1|0)=pnBSC的信道矩阵：4.3.2 信道疑义度和噪声熵n定义定义4-1 称输入空间称输入空间X对输出空间对输出空间Y的条件的条件熵熵 为为信道疑义度信道疑义度。n含义：收到全部输出符号含义：收到全部输出符号Y以后，对输入符以后，对输入符号号X尚存在的平均不确定性。尚存在的平均不确定性。n这种不确定性是由信道干扰引起的。这种不
4、确定性是由信道干扰引起的。n对无噪信道：对无噪信道：H(X|Y)=0。nH(X|Y)H(X)：收到输出符号：收到输出符号Y以后，总能以后，总能消除一些对消除一些对X的不确定性，获得一些信息。的不确定性，获得一些信息。n【定义4-1】称信道的输入空间X对输出空间Y的条件熵n为信道疑义度。n信道疑义度的含义是观察到信道的输出之后仍然保留的关于信道输入的平均不确定性。n这种对X尚存在的不确定性是由于传输过程中的信道干扰引起的。4.3.3 平均互信息n定义定义4-3 原始信源熵与信道疑义度之差称为平均互信息平均互信息。I(X;Y)=H(X)-H(X|Y)n平均互信息具有非负性。n含义：接收到信道的输出
5、符号集Y之后，平均每个符号获得的关于信道输入符号集X的信息量，即通过信道传送过去的信息量通过信道传送过去的信息量。两个定理n定理4-1 对于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函数。固定信道：信道传递概率p(y|x)不变n定理4-2 对于固定的信源分布，平均互信息I(X;Y)是信道传递概率p(y|x)的下凸函数。固定信源：信源概率分布p(x)不变信源信源信道信道平均互信息的例子n例例4-6 信源：信道：n则互信息量：固定信道固定信道p p固定固定 从从0 0到到1 1变化变化固定信源固定信源 固定固定p p从从0 0到到1 1变化变化4.4 信道的组合n组合方式 并行
6、积信道 串行：级联信道 例如：Internet 例如：GSMn重点介绍级联信道（串联信道）n假设串联的两个信道为信道假设串联的两个信道为信道I和信道和信道II，信道，信道I的传的传递概率为递概率为p(y|x)，信道，信道II的传递概率为的传递概率为p(z|xy)。n定理定理4-3 若随机变量若随机变量X,Y,Z构成一个马尔可夫链构成一个马尔可夫链（p(z|xy)=p(z|y)），则有），则有I(X;Z)I(X;Y)I(X;Z)I(Y;Z)n定理定理4-3叫做叫做数据处理定理数据处理定理，它的含义是通过串联，它的含义是通过串联信道的传输，只会丢失信息，不会增加信息，至信道的传输，只会丢失信息，
7、不会增加信息，至多保持原来的消息量。这是信息不增性原理。多保持原来的消息量。这是信息不增性原理。信道Ip(y|x)信道IIp(z|xy)XYZ例4-7 两个二元对称信道串联n一个马尔可夫链，则串联信道总的信道矩阵为n则 I(X;Y)=1-H(p)I(X;Z)=1-H(2p(1-p)n从图中能够看出 I(X;Z)I(X;Y)n例4-8n信道I和信道II的信道矩阵分别为nX,Y,Z构成一个马尔可夫链，则4.5 信道容量4.5.1 信息传输率n在信息传输过程中，信道每传递一个符号所能携带（载荷）的平均信息量称为信道的信息传输率，记作R。n若平均传输一个符号需要t秒，而每一个符号传送的信息量为I(X;
8、Y)，则信道每秒传输的信息量为n通常将Rt称为信息传输速率，或者传输速率。4.5.2 信道容量n定义4-4 信道容量定义为平均互信息的最大值：C=maxp(x)I(X;Y)n由定理4.2.1知，I(X;Y)是p(x)的上凸函数，称使I(X;Y)取最大值的p(x)为最佳输入分布。n信道容量表示信道传送信息的最大能力。n由I(X;Y)的定义式可知，I(X;Y)是由信道特性p(y|x)和信源特性p(x)共同决定的，但是容量C已对所有可能的p(x)取最大值，因此容量C仅与信道特性p(y|x)有关，也就是说，容量C是信道的固有特性，与信源无关。信道容量的例子（例4-10）n 信源：信道：n则互信息量：n
9、从图中可以看出，当=1/2时，I(X,Y)取最大值C=1-H(p)固定信道固定信道p p固定固定 从从0 0到到1 1变化变化4.5.3 三种特殊信道的信道容量n无噪无损信道n有噪无损信道n无噪有损信道无噪无损信道n输出与输入是一一对应关系，即信道矩阵为单位矩阵。n因此信道疑义度H(X|Y)=0，噪声熵H(Y|X)=0。n则I(X;Y)=H(X)-H(X|Y)=H(X)=H(Y)-H(Y|X)=H(Y)n因此信道容量C=maxp(x)I(X;Y)=maxp(x)H(X)=logr=maxp(x)H(Y)=logs有噪无损信道n一个输入对应多个互不 相交的输出，即信道矩 阵的每一列只有一个非 零
10、元素。n由于知道输出之后，必然能够确定其对应的输入是什么，因此信道疑义度H(X|Y)=0。n则I(X;Y)=H(X)-H(X|Y)=H(X)n因此信道容量C=maxp(x)I(X;Y)=maxp(x)H(X)=logr无噪有损信道n一个输出对应多个互不相交 的输入，即信道矩阵的每一行 只有一个“1”，其余元素均为0。n由于知道输出之后，必然能够确定其对应的输入是什么，因此噪声熵H(Y|X)=0。n则I(X;Y)=H(Y)-H(Y|X)=H(Y)n因此信道容量C=maxp(x)I(X;Y)=maxp(x)H(Y)=logs4.5.4 对称信道的信道容量n定义4-5 信道矩阵的每一行都是其他行的不
11、同排列，则称此类信道为输入对称信道。n定义4-6 信道矩阵的每一列都是其他列的不同排列，则称此类信道为输出对称信道。n定义4-7 若一个离散无记忆信道，既是输入对称信道，又是输出对称信道，这类信道称为对称信道。对称信道的容量n定理4-4 若一个离散对称信道有r个输入符号，s个输出符号，则当输入为等概分布时，达到信道容量C，且C=logs-H(p1p2 ps)式中，p1 p2 ps 为信道矩阵中的任一行。n“当输入为等概分布时，达到信道容量C”的含义是最佳输入为等概分布。对称信道容量的例子n例 n这是一个对称信道n最佳输入为：n信道容量为：C=logs-H(p1 p2 ps)=log3-H(1/
12、2,1/3,1/6)4.5.5 一般信道的容量n对于一般的离散无记忆信道而言，信道容量的计算比较复杂，可以用迭代算法实现。n迭代步骤如下：取初始分布p(0)(x)。根据公式（4-21）计算P(k)(xi|yj)。根据公式（4-22）计算p(k+1)(xi)。根据公式（4-23）计算C(k+1)。若|C(k+1)C(k)|，则转向步骤7。令k=k+1，转向步骤2。输出p(k+1)(xi)和C(k+1)。4.5.6 信源和信道的匹配n信源与信道达到匹配的含义：信源处于最佳输入分布，使得信息传输率R达到了信道容量C。n但通常情况下，让信源处于最佳输入分布并不容易，此时信道有剩余：信道剩余度=C-I(
13、X;Y)n信源编码的目的就是通过编码，改变原始信源的统计特性，使得信道剩余度尽可能小。原始信源信道不匹配原始信源信道信源编码基本匹配本章小结n信道可以从不同的角度分类。从输入和输出符号的时间特性分，可以分为离散信道、连续信道和半连续信道。从输入和输出端的个数分，可以分为两端信道、多元接入信道和广播信道。从信道的统计特性分，信道可以分为恒参信道和随参信道。从信道的记忆特性分，信道可以分为无记忆信道和有记忆信道。还给出了三种特殊信道：无噪无损信道、有噪无损信道、无噪有损信道。n离散无记忆信道是一类重要的信道，可以用信道转移概率描述。衡量信道噪声大小有两个指标：信道疑义度和噪声熵。平均互信息衡量了信道的实际输出能力。n从平均互信息引出了信道容量的概念，重点研究了离散无记忆信道的信道容量。信道容量衡量了信道的最大传输能力。n最后是级联信道，以及信源和信道的匹配。
