《第一部分.ppt》由会员分享,可在线阅读,更多相关《第一部分.ppt(22页珍藏版)》请在三一文库上搜索。
1、信 息 论 考试方式:期末闭卷 授课教师:李 景 文 核心教材:信息理论基础(周荫清) 北京航空航天大学出版社 辅助教材:工程信息论(田宝玉) 北京邮电大学出版社,教学内容安排: 第一章 绪论 第二章 信息的统计度量 第三章 离散信源 第四章 离散信道 第五章 无失真信源编码 第六章 有噪信道编码 第七章 限失真信源编码 第八章 连续信源与波形信道,要求掌握的内容,教学讲授内容安排: 一、 绪论 信息论简介,解决通信基本问题的方法、思路,香农信息论。 二、信源及信源编码 离散、连续信源熵,信源编码理论和方法。 三、信道及信道编码 信道容量,波形信道,数字调制波形信道容量。 四、最大熵谱估计 最
2、大熵谱估计思想,AR模型,等价关系。,研究生讲授内容,一、绪论,主要内容 1.1 信息论解决的通信系统中具体问题 1.2 通信系统数学模型 1.3 信息论 1.4 香农信息论研究的问题 1.5 香农简介和主要工作,一、绪论,1.1 信息论解决的通信系统中的具体问题 1. 具体问题:一串消息符号由信源通过信道到达信宿 2. 最终目标:“既快又好”(有效性和可靠性) 3. 数学模型:信源信道信宿 4. 最优准则:衡量整个过程信息统计特性(熵)的变化 5. 如何实现: 信源设计:信源熵最小; 信源编码:信源输出序列最短(快有效性); 信道编码:信道传输差错最小(好可靠性)。,1.2 通信系统数学模型
3、 1、定义:信息的传输系统称为通信系统。 如电报系统、电话系统、图像系统、雷达系统。 2、通信系统数学模型: 较完整的模型,一、绪论,简化模型 、信源: 定义:产生消息的源(消息序列); 消息:消息是文字、语言、图像等; 消息可以是离散的,或连续的; 消息是随机的,用随机变量或随机过程表示; 信源研究的主要问题第三章 消息的统计特性; 信源产生消息的速率。,一、绪论,、编码器: 定义:将信源发出消息变换成适于信道传送的设备; 组成部分:信源编码器、纠错编码器、调制器; 信源编码器:对信源输出的消息进行变换 提高传输有效性第五章、第七章 纠错编码器:对信源编码器输出的消息进行变换 提高传输可靠性
4、第六章、(第九章) 提高有效性和可靠性是通信系统的根本问题 调制器:将纠错编码器输出的消息变换成适于信道传输的信号。,一、绪论,、信道: 定义:将信号从发端传到收端的媒质或通道; 信道种类:电话线、电缆、光纤、电波等。 信道的主要研究内容第四章 数学模型:简单、扩展、组合信道 平均互信息 级联信道的信息不可增加性 信道容量,一、绪论,、干扰源: 定义:系统所有噪声和干扰等效成信道干扰; 干扰种类:加性干扰、乘性干扰; 加性干扰:与信道输入统计无关 如内部噪声等; 输出信号是输入信号与加性干扰相加的结果。 乘性干扰:与信道输入信号大小或特性有关 如放大器放大倍数受温度影响; 输出信号是输入信号与
5、乘性干扰相乘的结果。,一、绪论,、译码器: 定义:从信道输出的受到干扰的信号中最大限度提取信源输出消息的信息; 如果没有干扰信息无损失(如无失真信源编码) 如果存在干扰信息有损失(如限失真信源编码、 有噪信道编码) 组成部分:信源译码器第五章 信道译码器第六章 、信宿:信息传送过程中的接收者,即接收信息的人或物。,一、绪论,1.3 信息论 信息论:应用数理统计的方法研究信息(概率信息)的传输、存储和处理的一门学科。分为经典信息论、工程信息论、广义信息论(信息科学)。 1、经典信息论 又称为数学信息论、狭义信息论、近代信息论、香农信息论。 创始人:美国工程师C.E.Shannon(香农)。 19
6、48年,A Mathematical Theory of Communication,一、绪论,经典信息论主要研究通信系统中的数学规律。 主要研究内容: 、定量描述信源与信息量; 、信道与信道容量; 、信源与信道间的统计匹配; 、信源与信道的编码定理。,一、绪论,2、工程信息论(又称一般信息论) 主要研究通信系统及系统中设备的最佳工作规律和最佳设计的一门科学。 研究内容涉及: 、信源编码理论与方法; 、信道编码理论与方法; 、信号检测、估计理论与方法; 、保密学; 、通信网等。 部件最优,放在一起,系统不一定最优。,一、绪论,3、广义信息论(又称信息科学) 上世纪70年代后,VLSI、VHSI
7、和计算机广泛使用,信息存贮、处理能力不断提高,现代信息的研究突破香农信息论的框框,建立了更一般性的广义信息论,称为信息科学。 研究内容涉及: 、经典信息论和工程信息论的内容; 、模式识别; 、计算机翻译; 、神经网络; 、心理学; 、遗传学; 、语言学; 、语义学等。,一、绪论,1.4 香农信息论研究的问题 1、信息的含义和度量 概率信息:概率和不确定性的关系 信息量:事件的不确定性大小 2、信源 信源:具有先验概率的随机变量和随机过程 熵:信源平均不确定性的度量,一、绪论,一、绪论,3、无失真信源编码定理有效性的极限 信源编码后的序列的传输速率不小于信源熵可以实现无失真信源编码。 例如:英文
8、字母加空格27个符号 信源熵1.4Bit/S。 二元符号传输:不编码需要5Bits,即每个符号 需要5个二元符号表示; 信源编码后平均需要1.4Bits。,一、绪论,4、有噪信道编码定理可靠性的极限 信息传输速率小于信道容量,存在编码方法可以实现传输差错任意小。 例如:1个带宽3kHz系统传输二元符号。 直接传输的最大传输速率:6kbps 信道编码的最大传输速率:在26dB信噪比下 达到25.6kbps 信噪比无限大时最大传输速率也无限大(超导),一、绪论,5、信息率失真理论限失真信息压缩的极限 信息率失真函数是满足失真度准则编码最小的平均码长。 例如:等概率16个符号离散信源,二元编码。 无
9、失真信源编码:平均码长4Bits/S; 限失真信源编码:平均失真不大于1/2,如果采用前7个分别编码,后9个编成1个码字传输,平均码长2.25Bits/S;而理论最小码长1.05Bit/S。,一、绪论,6、香农信息论特点 . 数学工具:概率论、随机过程; . 前提条件:概率信息(不确定性大小),信源 由随机变量或随机过程描述; . 理论极限:通信系统最优性能及如何达到 最优性能(不具体设计系统); . 关注总体:研究通信系统整个过程总体性 能,而不是单个环节。,一、绪论,1.5 香农简介和主要工作 1916年4月30日生于美国密执安州的一个小城镇; 1932年进入密执安大学;1936年获电气工程和数学学士学位; 1936年MIT任研究助理及MIT电气工程系研究生,1937年硕士论文继电器和开关电路的符号分析,首次提出了可用于设计和分析逻辑电路的系统方法,获1940年诺贝尔优秀论文奖; 1940年获电气工程硕士学位和数学博士学位; 1941-1956年在贝尔实验室工作; 1956年MIT访问学者,1957年接受MIT永久聘任; 1978年退休,2001年2月24日病逝。,一、绪论,香农的主要工作 1948年:通信的数学理论 1956年:噪声信道的零差错容量 1959年:保真度准则下的离散信源编码定理 1961年:双路通信信道,
链接地址:https://www.31doc.com/p-2580334.html