信息论与编码.ppt
《信息论与编码.ppt》由会员分享,可在线阅读,更多相关《信息论与编码.ppt(44页珍藏版)》请在三一文库上搜索。
1、信息论与编码,2,课程内容,信息论的基本问题信息的度量 无失真信源编码定理香农第一定理 信道编码定理香农第二定理 限失真信源编码定理香农第三定理 信源编码 信道编码,3,教学目标,香农信息论的基本理论、概念和方法; 信息的统计度量,离散信源,离散信道和信道容量 编码的理论和实现原理 信源编码与信道编码 教学重点 信息度量 信源描述 信道容量 纠错编码的理论及实现,4,参考书,1信息论基础理论与应用, 傅祖芸编,电子工业出版社,2001 2信息论与编码,陈运编著,电子工业出版社,2002 3. 信息理论与编码,吕锋等编著,人民邮电出版社,2004,5,计分方式,最后期终考试成绩占80 平时成绩占
2、10 作业:一次不交扣1分,无故缺席一次扣1分,迟到一次扣0.5分 手机声响扣1分 严重违反课堂纪律,视情节轻重扣分 课程小结报告(800-1000字)占10%,绪 论,第一章,7,1.1 信息的基本概念,8,什么是信息?,信息:一个既复杂又抽象的概念 广义:消息、情报、知识 技术术语:计算机处理(通信传输)的对象 数据、文字、记录 科学名词:统计数学、通信技术 用严格的数学公式定义的科学名词,它与内容无关,而且不随信息具体表现形式的变化而变化,因而也独立于形式。 它反映了信息表达形式中统计方面的性质,是一个统计学上的抽象概念。,9,什么是信息?,信息是指各个事物运动的状态及状态变化的方式。
3、人们从来自对周围世界的观察得到的数据中获得信息。 信息是抽象的意识或知识,它是看不见、摸不到的。 人脑的思维活动产生的一种想法,当它仍储存在脑子中的时候它就是一种信息。,10,信息论和信息技术研究什么样的问题?,信息不是静止的,它会产生也会消亡,人们需要获取它,并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学。 信息论是信息科学的主要理论基础之一。它研究信息的基本理论,主要研究可能性和存在性问题,为具体实现提供理论基础。 信息技术主要研究如何实现、怎样实现的问题。,11,信息论,信息论 一门应用概率论、随机过程、数理统计和近代代数的方法,来研究信息传输、提
4、取和处理系统中一般规律的学科。 信息论是在信息可以量度的基础上,研究有效地和可靠地传递信息的科学,它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识,12,信息、消息和信号,信息 是事物运动状态或存在方式的不确定性的描述。,消息 是指包含有信息的语言、文字和图像等 信号 是消息的物理体现。 在通信系统中,实际传输的是信号,但本质内容的是信息。信息包含在信号之中,信号是信息的载体。通信的结果是消除或部分消除不确定性,从而获得信息。,香农信息的定义,13,信息的特征,信息的基本概念在于它的不确定性,任何已确定的事物都不含信息。 接收者在收到信息之前,对它的内容是不知
5、道的,所以,信息是新知识、新内容; 信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识; 信息可以产生,也可以消失,同时信息可以被携带、贮存及处理; 信息是可以量度的,信息量有多少的差别,14,例:气象预报 甲 乙,“甲地晴”比“乙地晴”的不确定性来的小 某一事物状态出现的概率越小,其不确定性越大。某一事物状态出现的概率接近于1,即预料中肯定会出现的事件,那它的不确定性就接近于零。,15,概率空间,概率空间 样本空间: 某事物各种可能出现的不同状态。 先验概率p(xi): 选择符号xi作为消息的概率。,样本空间 概率测度,16,对xi 的不确定性可表示为先验概率p(xi)的倒数的某一
6、函数。 自信息 互信息 后验概率p(xi | yj) 接收端收到消息yj后而发送端发的是xi 的概率,17,香农定义的信息,香农定义的信息概念在现有的各种理解中,是比较深刻的,它有许多优点。 它是一个科学的定义,有明确的数学模型和定量计算。 它与日常用语中的信息的含意是一致的。 定文排除了对信息一词某些主观上的含意 香农定义的信息也有其局限性,存在一些缺陷 定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。 没有考虑收信者的主观特性和主观意义,也撇开了信息的具体含意、具体用途、重要程度和引起后果等因素。,18,1.2 信息论研究的对象、目的和内容,19,信息论研究的内容,
7、狭义信息论: 主要研究信息的测度、信道容量以及信源和信道编码理论等问题。 一般信息论: 主要也是研究信息传输和处理问题,除香农信息论,还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。 广义信息论: 不仅包括上述两方面内容,而且包括所有与信息有关的自然和社会领域,如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题,20,香农信息论,压缩理论,有失真信源编码,无失真信源编码,率失真理论,压缩编码,等长编码 定理,变长编码 定理,最优码构成 Huffman码 Fano码,传输理论,有噪声,信道编码理论,码构成,纠错码
8、,代数编码,卷积码,网络信道,网络信息理论,网络最佳码,保密理论,保密系统的 信息理论,保密码,香农信息论的科学体系,21,数字通信系统模型,加密密钥,解密密钥,22,信源、信宿和信道,信源:发送消息的源 离散信源 模拟信源 信源是信息论的主要研究对象之一,但在信息论中并不探讨信源的内结构和物理机理,而把注意力放在信源的输出上,重点讨论信源输出的描述方法及性质。 信宿:信息归宿之意,亦即收信者或用户,是信息传送的终点或目的地。 信道:传输信息的物理媒介,23,信源编码器与译码器,信源编码器的作用 是把信源发出的消息变换成由二进制码元(或多进制码元)组成的代码组,这种代码组就是基带信号; 同时通
9、过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的效率。 信源编码器分为两类 一类是无失真信源编码,适用于离散信源或数字信号; 另一类是限失真信源编码,用于连续信源或模拟信号,如语音、图像等信号的数字处理,24,信源编码器与译码器,信源编码器的主要指标 是它的编码效率,即理论上能达到的码率与实际达到的码率之比。 一般来说,效率越高,编译码器的代价也将越大。 信源译码器的作用 是把信道译码器输出的代码组变换成信宿所需要的消息形式,它的作用相当于信源编码器的逆过程。,25,信道编码器与译码器,信道编码 主要作用是提高信息传送的可靠性。 信道编码器的作用 在信源编码器输出的代码组上有目的地增加
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码
链接地址:https://www.31doc.com/p-2646902.html