信息论与编码第一章.ppt
《信息论与编码第一章.ppt》由会员分享,可在线阅读,更多相关《信息论与编码第一章.ppt(37页珍藏版)》请在三一文库上搜索。
1、学信息论的意义,要珍惜这个良好的学习机会,认真学习,逐渐培养科研能力,树立完善的人格基础,为将来的进一步学习和科研奠定坚实的基础。,1,信息论基础是通信和信息领域的专业基础课程,只有学好这门课,才能学好后继课程、将来进一步从事通信和信息领域的科研和创新。,课程概况,信息论与编码是一门应用概率论、数理统计和近代数学的方法来研究信息的度量、编码和通信的科学;它的主要目的是提高信息系统的有效性和可靠性,最优化;其主要内容包括:信息的度量,信源与信道的模型与特点,信道容量、无失真信源编码,有噪信道编码、限失真信源编码及纠错编码。,2,结合通信系统实际应用,3,课程特点,信息理论为中心,区别 “信源编码
2、”与“信道编码”,概念和物理意义为主,数学推导尽量放到课外,学习目标,掌握一定的科学思想方法(用信息论的思想和观点)和怎样描述,4,充分理解、熟练掌握教材的内容,熟练掌握基本的信息理论概念和定理。,熟练掌握通信与信息工程中基本研究对象的数学描述。,通过学习和习题练习,具备一定的解决问题分析问题的能力,有关事项,讲课:(概念、方法、实际应用) 自学:(数学推导、定理证明) 考试:基本概念、基本计算、实际应用 平时成绩:上课情况+作业 成绩:考试成绩+平时成绩,5,主要参考书,1信息论基础理论与应用, 傅祖芸, 电子工业出版社,2005 2信息论与编码,陈运,电子工业出版 社,2010 3. 信息
3、理基础,周荫清,北京航空航天 大学出版社,2012,6,信息论概述,第一章,1.1 信息,1.2 信息论,1.3 信息论的形成与发展,1.4 信息论的主要研究成果,8,1.1 信息,什么是信息?,信息是指各个事物运动的状态及状态 变化的方式。 人们从来自对周围世界的观察得到的 数据中获得信息。 信息是抽象的意识或知识,它是看不 见、摸不到的。,1.1.1信息的定义,9,信息的定义从以下三方面总结:,自然信息:信息存在于自然界,也存在于人类社会,其本质是运动和变化。可以说哪里有事物的运动和变化,哪里就会产生信息。,如种子发芽,破土而出;太阳东出西落;不同季节开不同的花;宇宙星辰的位置变化等,以上
4、自然界的变化产生了信息。由此得知信息不是静止的过程,只有运动、变化才能产生信息。当信息产生以后,由人们或其他动物获取这个信息后,就会对这个信息进行记录(或记为存储),然后传递。,10,表征信息:用文字、符号、数据、语言、图片、图像等能够被人们感觉器官所感知的形式,把客观物质运动和主观思维活动的状态表达出来。,人们逐渐意识到信息的存在。对信息的认识随着社会文明的程度的提高而不断提高和深入。,最早对信息进行科学定义的,是哈特莱(R.V.L.Hartley)。,他认为,发信者所发出的信息,就是他在通信符号表中选择符号的具体方式,并主张用所选择的自由度来度量信息。,美国科学家维纳(N.Wiener)指
5、出:,美国数学家香浓,事物运动状态及其变化方式的外在形式,实际上研究的是语法信息。,“信息是信息,不是物质,也不是能量”。,11,概率信息:采用概率论的方法对信息统计特性的一种定量描述。,从数学观点出发研究香农信息论,可以认为信息是对信息统计特性的一种定量描述。,例如,有人告诉你一条消息,这条消息告诉了许多原来不知道的信内容,也就是事件发生概率小,这条消息就很有意义,信息量就大;反之,如果这条消息告诉的是原来就已经知道的新内容,那么这条消息意义就不大,信息量就小。,12,信息、消息和信号,香农信息的定义,13,1.1.2 信息的性质,在物质世界中任何事物都处于永恒的运动和普遍的相互作用之中。只
6、要有运动和相互作用的事物,就需要有能量,也就会产生各种各样事物运动的状态和方式,就产生了信息。信息是作为物质存在方式和状态的自身显示,同样也是相互作用的自身显示。可见信息源于物质世界本身,源于物质世界的运动和相互作用之中,所以信息是普遍存在的。,14,信息有如下的重要性质:,15,16,不确定性。信息是能使认识主,17,1.2 信息论,1.2.1信息论研究的内容,信息论是在信息可以量度的基础上,研究有效地和可靠地传递信息的科学,它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。,目前,对信息论研究的内容一般有以下三种理解:,狭义信息论,一般信息论,广义信息论,
7、18,狭义信息论:,通过消息的传递,收信者知道了消息的具体内容,原先的“不知”、“不确定”和“疑问”消除或部分消除了。因此,对收信者来说,消息的传递过程是一个从不知到知的过程,或是从知之甚少到知之甚多的过程。,19,以十月份北京地区天气为例,,由此可见,“不确定性”与概率的大小存在着一定的联系,“不确定性”应该是概率的某一 函数;那么,“不确定性”的消除量(减 少量),也就是狭义信息量。,20,一般信息论:,维纳研究的重点是在接收端。研究一个信号(消息)如果在传输过程中被某些因素(如噪声、非线性失真等)所干扰后,在接收端怎样把它恢复、再现,从干扰中提取出来。,而香农研究的对象则是从信源到信宿之
8、间的全过程,是收、发段联合最优化问题,其重点是放在编码。,只要在传输前后对消息进行适当的编码和译码,就能保证在干扰的存在下,最佳的传送和准确或近似的再现消息。,21,广义信息论:,在本课程中,我们讨论的范围限于一般信息论之内。以香农提出信息理论为基础,从研究通信系统传输的实质出发,讨论信息的测度,信道容量及信息传输的可靠性的知识。,1.2.2 通信系统模型,从上节关于信息概念及性质的讨论中,我们已经看到:信息具有共享性,可传输性,这就要通过系统将信息传输给接受者,各种系统如电报、电话、电视、广播、遥控、雷达和导航等,虽然它们的形成和用途各不相同,但本质是相同的,都是信息的传输系统。为了便于研究
9、信息传输和处理的共同规律,我们将各种通信系统中具有共同特性的部分抽取出来,概括成一个统一的理论模型,如下图所示。通常称它为通信系统模型。,23,通信系统模型主要分成下列五个部分。,24,编码器可分为信源编码器和信道编码器,信源编码器的作用 是把信源发出的消息变换成由二进制码元(或多进制码元)组成的代码组,这种代码组就是基带信号; 同时通过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的效率。,信道编码器的作用 主要作用是提高信息传送的可靠性。,25,信源译码器的作用 是把信道译码器输出的代码组变换成信宿所需要的消息形式,它的作用相当于信源编码器的逆过程。,信道译码器的作用 具有检错或纠错
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 第一章
链接地址:https://www.31doc.com/p-2161208.html