信息论与编码第1章课程介绍绪论.ppt

1,信息论与编码 information theory and coding or informatics and coding,2,教学目标,掌握基本的理论和应用 理解信息论思想和方法，总结香农怎么能够创立一套理论 掌握信息论在实践中的一些重要应用 不为了毕业和考试而学，不为了应付大纲而教,3,基本教学环节,（1）课堂教学：标志性问题；案例启发；鼓励学生共同参与讨论和问题探寻；重点传授方法和思想以及好的学习和研究的方法和习惯。期中和期末会有talk，让学生谈想法，展示自己的作品和发现。 （2）课外自学：布置一定自学任务和思考题进行课外学习和资料查阅准备。 （3）研究与实践：学生选择性进行研究与编程实践，提交相应的报告，或者程序，作品等等，作为平时成绩的一部分。要求写创新日记。,4,基本教学环节,（4）答疑辅导：固定时间在答疑的教室05505 进行答疑，也可在网络教学平台上或者QQ，E-mail进行讨论。 （5）考核：本课程将更加强调学生对知识的理解和应用，避开死记硬背和应试技巧。不要划重点，强调平时的学习领悟和理解积累。让考前抱佛脚失效。,5,基本教学环节,（6）跟踪、反馈和继续教育：课程结束后可以继续提问，把这一课在今后学习和应用中遇到的问题及时反馈给我。另外在这方面提供进一步的帮助和指导。把这个教学延伸到一种终生的、全程的教育。另外可能根据情况补充一定的教案、视频、屏幕录像教学。,6,教学方式,多媒体教学为主 教学中会有几个talk 可能补充录制一定的屏幕录像，提供网络资源和电子资源，推荐一定的自学资料。关于课堂教学，强调发挥学生的自主性，包括鼓励思考，要有创新日记。 重视学习兴趣的培养，因为信息论与编码在许多人看来是枯燥无味的，欢迎提出反馈意见。,7,教学方式,如同对待科研一样，对待教学，像科研一样去理解钻研它。 将教材上的直接给出答案变成一种引导，而且是一种引导过程，比如可能会发好几个锦囊，即一种逐步的提示。同时将不同内容进行穿插教学。 教学过程中提出一些个人见解，也是作为一种示范，希望同学们也能够用类似的方式，提出类似的看法，同时也可以批评指正。,8,考核的方式与安排,多样化的形式，包括自己的学习心得和感想。 注重对授课内容的理解和领悟，不死记硬背，减少考前抱佛脚：改名词解释为名词解释、理解与应用，不要求死记硬背，改卷鼓励创新，宽容错误（学生错误都会很多，是正常的）。 尽量不针对考试题目划重点，可能会有一个总结，但是不是针对考试题划重点，而是对这一门课程画龙点睛。,9,考核的方式与安排,评分的标准答案将会更加灵活和自由，允许学生用自己的理解和表达方式来给出答案，宽容独立于课本外的新见解。 不要抱抄袭的想法，答案将会具有很大的随意性，雷同将会受到处罚。 开放、自由的题型。 平时个人发言，talk上积极发言有加分。 品行好的会有加分，体现在平时成绩。,10,考核的方式与安排,命题原则：鼓励创新，鼓励批判精神，考试题映射学生多方面的能力和素质，强调实践能力，加大答题的自由度，容纳学生平时对知识的理解和思考。坦诚自己的失败将会受到鼓励、宽容学生自主创新中失败原则，鼓励答案有超出书本和讲授内容的新发现。避免应试和临时抱佛脚。注意一些全程思考题会在考试中有映射。不注重咬文嚼字。 导向：就业、创业、能力（活学活用），避免高分低能和低分高能。好品行导向。,11,考核的方式与安排,考试注意： 讨论题：针对重要的问题从多方面进行论述，包括，个人的理解，利弊分析，应用价值探讨，可以应用的领域，鼓励将其与现实问题结合起来（比如将现实问题抽象为该理论问题）。 名词解释会增加对名词的理解，而不是死记硬背。 创新题，写自己在整个过程中的创新性想法，平时就可以准备，可以任意发挥。,12,考勤办法及基本纪律要求,点名、布置小作业、其他互动方式、作业情况。 要求按时到课，不要旷课，本学期严格执行旷课超过三分之一取消考试资格规定。 请假要有请假条。 上课不要喧闹。 上课不要接电话。,13,参考教材,参考教材 傅祖芸编著 ，信息论基础理论与应用，2002 王育民,李晖,梁传甲信息论与编码理论北京：高等教育出版社2006 沈连丰，叶芝慧信息与编码北京：科学出版社，2004. 傅祖芸信息理论与编码-学习辅导及精选题解北京：电子工业出版社，2004.,14,参考教材,姜丹，信息论与编码,中国科学技术大学出版社 Robert J. McEliece. The Theory of Information and Coding（Second Edition）. 电子工业出版社, 2003 Gallager. Information Theory and Reliable Communications. John Wiley & Sones, 1968 姜楠，信息论与编码理论，清华大学出版社 王勇，黄雄华，蔡国永，信息论与编码，清华大学出版社，2013,15,参考网站,http:/www.inference.phy.cam.ac.uk/mackay/info-theory/course.html http:/www.ouhk.edu.hk/WCM/?FUELAP_TEMPLATENAME=tcGenericPage2010&ITEMID=CC_COURSE_GUI_874486&BODY=tcGenericPage2010 http:/www.jingpinke.com/course/open_course/details?objectId=oid:150a84b3-11c5-1000-0b24-85ca69804372&uuid=150a84b3-11c5-1000-0b25-85ca69804372 平时成绩：香港作业成绩百分之五十，国外超过70，国内低于30.,16,参考网站,http:/www.jingpinke.com/course/details?uuid=8a833999-2031c13b-0120-31c13bc4-027d&courseID=A080092 西安电子科技大学（网络不畅） http:/cam.qubit.org/node/223 Quantum Information Theory http:/ocw.usu.edu/Electrical_and_Computer_Engineering/Information_Theory/ Information Theory/ http:/www.onlinecolleges.net/library/technology/information-technology/open-courses/ http:/www.inference.phy.cam.ac.uk/mackay/info-theory/course.html,17,参考网站,http:/jpkc.hfut.edu.cn/2007/xxlybm/course/condition.html 合肥工业大学 http:/218.196.240.43/jingpin/C12/jsdw-3.htm 河南理工大学 http:/218.87.136.37:8088/ 江西理工大学 http:/jxpt.cuit.edu.cn/eolenv/jpk/course/layout/default/index.jsp?courseId=1360 成都信息工程学院,18,课程特点,理论性强。 学问做得越深，就越需要。 对数学的要求高，涉及到概率论、线性代数、微积分等等。适当调整数学多的内容。 对于不善于领悟的同学，可能是枯燥无味的，对于善于领悟的同学，有如鱼得水的感觉。 是对信息问题的抽象，应用面、涉及面广，但是建模太多，局限性也多。,19,学习要求,准备一个笔记本做创新日记，不要求很好，但是要是正式的，可以长期使用和存留的本子。作为平时的作业的一部分进行检查，而且会返还。 要到课，不要以为看教材就能够学好，会在课堂上做一些启发，讲一些教材上没有的东西。按照规定必须点名超过4次，缺课三分之一，会取消考试资格。 不要抄袭，抄袭比不交作业还影响平时成绩。题目自由，答案不确定。,20,学习要求,考试不要寄希望于抄袭、考前划重点。 鼓励随时思考，要理解而不是死记硬背。,21,好习惯,1.反思自己，每天做了什么，对将来的工作有意义吗？自己将来能够做什么？睡觉前把每天学习的东西回忆一遍。 2.反思自己的不良习惯和品行，积极改正。总结自己的 好习惯。 3.思考自己的前途。 4.思念父母恩德。 5.思考自己为他人做什么。,22,好习惯,6.以好人为榜样，能够和好人比较，学好人，远离坏人。远离游戏，电影。软件、数媒专业的不要开发游戏。 7.好的品行是方向，方向不对是南辕北辙，好的习惯、方法是加速度，学习的好是速度。常规的教学中往往忽视前面两者。,23,全程问题,思考一切信息都可以用二进制（或者其他进制）数据表示，一切处理都可以用计算解决给我们的启示？ 什么是信息？信息如何度量？ 现实的信源、信道和加密编码各自需要考虑哪些因素，如果要开发一个相应的软件需要考虑哪些因素，需要增加哪些书本上没有提到的步骤？ 纸质的，手写的文件针对于现在信息化环境下的文件的局限性？要完全取代纸质文件、手写签名，可以采用什么样的方法？ 教材上提到的编码的需求（压缩、纠错、安全）之外，现实编码还需要或可能考虑到那些需求？,24,全程问题,面对信息化环境，你认为可以抽象出哪些问题，需要怎么解决？（发散思维，不要局限于所学）。 在搜索引擎和各种电子资源库中检索每一章的关键词，以及这些关键词联合“综述”、“发展”、“进展”等进行检索，阅读最新相关文献。 学习到的信息论与编码知识是否可以应用在新的领域？ 当前所学习的理论给我们的启示？学习的过程中有哪些创新性的想法？ 所学的知识有局限性吗？是否可以据此进行改进或拓展？ 利用学习到的信息论与编码知识可以做哪些对社会有益的事情，可能会给社会带来一些什么样的危害？,25,自学选题-选作,阅读和翻译香农的经典论文，或者是其他的相关论文，写读书日记。 阅读压缩、纠错、检错和安全相关的源代码，学习一些相关的类库和函数，尝试编程。 阅读量子信息论和广义信息论相关的论文。 阅读信息理论发展前沿的论文。 为自己设定就业目标，然后了解这一目标需要的知识，搜索和学习相关知识。,26,信息论标志性问题,1. 信息是什么？如何度量？ 2. 关于两个事件互相提供信息量的大小？ 3.信息压缩的极限（与信息度量） 4. 如何进行限失真编码问题 5. 如何进行纠错编码？ 6. 如何进行加密编码？,27,信息论标志性问题,7. 在编码、密码算法、密码协议中质数（或者互质）的身影无处不在，一个看起来似乎毫无用处的质数，会有什么用途？ 8. 在编码中经常会遇到取模，分析其用途和限制？ 9. 长序列对于编码有什么好处？,28,信息论标志性问题锦囊1,信息是什么 （1）什么是知道？ 什么是不知道？ （2）假如信息我们确定了班上有30位同学，但是不知道是班上的哪一位同学，后来知道是同学甲，知道前后有什么差异。是否与信息有关系？ （3）欲建立信息度量，必然要用数学方法。上述问题可以用哪一数学分支表达？用数学的模型或方法，比较一下上例中知道前后的差异。,29,信息论标志性问题锦囊2,（4）“完全不知道是班上的哪位同学”与“知道班上某位同学的可能性很大，但是也不能确定是他 ”之间有差异吗？ （5）如果实现不知道肇事者，后来被告知肇事者是一个班上的同学，假如这个班上只有2位同学，与这个班上有100位同学，两者提供的信息是否有差异？ （6）利用极端的例子思考问题。知道肇事者是一个班上的同学，假如这个班上有100位同学，后来更加确定某甲肇事的概率达到99.9999%，两者提供的信息是否有差异？,30,信息论标志性问题锦囊3,（7）概率小的事情发生让人觉得惊奇，如范进中举。从消除不确定性的角度来说，它排除的不确定性是大还是小（以概率分布值来计算，而不是可能的消息来计）？ （8）分析一下消息提供的信息量各自有多少？来考虑洪水的例子：新闻播报某地发生了一年一遇（假如有这样的说法）、两年一遇，千年一遇、万年一遇的洪水，同样的汉字字数，它们的信息量有差异吗？思考信息如何来表达？,31,信息论标志性问题锦囊4,（9）我们认为，信息量与概率有关系，概率越小，信息量越大，当一个事情确定的时候，即概率为1的时候，信息量为0，什么函数可以输入1得到0？ （10）我们一般认为，告诉我们两个独立事件，信息量是相加的关系，但是从概率上来说，两个独立事件同时发生，其概率是相乘的关系，什么函数有这样的性质？,32,第1章 绪论,1.1信息技术的优势及其带来的根本变革 理论 应用,信息技术的优势-理论角度,可将所有的数据（信息）都变成统一的二进制。软件、图片、视频等。 可以将几乎绝大多数数据的处理转换为CPU的计算。 对现实中涉及到信息的问题进行抽象化，这样我们的信息可以进行转换成它最适用的形式，在存储时候用最利于存储的形式，如磁信号，传输的时候用最为利于传输的形式（光纤），现实中大量的事务变成了可以为信息技术处理的问题。 理论上证明，一些计算和算法（如神经网络）可以具有很好的学习未知事务的能力，大多数的函数都是可以用这些逼近的。对于离散结果的函数，照样具有逼近能力。,信息技术的优势-理论角度,通过将现实的各种问题，包括分析、判断都可以转换为连续的或离散的函数的问题，然后用算法来逼近它，这样我们就可以通过计算机来解决几乎所有的问题。 一定程度上可以说：机械化取代人手（体力），信息化取代人脑（脑力）-分析、判断、指挥。,信息技术的优势-应用角度,将任意的交互、指令和数据处理变成一种二进制数据。 任意的信息处理过程可以转换为程序，也变成二进制，几乎无所不能。 利用通信技术，可以将任意的二进制数据（包括指令）传递到远方，并且在远方根据二进制数据的约定执行，这种执行只需要用CPU和相应控制器即可。现代通信技术传输速度快、带宽大、可以达到互联网联通、卫星覆盖、无线信号覆盖的地方。 对比人脑，计算机运算速度快，可以存储和处理的数据量大，更精确。 信息可以被低成本地有效存储、复制、异地备份，易于分类和查找，很容易被修改、再处理。 具有很好的智能，可以取代人，并且在未来可以在某些方面优于人的智能-快速学习、海量学习、快速判断。减少人力、适应老龄化。 可以精确控制（比如用量、用时、强度），可以在各种性能和指标上达到最优化、节能减排。 可以信息化方式可以取代一些传统的业务，以虚拟操作代替实体操作，减少成本、节能减排，比如签字、邮件。 改变传统的方式，而催生了大量新概念（电子、数控、数字），并且依然有很大空间。,信息论与编码的意义： 所有以上这些编码为二进制，以及计算的数字，都是依靠编码方法。,37,第1章 绪论,信息论的形成与发展 通信系统的模型,38,1.2 信息论的形成与发展,信息论的发展过程 1924年奈奎斯特(H·Nyquist)发表了 影响电报速度的某些因素一文，指出了电信信号的传输速率与信道频带宽度之 间存在着确定的比例关系。带宽（band width）又叫频宽，是指在固定的的时间可传输的资料数量，亦即在传输管道中可以传递数据的能力。 1928年，哈特莱（Ralph Vinton Lyon Hartley，1888-1970）在信息传输（Transmission of Information）（1928）一文中早就指出，信息是包含在消息（讯息）中的抽象量，消息是信息的载荷者；消息是具体的，信息是抽象的。但是，在传播中，传者传出讯息，并不意味着受者就一定收到讯息；受者收到讯息，也不能保证“翻译”、还原成传者意欲传递的那种信息。因为，传受两者共享信息的前提，是拥有基本相同等级的符号系统和经验系统。他认为“信息是指有新内容、新知识的消息”，将信息理解为选择通信符号的方式，并用选择的自由度来计量这种信息的大小。 符号系统，比如汉字，经验系统：比如语法、约定俗成的东西,39,1.2 信息论的形成与发展,信息论的发展过程 1936年，EH Armstrong， 带宽与抗干扰能力，加大带宽来提高抗干扰能力。 1939年，达德利(H.Dudley)发明了声码器（vocoder），用于记录和分析声音，基于此，提出了通信所需要的带宽至少应与所传送的消息的带宽相同。达德利和莫尔斯都是研究信源编码的先驱者。,40,1.2 信息论的形成与发展,信息论的发展过程 1943年维纳（Norbert Wiener，1894-1964）教授与别格罗和罗森勃吕特合写了行为、目的和目的论的论文，从反馈角度研究了有目的性的行为，找出了神经系统和自动机之间的一致性。这是第一篇关于控制论的论文。这时，神经生理学家匹茨和数理逻辑学家合作应用反馈机制制造了一种神经网络模型。第一代电子计算机的设计者艾肯和冯.诺依曼认为这些思想对电子计算机设计十分重要，就建议维纳召开一次关于信息、反馈问题的讨论会。1943年底在纽约召开了这样的会议，参加者中有生物学家、数学家、社会学家、经济学家，他们从各自角度对信息反馈问题发表意见。以后又连接举行这样的讨论会，对控制论的产生起了推动作用。,41,1.2 信息论的形成与发展,信息论的发展过程 1948年，维纳出版了专著控制论一动物和机器中的通信与控制问题（Cybernetics），并创立了控制论。维纳从更加广阔的领域研究了信息，他认为信息是“我们在适应外部世界、控制外部世界的过程中同外部世界交换内容的名称。”他还认为：“接受信息和使用信息的过程，就是我们适应外部世界环境的偶然性变化的过程，也是我们在这个环境中有效地生活的过程。”,42,1.2 信息论的形成与发展,信息论的发展过程 1948年和1949年，美国著名数学家、贝尔实验室电话研究所的香农（Claude Elwood Shannon，1916-2001，也译作申农）博士连续发表了两篇论文，即“通信的数学理论（Mathematical Theory of Communication）”和“在噪声中的通信”，他提出了信息量的概念和信息熵的计算方法，并因此被视为现代信息论的创始人。香农还给信息下了一个高度抽象化的定义：“信息是用以消除随机不确定性的东西。” 50年代开始，IRE成立信息论组，出版信息论汇刊。,43,1.2 信息论的形成与发展,信息论的形成与发展 1959年，Shannon, 信源压缩编码理论，“Coding theorem for a discrete source with a fidelity criterion” 1961年，Shannon, “双路通信信道”，多用户理论-网络信息论 1972年，Cover, 广播信道,44,1.2 信息论的形成与发展,三大定理 无失真信源编码定理（第一极限定理） 信道编码定理（第二极限定理） 限失真信源编定理（第三极限定理） Shannon信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论 -狭义信息论,45,香农的生平、学术风格和习惯,46,香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农 业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生(Thomas Alva Edison，1847-1931)还有远亲关系。 2001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基之父。 1938 年香农在MIT获得电气工程硕士学位，硕士论文题目是A Symbolic Analysis of Relay and Switching Circuits(继电器与开关电路的符号分析)。当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。,香农的生平、学术风格和习惯,47,研究兴趣广泛，多方面取得成就。（生当作人杰，死亦为鬼雄） 善于刻画问题本质 白天总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。 指出不要滥用信息论。 香农有着非常好的学术眼光，香农一生论文不算太多，但是，不鸣则已，一鸣惊人，篇篇都是经典，许多都具有开拓性，他是信息时代的引路人和开拓者，被称Father of Information Theory。 他也不提倡人们迷信权威，提醒人们不要滥用信息论，并且认为重要的工作往往是基于谨慎的批判。他反对对一些已有领域的过度研究，而是强调转向有意义的研究领域，他反对跟风研究，强调自己在“自己的屋子里”做自己的、一流的、最高科学水平的工作。,香农的生平、学术风格和习惯,48,Shannon定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确”(A. N. Kolmogrov，1963)。 “数学家通常是先通过直觉来发现一个定理； 这个结果对于他首先是似然的， 然后他再着手去制造一个证明。” 哈代 已在数学上严格地证明了Shannon编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限。 善于简化问题，建立模型。理论的作用是浓缩知识之树， “简单模型胜于繁琐的现象罗列”， “简单化才能显现出事物的本质，它表现了人的洞察力”。,香农的生平、学术风格和习惯,49,香农平时兴趣广泛，不仅做了许多研究，而且也喜欢动手制作各种设备，一生有许多杰出的制作发明。如受控飞碟、会走迷宫的机器鼠等。他具有很强的工程素养又精通数学，得天独厚的知识结构使他能把数学理论自如地运用于工程。,香农的生平、学术风格和习惯,50,we must keep our own house in first class order. The subject of information theory has certainly been sold, if not oversold. We should now turn our attention to the business of research and development at the highest scientific plane we can maintain. Research rather than exposition is the keynote,and our critical thresholds should be raised. Authors should submit only their best efforts, and these only after careful criticism by themselves and their colleagues. The writer is indebted to his colleagues at the Laboratories, particularly to Dr. H. W. Bode, Dr. J. R. Pierce, Dr. B. McMillan, and Dr. B. M. Oliver for many helpful suggestions and criticisms,香农的生平、学术风格和习惯,51,1.1 信息论的形成和发展,信息 定义 广义定义：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史 概率信息：信息表征信源的不定度，但它不等同于不定度，而是为了消除一定的不定度必须获得与此不定度相等的信息量,52,1.2 信息论的形成和发展,信息 性质 信息是无形的 信息是可共享的 信息是无限的 信息是无所不在的 信息是可度量的,53,1.1 信息论的形成和发展,信息 信息与消息、信号比较 消息是信息的数学载体、信号是信息的物理载体 信号：具体的、物理的 消息：具体的、非物理的 信息：非具体的、非物理的,54,信息的定义和性质,信息、消息、信号 信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体 信息的物理层表达 消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它也是信息的载荷体。是信息论中主要描述形式 信息的数学层表达这些内容都可以认为是数学符号，以概率表征 信息是抽象的、非物理的，是哲学层表达。,55,信息的定义和性质,信息是具体信号与消息的内涵，是信号载荷的内容，是消息描述的对象。反过来，信号则是信息在物理表达上的外延，消息则是信息在数学表达上的外延。同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息。,56,2讲,信息的定义和性质,信息一般指消息、情报、资料、数据、信号等包含的内容。一般是消息中所给予收信者的新知识或消息中包含的有意义的内容。 消息：通常把包含信息的语言和声音、音乐、文字、符号、数据、图象等统称为消息。 在通信中，消息是指担负传送信息任务的单个符号或者符号序列。 信号：描写与消息相对应的电信号或光信号，是传递信息的载体。 比如，他说：“我什么都不知道。” 狼来了,57,信息（Information）的其他定义,信息是确定性的增加。 信息是事物现象及其属性标识的集合。 信息是物质、能量、信息及其属性的标示。 信息以物质介质为载体，传递和反映世界各种事物存在方式和运动状态的表征。 信息是物质运动规律总和，信息不是物质，也不是能量! 信息是客观事物状态和运动特征的一种普遍形式，客观世界中大量地存在、产生和传递着以这些方式表示出来的各种各样的信息。,58,信息（Information）的其他定义,信息是抽象于物质的映射集合。 信息是有价值的，就像不能没有空气和水一样，人类也离不开信息。因此人们常说，物质、能量和信息是构成世界的三大要素。所以说，信息的传播是极具重要与有效的。 信息是事物的运动状态和过程以及关于这种状态和过程的知识。它的作用在于消除观察者在相应认识上的不确定性，她的数值则以消除不确定性的大小，或等效地以新增知识的多少来度量。虽然有着各式各样的传播活动，但所有的社会传播活动的内容从本质上说都是信息。,59,信息（Information）的其他定义,信息是对物质属性的反映（是“信息是被反映的物质属性”的肯定式的变换） 信息是事物属性的标识 信息是客观事物普遍属性的表征 信息就是信息，它既不是物质也不是能量。 信息是选择的自由度 （Hartley,1928） 信息是被反映的物质属性 信息是通信传输的内容 （Wiener,1950） 。 信息是人与外界相互作用的过程中所交换的内容的名称,60,信息（Information）的其他定义,信息是使概率分布发生变动的东西 （Tribes etal, 1971） 。 信息是事物之间的差异 （Longo,1975） 。 信息是集合的变异度 （Ashby,1956） 。 信息是一种场 （Eepr,1971） 。 信息是负熵 （Brillouin,1956） 。 信息是有序性的度量 （Wiener,1948） 。 信息是系统组织程度的度量 （Wiener,1948） 。 信息是被反映的差异 （ cy ，1968） 。 信息是被反映的变异度,61,思考题,？你对信息定义的理解、看法等？ ？是否可以给出一个信息定义？,如果实际信源或信道符合所采用的概率模型描述，这种方法是有效的，否则只能是近似的，甚至根本无效。 语言的熵描述是非常困难的，其是非平稳的，除了确定的信息，还有模糊的信息，比如“韵味”，“意境” 不同的接收者对同一个东西得到的信息可能是不同的 Shannon信息论适合于能够定量描述的信息，对难于定量描述的信息则无能为力。,信息论的局限性,？信息论还具有哪些局限性？,信息论常被理解为包括更广的领域 语义学 语言学 神经生理学 心理学 组织学 信息的不同属性的定义产生不同的信息论 模糊信息论 量子信息论 生物信息论 信息复杂度的信息理论,信息的广义性,64,香农信息论：狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。 一般信息论（工程信息论）主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。-注：本教材称为广义信息论。,信息论的推广,65,广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。 量子信息论：全新的理论，建立在量子力学特性基础上，量子比特、并行运算，叠加纠缠等，有疑。,信息论的推广,66,一、形式化假说 香农指出：“通信的基本问题，是在消息的接收端精确地或近似地复制发送端所挑选的信息。通常消息是有意义的，即是说，它按某种关系与某些物质或概念的实体联系着。通信的语义方面的问题与工程问题是没有关系的。”这种通信工程的“形式化”假说，大胆地去掉了消息的语义、语用因素，巧妙地保留了能用数学描述的形式，因此，这使应用数学工具定量度量信息成为可能。,香农信息论的特色,67,一、形式化假说 The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point. Frequently the messages have meaning; that is they refer to or are correlated according to some system with certain physical or conceptual entities. These semantic aspects of communication are irrelevant to the engineering problem.,香农信息论的特色,68,二、非决定论 香农指出：“重要的是，一个实际的消息，总是从可能发生的消息集合中选择出来的。因此，系统必须设计得对每一种选择都能工作，而不是只适合工作于某一种选择。因为，各种消息的选择是随机的，设计者事先无法知道什么时候会选择什么消息来传送。”这种“非决定论”观点，是对通信活动的总的认识观，它从原则上回答了应采用什么样的数学工具来解决信息度量的问题。,香农信息论的特色,69,二、非决定论 The significant aspect is that the actual message is one selected from a set of possible messages. The system must be designed to operate for each possible selection, not just the one which will actually be chosen since this is unknown at the time of design.,香农信息论的特色,70,三、不确定性 香农指出：“人们只有在两种情况下有通信的需要。其一，是自己有某种形式的消息要告知对对方，而估计对方不知道这个消息；其二，是自己有某种疑问要询问对方，而估计对方能作出一定的解答。”所以通信的作用是通过消息的传递，使接收者从收到的消息中获取了一样东西，因而消除了通信前存在的“不确定性”。这种东西，就是信息。这样，我们就有理由给信息一个明确的定义：“信息就是用来消除不确定性的东西”，进而，可合理地推断：通信后接收者获取的信息，在数量上等于通信前后“不确定性”的消除量。,香农信息论的特色,71,香农信息论,压缩理论,有失真信源编码,无失真信源编码,率失真理论,压缩编码,等长编码 定理,变长编码 定理,最优码构成 Huffman码 Fano码,传输理论,有噪声,信道编码理论,码构成,纠错码,代数编码,卷积码,网络信道,网络信息理论,网络最佳码,保密理论,保密系统的 信息理论,保密码,香农信息论的科学体系,72,1.2 通信系统的模型,通信系统模型方框图:,？是否可以调换3种编码的顺序？ ？是否可以将信源编码与信道编码取消？ 是否在任何场合这些编码都需要？,73,1.3 通信系统的模型,信源(information source，source)： 向通信系统提供消息的人和机器,实际上一般指信源发出的符号。 信宿（Destination）：传递消息的对象。即接收消息的人或机器。 信道（channel）： 传递消息的通道，有是传送物理信号的设施。 (一对导线，一条同轴电缆，传输电磁波的空间，一条光导纤维等) ,实际上一般指信道抽象出来的收发端的统计特征。 信道的主要问题是它的容量。,74,1.3 通信系统的模型,干扰源：通信系统中干扰的集中反映，类似于质点一样。 密钥源：产生密钥的源。密钥是加密明文的参数。通俗地说，就是密码。,信源,信源： 向通信系统提供消息的人和机器。 (我们只研究信源的输出的消息) 离散消息： 字母、文字、数字等符号组成的符号序列或者单个符号。 Hello 上课 连续消息： 话音图像、在时间上连续变化的电参数等。,A Speech Signal,A Speech Signal,A Picture 一个自然的图像,Continuous-time Signal,Discrete-time Signal,80,信源编码和信源解码 有效性，去除冗余 信道编码和信道解码 可靠性，添加冗余 加密/解密 安全性，密钥,1.2 通信系统的模型,通信系统中各部分的研究内容,信源：包含的信息到底有多少? 怎样将信息定量地表示出来? 信宿：能收到或提取多少信息? 信道：能够传送多少信息的问题? (信道容量的大小) 干扰源；干扰的性质、大小对系统性能的影响? 信源编码：如何转换和如何提高有效性? 信道编码：如何编码和如何提高可靠性? 难点：信息、消息和信号的差别 重点：通信系统模型中各部分的功能。,http:/www.tup.tsinghua.edu.cn/book/Showbook.asp?CPBH=044338-01&DJ=36,欢迎批评指正！,