人工神经网络导论幻灯版.doc
《人工神经网络导论幻灯版.doc》由会员分享,可在线阅读,更多相关《人工神经网络导论幻灯版.doc(175页珍藏版)》请在三一文库上搜索。
1、第1 章 绪论1.1 从生物神经网络到人工神经网络在你阅读本书时,你就用到了一个复杂的生物神经网络,大约有1011个相互连接的神经元帮助你进行阅读、呼吸、思考、完成各种动作等,部分神经网络的结构和功能是与生具有的,比如支配呼吸、哭、吮吸等本能动作的功能;而大多数的功能需要通过后天的学习才能获得。 虽然人们还并不完全清楚生物神经网络是如何进行工作的,但幻想构造一些“人工神经元”,进而将它们以某种方式连接起来,可以模拟“人脑”的某些功能。这就是本书所要讨论的“人工神经网络”。1.2 人工神经网络的发展史人工神经网络(artificial neural network ,ANN)的发展经历了大约半个
2、世纪,从20 世纪40 年代初到80 年代,神经网络的研究经历了低潮与高潮几起几落的发展过程。早在1943年,心理学家W.McCulloch 和数学家W. Pitts 合作,从数理逻辑的角度,提出了神经元和神经网络最早的数学模型(McCulloch-Pitts , MP模型),标志着神经网络研究的开始。1958年,F.Rosenblatt首次引进了模拟人脑感知和学习能力的感知器(perceptron )概念,引起了人们的极大兴趣。感知器由简单的阈值性神经元构成,初步具备了诸如学习、并行处理、分布存储等神经网络的一些基本特征,从而确立了从系统角度进行人工神经网络研究的基础。1960 年,B.Wi
3、drow 和M.Hoff 提出了主要适用于自适应系统的自适应线性元件(ADAptive LINear NEuron , ADALINE )网络,采用了比感知器更复杂的学习程序。Widrow -Hoff 技术被称为最小均方误差(least mean square,LMS)学习规则。从此神经网络的发展进人了第一个高潮期。1969年,美国麻省理工学院著名的人工智能专家M.Minsky 和S.Papert 出版了颇有影响的PercePtron一书,从数学上剖析了简单神经网络的功能和局限性,并且指出多层感知器还不能找到有效的计算方法,由于M . Minsky 在学术界的地位和影响,其悲观的结论,被大多数
4、人不做进一步分析而接受;加之当时以逻辑推理为研究基础的人工智能和数字计算机的辉煌成就,大大降低了人们对神经网络研究的热情,故使神经网络的研究在其后的若于年内处于低潮。1972 年T.Kohonen 和J.Anderson不约而同地提出具有联想记忆功能的新神经网络;1976年,S.Grossberg 与G.A .Carpenter 提出了自适应共振理论(adaptive resonance theory.ART ) ,并在以后的若干年内发展了ART1 , ART2 , ART3 这3 种神经网络模型,从而为神经网络研究的发展奠定了理论基础。进人20 世纪80 年代,特别是80年代末期,对神经网络
5、的研究从复兴很快转人了新的热潮。这主要是因为:一方面经过十几年迅速发展的以逻辑符号处理为主的人工智能理论和冯 诺依曼(von Neumann )计算机在处理诸如视觉、听觉、形象思维、联想记忆等智能信息处理问题上受到了挫折;另一方面,并行分布处理的神经网络本身的研究成果,使人们看到了新的希望。1982 年美国加州工学院的物理学家J.Hoppfield 提出了HNN ( Hoppfield neural network )模型,并首次引人了网络能量函数概念,使网络稳定性研究有了明确的判据,其电子电路实现为神经计算机的研究奠定了基础,同时开拓了神经网络用于联想记忆和优化计算的新途径。1983 年K.
6、Fukushima 等提出了神经认知机网络理论;1985 年D.H .Ackley 、G.E.Hinton 和T.J.Sejnowski 将模拟退火概念移植到Boltzmann 机模型的学习之中,以保证网络能收敛到全局最小值。1986 年,D.Rumelhart 和J.McCelland 等提出的PDP(parallel distributed processing )理论则致力于认知微观结构的探索,同时发展了多层网络的BP 算法,使BP 网络成为目前应用最广的网络。1987 年,T.Kohonen 提出了自组织映射(Self organizing map , SOM)。1987 年,美国电气
7、和电子工程师学会IEEE ( institute for electrical and electronic engineers )在圣地亚哥(San Dieg 。)召开了盛大规模的神经网络国际学术会议,国际神经网络学会(international neural networks society )也随之诞生。1988 年,学会的正式杂志Neural Networks创刊;从1988 年开始,国际神经网络学会和IEEE 每年联合召开一次国际学术年会;1990 年IEEE 神经网络会刊问世,各种期刊的神经网络特刊层出不穷,神经网络的理论研究和实际应用进人了一个蓬勃发展的时期。1.3 人工神经网络
8、的应用人工神经网络的应用领域极其广泛,1988 年 DARPA 神经网络研究报告 列举了不同领域神经网络的应用实例。见表1.1。表1.1 神经网络的应用实例应用领域应用实例航空航天业高性能飞机自动驾驶仪、飞行航线模拟、飞行器控制系统、自动驾驶仪增强器、飞机构件模拟、飞机构件故障检测等汽车业汽车自动驾驶系统、保单行为分析银行业支票和其他文档读取、信川卡申请书评估信用卡行为检查用于辨认与遗失的信用卡相关的不寻常的信用卜行为国防工业武器制导、目标跟踪与识别、脸部识别、新型传感器、声纳、雷达、图像处理与数据压缩、特征提取与噪声抑制、信号图像识别电子业编码序列预测、集成电路芯片版图设计、过程控制芯片故障
9、检测、机器人视觉、语音合成非线性建模娱乐业动画、特效、市场预测金融业房地产估价、贷款指锌、抵押审查、集团债务评估、信用曲线分析、有价证券交易程序、集团财政分析、货币价格预测等工业预测熔炉产生的气休和其他工业过程,以取代复杂而昂贵的仪器设备保险业政策应用评估,产出最优化制造业制造业过程控制、产品设计与分析、过程与机器诊断、实时微粒识别、可视化质量检测系统、焊接质量分析、纸质预测、计算机芯片质量分析、化学产品设计分析、机器保养分析、工程投标、经营与管理、化学处理系统的动态建模等医药乳腺癌细胞分析,EFG 和ECG 分析,假休设计移植时间最优化,降低医疗费用支出,提高医疗质量石油天然气勘探机器人技术
10、行走路线控制、铲车机器人、操纵控制器、视觉系统等语音语音识别、语音压缩、元音分类、文本一语音合成等有价证券市场分析、自动债券评级、股票交易咨询系统等电信业图像与数据压缩、自动信息服务、实时语言翻译、用户付费处理系统等交通卡车刹车诊断系统、车辆调度、行程安排系统等神经网络比较善长的应用领域如下。(l)模式识别神经网络经过训练可有效地提取信号、语音、图像、雷达、声纳等感知模式的特征,并能解决现有启发式模式识别系统不能很好解决的不变量探测、自适应、抽象或概括等问题。这方面的主要应用有:图形、符号、手写体及语音识别,雷达及声纳等目标识别,药物构效关系等化学模式信息辨识,机器人视觉、听觉,各种最近相邻模
11、式聚类及识别分类,遥感、沃学匡像分析,计算机视觉、计算机输入装置等。神经网络可应用于模式识别的各个环节:特征接取、聚类分析、边缘检测、信号增强、噪声抑制、数据压缩以及各种变换、分类判决等。 (2)人工智能专家系统是人工智能领域研究时间最长,应用最成功的技术,但人们在应用专家系统解决诸如语音识别、图像处理和机器人控制等这类类似于人脑的形象思维的问题时,却遇到很大的困难。神经网络的问世为人工智能开辟了一条崭新的途径,成为人工智能研究领域中的后起之秀,它具有的自学习能力是传统专家系统望尘莫及的。神经网络技术能对不完整信息进行补全,根据已学会的知识和处理问题的经验对复杂问题作出合理的判断决策,给出较满
12、意的解答,或对未来过程作出有效的预测和估计,从而使之在人工智能领域获得广泛的应用。这方面的主要应用有:自然语言处理、市场分析、预测估值、系统诊断、事故检查、密码破译、语言翻译、逻辑推理、知识表达、智能机器人、模糊评判等。 (3)控制工程 神经网络在诸如机器人运动控制、工业生产中的过程控制等复杂控制问题方面有独到之处。较之基于传统数字计算机的离散控制方式,神经网络更适宜于组成快速实时自适应控制系统。这方面的主要应用有:多变量自适应控制、变结构优化控制、并行分布控制、智能及鲁棒控制等。 (4)优化计算和联想记忆 由于并行、分布式的计算结构,神经网络在求解诸如组合优化(NP完备问题)、非线性优化等一
13、系列问题上表现出高速的集体计算能力。在VLSI 自动排版、高速通信开关控制、航班分配、货物调度、路径选择、组合编码、排序、系统规划、交通管理以及图论中各类问题的计算等方面得到了成功应用。 联想记忆的作用是用一个不完整或模糊的信息联想出存储在记忆中的某个完整、清晰的模式来。如何提高模式存储量和联想质量仍是神经网络的热点之一。目前在这方面的应用有内容寻址器、人脸识别器、知识数据库等。(5)信号处理 神经网络的自学习和自适应能力使其成为对各类信号进行多用途加工处理的一种天然工具,主要用于解决信号处理中的自适应和非线性问题。包括自适应均衡、自适应滤波、回波抵消、自适应波束形成、自适应编码等自适应问题和
14、各种非线性问题,如非线性区域的模式分类、系统辨识和高维非线性系统的检测、估计等问题,还可对病态问题进行求解。神经网络在弱信号检测、通信、自适应滤波等方面的应用尤其引人注目,并已在许多行业得到应用。1.4 生物神经元人脑神经系统的基本单元是神经细胞,即生物神经元,人脑神经系统约由10个神经元构成,每个神经元与约10其他神经元相连接。神经细胞与人体中其他细胞的关键区别在于,神经细胞具有产生、处理和传递信号的能力。一个神经元的构造主要包括细胞体、树突、轴突和突触。如图1-1所示。图1-1 生物神经元示意图细胞体:由细胞核、细胞质、细胞膜等组成。树突:从细胞体延伸出像树枝一样向四处分散开来的许多突起,
15、称之为树突,其作用是感受其他神经元的传递信号。轴突:一般每个神经元从细胞体伸出一根粗细均匀、表面光滑的突起,长度从儿微米到lm 左右,称为轴突,它的功能是传出从细胞体来的神经信息。在高等动物的神经细胞中,除了特殊的无“轴突”神经元外都有轴突。突触:轴突末端有许多细的分枝,称之为神经末梢,每一根神经末梢可以与其他神经元连接,其连接的末端称之为突触。神经元之间的连接是靠突触实现的,主要有:轴突与树突、轴突与细胞体、轴突与轴突、树突与树突等连接形式。神经细胞单元的信息是宽度和幅度都相同的脉冲串,若某个神经细胞兴奋,其轴突输出的脉冲串的频率就高;若某个神经细胞抑制,其轴突输出的脉冲串的频率就低,甚至无
16、脉冲发出。根据突触对下一个神经细胞的功能活动的影响,突触又可分为兴奋性的和抑制性的两种。兴奋性的突触可能引起下一个神经细胞兴奋,抑制性的突触使下一个神经细胞抑制。神经细胞的细胞膜将细胞体内外分开,从而使细胞体内外有不同的电位,一般内部电位比外部低,其内外电位差称之为膜电位。突触使神经细胞的膜电位发生变化,且电位的变化是可以累加的,该神经细胞膜电位是它所有突触产生的电位总和当该神经细胞的膜电位升高到超过一个阈值时,会产生一个脉冲,从而总和的膜电位直接影响该神经细胞兴奋发放的脉冲数。突触传递信息需要一定的延迟,对温血动物,延迟时间为。0.3ms1 .0ms。一般每个神经细胞的轴突大约连接100-1
17、000个其他神经细胞,神经细胞的信息就这样从一个神经细胞传到另一个神经细胞且这种传播是正向的,不允许逆向传播。1.5 人工神经元模型按照生物神经元的结构和工作原理,构造一个人工神经元如图1-2 所示。图1-2 人工神经元模型人工神经元是人工神经网络的基本单元,从图中可以看出,它相当于一个多输入单输出的非线性阈值器件。定义:表示其它神经元的轴突输出,亦即该神经元的输入向量;表示其他神经元与该神经元R个突触的连接强度,亦即权值向量,其每个元素的值可正可负,分别表示为兴奋性突触和抑制性突触;为神经元的阈值,如果神经元输入向量的加权和大于,则该神经元被激活,所以输入向量的加权和也称为激活值;表示神经元
18、的输入输出关系函数,亦即传输函数。因为激活值越大,表示神经元的膜电位总和越大,该神经元兴奋所发放的脉冲数越多,所以传输函数一般为单调升函数。但它又是一个有限值函数,因为神经元发放的脉冲数是有限的,这样,神经元的输出可以表示为 = ( 1.1 )从以上分析可以看出,人工神经元反映了生物神经元的基本功能。1.6 神经网络的结构只有上亿个生物神经元连接成生物神经网络,才能完成对外部感知信息进行的处理、记忆、学习等。同样,单个人工神经元往往不能完成对输入信号的处理,它要按一定的规则连接成网络,并让网络中每个神经元的权值和阈值按一定的规则变化,才能实现所设计神经网络的功能要求。人工神经网络的连接形式和其
19、拓扑结构多种多样,但总的来说有两种形式,即分层型和互连型神经网络。分层型神经网络的拓扑结构如图1-3 所示,它又分为简单前馈网络、反馈型前馈网络和内层互连前馈网络。图1-3 分层型神经网络的拓扑结构互连型神经网络的拓扑结构如图1-4 所示,其网络的任意两个神经元都相互连接,构成全互连神经网络;如果不是全部的神经元都彼此相互连接,则构成局部互连神经网络。图1-4 互联型神经网络在人工神经网络的发展过程中,对生物神经系统已从不同的角度进行了不同层次的描述和模拟,提出了各种各样的神经网络模型,其中具有代表性的网络模型有感知器神经网络、线性神经网络、BP网络、径向基函数网络、自组织网络、反馈网络等。1
20、.7 神经网络的特点神经网络的主要特点是:(l)分布式存储信息。其信息的存储分布在不同的位置,神经网络是用大量神经元之间的连接及对各连接权值的分布来表示特定的信息从而使网络在局部网络受损或输入信号因各种原因发生部分畸变时,仍然能够保证网络的正确输出,提高网络的容错性和鲁棒性。(2)并行协同处理信息。神经网络中的每个神经元都可根据接收到的信息进行独立的运算和处理,并输出结果,同一层中的各个神经元的输出结果可被同时计算出来,然后传输给下一层做进一步处理,这体现了神经网络并行运算的特点,这一特点使网络具有非常强的实时性。虽然单个神经元的结构极其简单,功能有限,但大量神经元构成的网络系统所能实现的行为
21、是极其丰富多彩的。(3)信息处理与存储合二为一神经网络的每个神经元都兼有信息处理和存储功能。神经元之间连接强度的变化,既反映了对信息的记忆,同时又与神经元对激励的响应一起反映了对信息的处理。(4)对信息的处理具有自组织、自学习的特点,便于联想、综合和推广。神经网络的神经元之间的连接强度用权值大小来表示,这种权值可以通过对训练样本的学习而不断变化,而且随着训练样本量的增加和反复学习,这些神经元之间的连接强度会不断增加,从而提高神经元对这些样本特征的反映灵敏度。1.8 神经网络的学习方式人工神经网络与生物神经网络一样,必须经过学习,才具有智能特性。人工神经网络的学习过程,实际上就是调节权值和阈值的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工 神经网络 导论 幻灯
链接地址:https://www.31doc.com/p-5093384.html