遗传算法、神经算法、退火算法、模糊算法.ppt
《遗传算法、神经算法、退火算法、模糊算法.ppt》由会员分享,可在线阅读,更多相关《遗传算法、神经算法、退火算法、模糊算法.ppt(258页珍藏版)》请在三一文库上搜索。
1、计算智能,计算智能,计算智能,智能:在给定任务或目的下,能根据环境条件制定正确的策略和决策,并能有效地实现其目的的过程或能力。 信息:信息是用来消除观察者认识上的不确定性的度量。 智能信息处理:利用各种智能手段进行信息变换的过程,这里的各种智能手段包括人工智能、机器智能和计算智能等。,计算智能,智能:有效地获取、传递、处理、再生和利用信息,使其在任意环境下成功地达到预定目标的能力。 人工智能:研究如何用人工的方法模拟、延伸和扩展智能。,计算智能,人工智能的三个学派 符号主义学派 以知识为基础,通过推理来进行问题求解,功能模拟的方法。 联接主义学派 始于1943年的M-P模型, 1982年Hop
2、filed提出的用硬件模拟神经网络, BP算法,结构-功能模拟的方法。 行为主义学派 进化主义或控制论学派,行为模拟的方法。,计算智能,计算智能 定义一:以数据为基础,以计算为手段来建立功能上的联系(模型),而进行问题求解,以实现对智能的模拟和认识。 定义二:用计算科学与技术模拟人的智 能结构和行为。,计算智能,计算智能与软计算 计算智能是强调通过计算的方法来实现 生物内在的智能行为。 软计算是受智能行为启发的现代优化计 算方法,强调计算和对问题的求解。,计算智能,软计算方法是指利用所允许的不精确性、不确定性和部分真实性得到易于处理、鲁棒性强和成本较低的解决方案,它区别于用精确、固定和不变的算
3、法表达和解决问题的硬计算。 软计算作为一种创建计算智能系统的新颖方法,正在引起人们的关注.目前已经认识到,复杂的实际问题需要智能系统对各种不同来源的知识、技术和方法进行组合. 在解决实际计算问题时,协同地而不是互斥地采用几种计算技术通常具有优越性,所产生的系统被称为互补的混合智能系统。,计算智能,软计算不是一种单一的方法,而是多种方法的结合与协作,构成软计算的三个主要元素是模糊逻辑、神经计算和进化算法,这三者分别提供不同方面的能力,其中模糊逻辑主要处理非精确性和进行近似推理,神经网络使系统获得学习和适应的能力,进化算法则提供进行随机搜索和优化的能力。,1. 神经网络,1 .1 神经网络的发展历
4、史,所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统。 Nielsen的定义 人工神经网络是一个并行、分布处理结构,它由处理单元及其称为联接的无向讯号通道互连而成。 这些处理单元具有局部内存,可以完成局部操作,即它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。 每个处理单元有一个单一的输出联接,输出信号可以是任何需要的数学模型。,1 .1 神经网络的发展历史,初始(萌发)期人工神经网络的兴起 1943年,美国神经生理学家Warren Mcculloch和数学家Walter Pitts合写了一篇关于神经元如何工作的开拓性文章:
5、“A Logical Calculus of Ideas Immanent in Nervous Acitivity”。该文指出,脑细胞的活动像断/通开关,这些细胞可以按各种方式相互结合,进行各种逻辑运算。 1949年,心理学家Donala Hebb写了一本书:“The Organization of Behavior”。在该书中,他强调了心理学和生理学间的联系和沟通,指出脑细胞间的思路每当通过参与某种活动时将被加强,这就是后来的Hebb学习规则。,1 .1 神经网络的发展历史,到了二十世纪50年代,随着计算机的发展和软硬件的进步,有些神经系统功能的理论开始在计算机上进行模拟,拓宽了研究的路子
6、。 IBM的研究室在Hebb工作的基础上,对神经网络的模型进行了软件模拟,虽然开始时失败了,但在使得模型像人那样适应环境的实验上取得了一定程度的成功。,1 .1 神经网络的发展历史,第一次高潮期 感知器模型和人工神经网络 1957年,计算机专家Frank Rosenblatt开始从事感知器的研究,并制成硬件,通常被认为是最早的神经网络模型。 1959年,两位电机工程师Bernard Widrow和Marcian Haff开发出一种叫作自适应线性单元(ADALINE)的网络模型,并在他们的论文“Adaptive Switching Circuits”中描述了该模型和它的学习算法( Widrow-
7、 Haff算法)。该网络通过训练,可以成功用于抵消通信中的回波和噪声,也可用于天气预报,成为第一个用于实际问题的神经网络。,1 .1 神经网络的发展历史,1962年,Rosenblatt出版了一本书“The Principles of Neurodynamics”,详述了他的感知器模型。该感知器具有输入层、输出层和中间层,通过实验可以模仿人的某些特性,并断言它可以学会任何它可以表示的功能。 1967年,Stephen Grossberg通过对生理学的研究,开发了一种称作雪崩网的神经网络模型,可以控制机器人手臂的运动。 在这一时期,由于感知器的某些进展和对神经网络的宣传,人们乐观地认为几乎已经找
8、到了实现智能的关键。人们夸大了神经网络的潜力(有人甚至担心制造机器人的人类会很快受到机器人的攻击),1 .1 神经网络的发展历史,反思期 神经网络的低潮 1969年,Marvin Minsky和Seymour Papert合著了一本书“Perception”,分析了当时的简单感知器,指出它有非常严重的局限性,甚至不能解决简单的“异或”问题,为Rosenblatt的感知器判了“死刑”。 此时,批评的声音高涨,导致了停止对人工神经网络研究所需的大量投资。 不少研究人员把注意力转向了人工智能,导致对人工神经网络的研究陷入低潮。,1 .1 神经网络的发展历史,第二次高潮期 Hopfield网络模型的出
9、现和人工神经网络的复苏 1982年,John Hopfield向美国科学院递交了有关神经网络的报告,主要内容就是建议收集和重视以前对神经网络的工作,其中特别强调了每种模型的实用性。 Hopfield揭示了以往的网络是如何工作的,可以做些什么,并提出了他自己的模型,能从失真的或不完善的数据图像中获得完整的数据图像,引起了美国军方的兴趣。 当时,人工智能对自动制导车的研究失败,而利用神经网络有可能解决这个问题,从而使人们的注意力重新投向人工神经网络,导致了人工神经网络的第二次高潮。,1 .1 神经网络的发展历史,1984年,Hopfield设计研制了后来被人们称为Hopfield网的电路,较好地解
10、决了TCP问题,找到了最佳解的近似解,引起了较大轰动。 1985年,Hinton、Sejnowsky、Rumelhart等研究者在Hopfield网络中引入随机机制,提出了所谓的Bolziman机。 1986年, Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法,较好地解决了多层网络的学习问题。 1990年12月,国内首届神经网络大会在北京举行。,1 .2 神经网络的基本概念,生物神经网络:Biological Neural Network(BNN) 神经元: neuron 神经元经突触传递信号给其他神经元(胞体或树突) 1011个神经元/人脑 104个连接/神经元 神经元基
11、本工作机制: 状态:兴奋与抑制 互联,激励,处理,阈值,1 .2 神经网络的基本概念,人工神经元模型(MP模型): 多输入,单输出,带偏置 R个输入piR,即R维输入矢量p n: net input, n=Wp+b。 R个权值wiR,即R维权矢量w 阈值b 输出a=f(n),1 .2 神经网络的基本概念,常用输出函数 (1)阈值函数:,1 .2 神经网络的基本概念,(2)线性输出函数 :,1 .2 神经网络的基本概念,(3)Sigmoid函数 特性: 值域a(0,1) 非线性,单调性 无限次可微 |n|较小时可近似线性函数 |n|较大时可近似阈值函数,1 .2 神经网络的基本概念,人工神经网络
12、的拓扑结构 (1)前向网络:,1 .2 神经网络的基本概念,层次划分 信号只被允许从较低层流向较高层。 层号确定层的高低:层号较小者,层次较低,层号较大者,层次较高。 输入层:被记作第0层。该层负责接收来自网络外部的信息,1 .2 神经网络的基本概念,第j层:第j-1层的直接后继层(j0),它直接接受第j-1层的输出。 输出层:它是网络的最后一层,具有该网络的最大层号,负责输出网络的计算结果。 隐藏层:除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号,也不直接向外界发送信号,1 .2 神经网络的基本概念,约定 : 输出层的层号为该网络的层数:n层网络,或n级网络。 第j-1层
13、到第j层的联接矩阵为第j层联接矩阵,输出层对应的矩阵叫输出层联接矩阵。今后,在需要的时候,一般我们用W(j)表示第j层矩阵,1 .2 神经网络的基本概念,(2)反馈互连网络,1 .2 神经网络的基本概念,如果将输出信号反馈到输入端,就可构成一个多层的循环网络。 输入的原始信号被逐步地“加强”、被“修复”。 大脑的短期记忆特征看到的东西不是一下子就从脑海里消失的。 稳定:反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小,并且最后能消失。当变化最后消失时,网络达到了平衡状态。如果这种变化不能消失,则称该网络是不稳定的。,1.3 人工神经网络的训练,人工神经网络最具有吸引力的特点是它的学习
14、能力。 人工神经网络的学习过程就是对它的训练过程。 有导师学习、无导师学习。,1.3 人工神经网络的训练,有导师学习 有导师学习(Supervised Learning)与有导师训练(Supervised Training)相对应。 输入向量与其对应的输出向量构成一个“训练对”。 有导师学习的训练算法的主要步骤包括: 1) 从样本集合中取一个样本(Xi,Yi); 2) 计算出网络的实际输出O; 3) 求D=Yi-O; 4) 根据D调整权矩阵W; 5) 对每个样本重复上述过程,直到对整个样本集来说,误差不超过规定范围。,1.3 人工神经网络的训练,Wij(t+1)=Wij(t)+ Wij(t)
15、Wij(t)=jxi(t) j=yj- oj(t),1.3 人工神经网络的训练,无导师学习 Hebb学习律、竞争与协同(Competitive and Cooperative)学习、随机联接系统(Randomly Connected Learning)等。 Hebb算法D. O. Hebb在1961年的核心: 当两个神经元同时处于激发状态时被加强,否则被减弱。 数学表达式表示: Wij(t+1)=Wij(t)+xi(t)oj(t),1.3 人工神经网络的训练,存储与映射 CAM方式(Content Addressable Memory)内容寻址方式是将数据映射到地址。 AM方式(Associa
16、tive Memory)相联存储方式是将数据映射到数据。 在学习/训练期间,人工神经网络以CAM方式工作;权矩阵又被称为网络的长期存储。 网络在正常工作阶段是以AM方式工作的;神经元的状态表示的模式为短期存储。,1.4 感知器,McCulloch 和Pitts 1943年,发表第一个系统的ANN研究阈值加权和(M-P)数学模型。,1.4 感知器,感知器的学习是有导师学习 基本思想:逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中的权矩阵,1.4 感知器,感知器训练算法 样本集:(X,Y)|Y为输入向量X对应的输出 输入向量:X=(x1,x2,xn) 理想输出向量
17、:Y=(y1,y2,ym) 激活函数:F 权矩阵W=(wij) 实际输出向量:O=(o1,o2,om),1.4 感知器,1.初始化权矩阵W; 2.重复下列过程,直到训练完成: 2.1 对每个样本(X,Y),重复如下过程: 2.1.1 输入X; 2.1.2 计算O=F(XW); 2.1.3 for j=1 to m do 执行如下操作: wij=wij+(yj-oj)xi,1.4 感知器,算法思想:将单输出感知器的处理逐个地用于多输出感知器输出层的每一个神经元的处理。 第1步,权矩阵的初始化:一系列小伪随机数。,1.4 感知器,第2步,循环控制。 方法1:循环次数控制法:对样本集执行规定次数的迭
18、代 改进分阶段迭代控制:设定一个基本的迭代次数N,每当训练完成N次迭代后,就给出一个中间结果,1.4 感知器,方法2:精度控制法:给定一个精度控制参数 精度度量:实际输出向量与理想输出向量的对应分量的差的绝对值之和; 实际输出向量与理想输出向量的欧氏距离的和 “死循环”:网络无法表示样本所代表的问题,1.4 感知器,方法3:综合控制法:将这两种方法结合起来使用 注意:精度参数的设置。根据实际问题选定;初始测试阶段,精度要求低,测试完成后,再给出实际的精度要求。,1.4 感知器,Minsky在1969年证明,有许多基本问题是感知器无法解决 问题线性可分性可能与时间有关 很难从样本数据集直接看出问
19、题是否线性可分,1.5 BP网络,网络的构成 神经元的网络输入: neti=x1w1i+x2w2i+xnwni 神经元的输出:,1.5 BP网络,应该将net的值尽量控制在收敛比较快的范围内 可以用其它的函数作为激活函数,只要该函数是处处可导的,1.5 BP网络,网络的拓扑结构,1.5 BP网络,BP网的结构 输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定 实验:增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。 BP网一般都选用二级网络。,1.5 BP网络,1.5 BP网络,训练过程概述 权初始化:“小随机数”与饱和状态;“不同”保证网络可以学。
20、 1、向前传播阶段: (1)从样本集中取一个样本(Xp,Yp),将Xp输入网络; (2)计算相应的实际输出Op: Op=Fl(F2(F1(XpW(1)W(2)W(L),1.5 BP网络,2、向后传播阶段误差传播阶段: (1)计算实际输出Op与相应的理想输出Yp的差; (2)按极小化误差的方式调整权矩阵。 (3)网络关于第p个样本的误差测度:,(4) 网络关于整个样本集的误差测度:,1.5 BP网络,误差传播分析 1、输出层权的调整,wpq= wpq+wpq wpq=qop =fn (netq)(yq-oq)op =oq(1-oq) (yq-oq)op,1.5 BP网络,2、隐藏层权的调整,1.
21、5 BP网络,pk-1的值和1k,2k,mk 有关 不妨认为pk-1 通过权wp1对1k做出贡献, 通过权wp2对2k做出贡献, 通过权wpm对mk做出贡献。 pk-1= fk-1(netp) (wp11k+ wp22k+ wpmm k),1.5 BP网络,vhp=vhp+vhp vhp=pk-1ohk-2 =fk-1(netp)(wp11k+wp22k+ wpmmk)ohk-2 =opk-1(1-opk-1)(wp11k+ wp22k+ wpmmk)ohk-2,1.5 BP网络,基本的BP算法(算法1) 样本集:S=(X1,Y1),(X2,Y2),(Xs,Ys) 基本思想 : 逐一地根据样本
22、集中的样本(Xk,Yk)计算出实际输出Ok和误差测度E1,对W(1) ,W(2) ,W(L)各做一次调整,重复这个循环,直到Ep。 用输出层的误差调整输出层权矩阵,并用此误差估计输出层的直接前导层的误差,再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计,并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程,1.5 BP网络,1 for k=1 to L do 1.1 初始化W(k); 2 初始化精度控制参数; 3 E=+1; 4 while E do 4.1 E=0;,1.5 BP网络,4.2 对S中的每一个样本(Xp,Y
23、p): 4.2.1 计算出Xp对应的实际输出Op; 4.2.2 计算出Ep; 4.2.3 E=E+Ep; 4.2.4 根据相应式子调整W(L); 4.2.5 k=L-1; 4.2.6 while k0 do 4.2.6.1 根据相应式子调整W(k); 4.2.6.2 k=k-1 4.3 E=E/2.0,1.5 BP网络,算法的改进 1、BP网络接受样本的顺序对训练结果有较大影响。它更“偏爱”较后出现的样本 2、给集中的样本安排一个适当的顺序,是非常困难的。 3、样本顺序影响结果的原因:“分别”、“依次” 4、用(X1,Y1),(X2,Y2),(Xs,Ys)的“总效果”修改W(1) ,W(2)
24、,W(L)。 w(k)ij=p w(k)ij,1.5 BP网络,消除样本顺序影响的BP算法(算法2) 1 for k=1 to L do 1.1 初始化W(k); 2 初始化精度控制参数; 3 E=+1; 4 while E do 4.1 E=0; 4.2 对所有的i,j,k: w (k)ij=0;,1.5 BP网络,4.3 对S中的每一个样本(Xp,Yp): 4.3.1 计算出Xp对应的实际输出Op; 4.3.2 计算出Ep; 4.3.3 E=E+Ep; 4.3.4 对所有i,j根据相应式子计算p w (L)ij; 4.3.5 对所有i,j: w (L)ij= w (L)ij+p w (L)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 遗传 算法 神经 退火 模糊
链接地址:https://www.31doc.com/p-2206526.html