反馈网络.ppt
《反馈网络.ppt》由会员分享,可在线阅读,更多相关《反馈网络.ppt(50页珍藏版)》请在三一文库上搜索。
1、人工神经网络及应用,主讲 何东健,第七章 反馈网络,反馈网络(Recurrent Network),又称自联想记忆网络,其目的是:设计一个网 络,储存一组平衡点,使得当给网络一组初始值时,网络通过自行运行而最终收敛到这个设计的平衡点上。 1982年,美国加州工学院物理学家J.Hopfield提出了一种具有相互联接的反馈型人工神经网络模型,并引入 “能量函数”的概念,给出了网络的稳定性判据,并用来进行约束优化问题,如TSP问题的求解,实现AD转换等。,他利用多元霍普菲尔德网 络的多吸引子及其吸引域,实现了信息的联想记忆(associahve memory)功能。另外霍普菲尔德网络与电子模拟线路之
2、间存在着明显的对应关系,使得该网络易于理解且便于实现。而它所执行的运算在本质上不同于布尔代数运算,对新一代电子神经计算机具有很大的吸引力。,反馈网络表现出非线性动力学系统的动态特性。主要特性为以下两点: 第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动,网络系统总可以收敛到某一个稳定的平衡状态; 第二,系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 如果将反馈网络稳定的平衡状态作为一种记忆,那么当网络由任一初始状态向稳态的转化过程,实质上是一种寻找记忆的过程。网络所具有的稳定平衡点是实现联想记忆的基础。,所以对反馈网络的设计和应用必须建立在对其系统所具有的动力学特性理
3、解的基础上,这其中包括 网络的稳定性, 稳定的平衡状态 判定其稳定的能量函数 等基本概念。 Hopfield 网络为反馈网络。,本章着重网络的稳定性问题,重点是怎样得到和利用稳定的反馈网络。 霍普菲尔德网络是单层对称全反馈网络,根据其激活函数的选取不同,可分为离散型的霍普菲尔德网络 (Discrete Hopfield Neural Network,简称DHNN)和连续型的霍普菲尔德网络(Continuous Hopfield Neural Network,简称CHNN)。 DHNN的激活函数为二值型的,其输入、输出为 10,11的反馈网络,主要用于联想记忆。,CHNN的激活函数为连续可微的单
4、调上升函数,主要用于优化计算。 霍普菲尔德网络具体的应用: 图像处理、语声处理、信号处理、数据查询、容错计算、模式分类、模式识别等。 本章主要介绍DHNN。,6.1 霍普菲尔德网络模型,该网络为单层全反馈网络,其中的每个神经元的输出都是与其他神经元的输入相连的。所以其输入数目与输出层神经元的数目是相等的,有r=s。 在反馈网络中,如果其激活函数f(.)是一个二值型的硬限幅函数aisgn(ni), i1,2.r,则称此网络为离散型反馈网络;如果f(.)为一个 连续函数,这类网络被称为连续型反馈网络,图中为伪线性激活函数,它满足连续单调上升的有界函数的条件,常作为连续型的激活函数。,6.2状态轨迹
5、 一个r个神经元的反馈网络,若将加权输入和n视作网络的状态,则状态矢量Nn1,n2,.,nrT,网络的输出矢量为Aa1,a2,as T 。在某一时刻,分别用N(t),A(t)来表示各自的矢量。在下一时刻t+1,可得到N(t+1), 而N(t+1)又引起A(t+1) 的变化,这种反馈演化的过程,使状态矢量N(t)随时间发生变化。在一个r维状态空间上, 可以用一条轨迹来描述状态变化情况。从初始值N(t0)出发, N(t0+ t) N(t0+2t ) N(t0+mt ),这些在空间上的点组成的确定轨迹,是演化过程中所有可能状态的集合, 称这个状态空间为相空间。,对于不同的连接权值wij和输入Pj(i
6、,j=1,2,.,r),反馈网络状态轨迹可能出现以下几情况。,下图描述了一个三维相空间上三条不同的轨迹,对于 DHNN,因为N(t)中每个值只可能为1,或0,1,对于确定的权值wij,其轨迹是跳跃的阶梯式,如图中A所示,对于CHNN,因为f()是连续的,因而,其轨迹也是连续的。 如图中B、C所示。,6.2.1 状态轨迹为稳定点 状态轨迹从系统在t0时的初值N(t0)开始,经过一定的时间t(t0)后,到达N(t0+t)。 如果N(t0+t+t)= N(t0+t),t0,则状态N(t0+t)称为网络的稳定点,或平衡点。 由于N(t0+t)不再变化,对于P0 (t0+t)也达到了稳定值。即反馈网络从
7、任一初始态P(0)开始运动,若存在某一有限时刻t,从t以后的网络状态不再发生变化: P (t0+t) P (t), t0, 则称该网络是稳定的。 处于稳定时的网络状态叫做稳定状态,又称为定吸引子。,对于非线性系统来说,不同的初始值N(t0),可能有不同的轨迹,到达不同的稳定点, 这些稳定点也可以认为是人工神经网络的解。在一个反馈网络中,存在很多稳定点,根据不同情况,这些稳定点可以分为: 1)渐近稳定点 如果在稳定点Ne周围的N ()区域内,从任一个初始状态N(t0)出发的每个运动,当t时都收敛于Ne,则称Ne为渐近稳定点。此时,不仅存在一个稳定点 Ne,而且存在一个稳定域。称此稳定点为吸引子,
8、其对应的稳定域为吸引域;,2)不稳定平衡点Nen 在某些特定的轨迹演化过程中,网络能够到达稳定点Nen,但对于其它方向上的任意一个小的区域N(),不管N() 取多么小,其轨迹在时间t以后总是偏离Nen; 3)网络的解 如果网络最后稳定到设计人员期望的稳定点,且该稳定点又是渐近稳定点,那么这个点称为网络的解; 4)网络的伪稳定点 网络最终稳定到一个渐近稳定点上,但这个稳定点不是网络设计所要求的解,这个稳定点为伪稳定点。,网络设计的目的: 是希望网络最终收敛到所要求的稳定点上,并且还要有一定的稳定域。 6.2.2 状态轨迹为极限环 如果在某些参数的情况下,状态N(t)的轨迹是一个圆,或一个环,状态
9、N(t)沿着环重复旋转,永不停止,此时的输出A(t)也出现周期变化,即出现振荡,如图中C的轨迹即是极限环出现的情形。对于DHNN,轨迹变化可能在两种状态下来回跳动,其极限环为 2。如果在r种状态下循环变化,称其极限环为r。,6.2.3 混沌现象 如果状态N(t)的轨迹在某个确定的范围内运动,但既不重复,又不能停下来,状态变化为无穷多个,而轨迹也不能发散到无穷远,这种现象称为混沌(chaos)。 在出现混沌的情况下,系统输出变化为无穷多个,并且随时间推移不能趋向稳定,但又不发散。这种现象越来越引起人们的重视,因为在脑电波的测试中已发现这种现象,而在真正的神经网络中存在这种现象,也应在人工神经网络
10、中加以考虑。,6.2.4 状态轨迹发散 如果状态N(t)的轨迹随时间一直延伸到无穷远,此时状态发散,系统的输出也发散。 在人工神经网络中,由于输入、输出激活函数是一个有界函数,虽然状态N(t)是发散的, 但其输出A(t)还是稳定的,而N(t)的稳定反过来又限制了状态的发散。一般非线性人工神经网络中发散现象是不会发生的,除非神经元的输入输出激活函数是线性的。,人工神经网络是利用第一种情况即稳定的状态轨迹来解决某些问题的。 (1)联想记忆 如果把系统的稳定点视做一个记忆的话,那么从初始状态朝这个稳定点移动的过程就是寻找该记忆的过程。 状态的初始值可以认为是给定的有关该记忆的部分信息,状态N(t)移
11、动的过程, 是从部分信息去寻找全部信息,这就是联想记忆的过程。,(2)优化求解 如果把系统的稳定点考虑为一个能量函数的极小点,在状态空间中,从初始状态N(t0) 最后到达N*。 若N*为稳定点,则可以看作是N*把N(t0)吸引了过去,在N(t0)时能量比较大,而吸引到N*时能量已为极小了。 据此,可把这个能量的极小点作为一个优化目标函数的极小点, 把状态变化的过程看成是优化某一个目标函数的过程。 网络的解并不需要真的去计算,只需要去形成一类反馈神经网络,适当地确定其权重值wij,使其初始输入A(t0)向稳定吸引子状态的移动就可以达到这个目的。,反馈网络设计应考虑的问题: (1)网络系统能否达到
12、稳定收敛 即研究系统在什么条件下不会出现振荡和混钝现象。 (2)网络的稳定点 一个非线性网络可有多个稳定点,对权值的设计,要求其中的某些稳定点是所要求的解。 对于用做联想记忆的反馈型网络,希望稳定点就是一个记忆,那么记忆容量就与 稳定点的数量有关,希望记忆的量越大,稳定点的数目也越大,但稳定点数目的增加可能会引起吸引域的减小,从而使联想功能减弱。 用于优化的网络,由于目标函数(即系统能量函数)往往要求一个全局最小。那么稳定点越多,陷入局部最小的可能性就越大,因而要求系统的稳定点越少越好。,(3)吸引域的设计 希望的稳定点有尽可能大的吸引域; 非希望的稳定点的吸引域要尽可能的小。 因为状态空间是
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 反馈 网络
链接地址:https://www.31doc.com/p-2572600.html