第讲反馈网络.ppt
《第讲反馈网络.ppt》由会员分享,可在线阅读,更多相关《第讲反馈网络.ppt(42页珍藏版)》请在三一文库上搜索。
1、第07讲 反馈网络, 邹江,反馈网络(Recurrent Network),又称自联想记忆网络,其目的是为了设计一个网络,储存一组平衡点,使得当给网络一组初始值时,网络通过自行运行而最终收敛到这个设计的平衡点上。 1982年,美国加州工学院物理学家霍普菲尔德(JHopfield)发表了一篇对人工神经网络研究颇有影响的论文。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点: 第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动,网络系统总可以收敛到某一个稳定的平衡状态; 第二,系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。,在本章中,我们将集中讨
2、论反馈网络,通过网络神经元状态的变迁而最终稳定于平衡状态,得到联想存储或优化计算的结果。 在这里,着重关心的是网络的稳定性问题,研究的重点是怎样得到和利用稳定的反馈网络。 霍普菲尔德网络是单层对称全反馈网络,根据其激活函数的选取不同,可分为离散型的霍普菲尔德网络(Discrete Hopfield Neural Network,简称DHNN)和连续型的霍普菲尔德网络(Continuous Hopfield Neural Network,简称CHNN)。 DHNN的激活函数为二值型的,其输入、输出为0,1的反馈网络,主要用于联想记忆。 CHNN的激活函数的输入与输出之间的关系为连续可微的单调上升
3、函数,主要用于优化计算。,71 霍普菲尔德网络模型,图71 反馈网络结构图,在反馈网络中 如果其激活函数f()是一个二值型的硬函数,如图72所示,即aisgn(ni),il, 2, r,则称此网络为离散型反馈网络; 如果ai=f(ni)中的f()为一个连续单调上升的有界函数,这类网络被称为连续型反馈网络。图73中所示为一个具有饱和线性激活函数,它满足连续单调上升的有界函数的条件,常作为连续型的激活函数。,图72 DHNN中的激活函数 图73 CHNN中的激活函数,72 状态轨迹,设状态矢量N=n1, n2, ,nr,网络的输出矢量为Aa1,a2,asT , 在一个r维状态空间上,可以用一条轨迹
4、来描述状态变化情况。 从初始值N(t0)出发,N(t0+t)N(t0+2t)N(t0+mt),这些在空间上的点组成的确定轨迹,是演化过程中所有可能状态的集合,我们称这个状态空间为相空间。,图74 三维空间中的状态轨迹,对于DHNN,因为N(t)中每个值只可能为1,或0,1,对于确定的权值wij,其轨迹是跳跃的阶梯式,如图中A所示。 对于CHNN,因为f()是连续的,因而,其轨迹也是连续的。如图中B、C所示。,对于不同的连接权值wij和输入Pj(i, j=1, 2, r),反馈网络状态轨迹可能出现以下几种情况。 721 状态轨迹为稳定点 状态轨迹从系统在t0时状态的初值N(t0)开始,经过一定的
5、时间t(t0)后,到达N(t0+t)。如果N(t0+t+t)=N(t0+t),t0,则状态N(t0+t)称为网络的稳定点,或平衡点。 即反馈网络从任一初始态P(0)开始运动,若存在某一有限时刻t,从t以后的网络状态不再发生变化:P(t+t)= P(t),t0,则称该网络是稳定的。 处于稳定时的网络状态叫做稳定状态,又称为定吸引子。,在一个反馈网络中,存在很多稳定点,根据不同情况,这些稳定点可以分为: 1)渐近稳定点:如果在稳定点Ne周围的N()区域内,从任一个初始状态N(t0)出发的每个运动,当t时都收敛于Ne,则称Ne为渐近稳定点。 2)不稳定平衡点Nen:在某些特定的轨迹演化过程中,网络能
6、够到达稳定点Nen,但对于其它方向上的任意一个小的区域N(),不管N()取多么小,其轨迹在时间t以后总是偏离Nen; 3)网络的解:如果网络最后稳定到设计人员期望的稳定点,且该稳定点又是渐近稳定点,那么这个点称为网络的解; 4)网络的伪稳定点:网络最终稳定到一个渐近稳定点上,但这个稳定点不是网络设计所要求的解,这个稳定点为伪稳定点。,722 状态轨迹为极限环 如果在某些参数的情况下,状态N(t)的轨迹是一个圆,或一个环,状态N(t)沿着环重复旋转,永不停止,此时的输出A(t)也出现周期变化,即出现振荡,如图74中C的轨迹即是极限环出现的情形。 对于DHNN,轨迹变化可能在两种状态下来回跳动,其
7、极限环为2。如果在r种状态下循环变化,称其极限环为r。,723 混沌现象 如果状态N(t)的轨迹在某个确定的范围内运动,但既不重复,又不能停下来,状态变化为无穷多个,而轨迹也不能发散到无穷远,这种现象称为混沌(chaos)。 在出现混沌的情况下,系统输出变化为无穷多个,并且随时间推移不能趋向稳定,但又不发散。,724 状态轨迹发散 如果状态N(t)的轨迹随时间一直延伸到无穷远,此时状态发散,系统的输出也发散。 在人工神经网络中,由于输入、输出激活函数上一个有界函数,虽然状态N(t)是发散的,但其输出A(t)还是稳定的,而A(t)的稳定反过来又限制了状态的发散。 一般非线性人工神经网络中发散现象
8、是不会发生的,除非神经元的输入输出激活函数是线性的。,目前的人工神经网络是利用第一种情况即稳定的专门轨迹来解决某些问题的。 如果把系统的稳定点视做一个记忆的话,那么从初始状态朝这个稳定点移动的过程就是寻找该记忆的过程。 状态的初始值可以认为是给定的有关该记忆的部分信息,状态N(t)移动的过程,是从部分信息去寻找全部信息,这就是联想记忆的过程。 如果把系统的稳定点考虑为一个能量函数的极小点,在状态空间中,从初始状态N(t0)N(t0+t),最后到达N*。若N*为稳定点,则可以看作是N*把N(t0)吸引了过去,在N(t0)时能量比较大,而吸引到N*时能量已为极小了。,根据这个道理,可以把这个能量的
9、极小点作为一个优化目标函数的极小点,把状态变化的过程看成是优化某一个目标函数的过程。 因此反馈网络的状态移动的过程实际上是一种计算联想记忆或优化的过程。它的解并不需要真的去计算,只需要去形成一类反馈神经网络,适当地讨论其权重值wij,使其初始输入A(t0)向稳定吸引子状态的移动就可以达到这个目的。 霍普菲尔德网络是利用稳定吸引子来对信息进行储存的,利用从初始状态到稳定吸引子的运行过程来实现对信息的联想存取的。,通过对神经元之间的权和阈值的设计,要求单层的反馈网络达到下列目标: (1)网络系统能够达到稳定收敛 (2)网络的稳定点 (3)吸引域的设计,73 离散型霍普菲尔德网络(DHNN),731
10、 DHNN模型结构 其输出类似于MP神经元,可表示为:,在上式中,取b0,权矩阵中有wijwji,且取wii0。即DHNN采用对称联接。 因此,其网络结构可以用一个加权元向量图表示。,图75 霍普菲尔德网络图,由图75(a),考虑到DHNN的权值特性wijwji,网络各节点加权输入和分别为:,对于以符号函数为激活函数的网络,网络的方程可写为:,732 联想记忆,联想记忆功能是DHNN的一个重要应用范围。要想实现联想记忆,反馈网络必须具有两个基本条件: 网络能收敛到稳定的平衡状态,并以其作为样本的记忆信息; 具有回忆能力,能够从某一残缺的信息回忆起所属的完整的记忆信息。,DHNN实现联想记忆的过
11、程分为两个阶段:学习记忆阶段和联想回忆阶段。 在学习记忆阶段中,设计者通过某一设计方法确定一组合适的权值,使网络记忆期望的稳定平衡点。 联想回忆阶段则是网络的工作过程。 反馈网络有两种基本的工作方式:串行异步和并行同步方式。 1)串行异步方式: 2)并行同步方式:,在状态更新过程中,包括三种情况:由-1变为1;由1变为-1及状态保持不变。 在任一时刻,网络中只有一个神经元被选择进行状态更新或保持,所以异步状态更新的网络从某一初态开始需经过多次更新状态后才可以达到某种稳态。 这种更新方式的特点是: 实现上容易,每个神经元有自己的状态更新时刻,不需要同步机制; 功能上的串行状态更新可以限制网络的输
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 反馈 网络
链接地址:https://www.31doc.com/p-2573923.html