基于一种三层结构反馈过程神经元网络的探讨.doc
《基于一种三层结构反馈过程神经元网络的探讨.doc》由会员分享,可在线阅读,更多相关《基于一种三层结构反馈过程神经元网络的探讨.doc(6页珍藏版)》请在三一文库上搜索。
1、精品论文基于一种三层结构反馈过程神经元网络的探讨石光伟 辽宁工程技术大学理学院,辽宁阜新(123000) E-mail: shiguangwei_摘要:反馈神经元网络是一种在联想记忆存取和优化计算等方面取得较好应用的人工神经元网络模型。传统的反馈神经元网络模型一般是非时变输入的,然而,生物神经组织在进行 信息处理时,实际上是带有延时信息反馈并且外部信号的输入要持续一段时间过程,其当前输出不但依赖于当前的输入,而且依赖于在这之前所有输入的累积,即所谓时间累计效应。反馈过程神经元网络就是一种带有信息反馈的过程神经元网络模型,各神经元节点之间按系 统的信息流向进行连接,信息可按照一定规则向网络前面各
2、层的节点反传,且可对节点自身反馈输出信息。本文探讨一种三层结构的网络模型,给出该模型的具体学习算法,并对模型 的稳定性进行分析。关键字:反馈过程;阈值;时间延迟;稳定性;神经元网络1. 网络结构本文构建的多输入单输出三层结构的反馈过程神经元网络结构模型和信息传递流程1, 如图 1.- 6 -x1 (t ) ji (t ) ij (t ),f 1 (t ) j (t ) x2 (t ) .,f. 2 (t ),gyxn (t ) ,f m (t )图 1 一种三层结构的反馈过程神经元网络输入层有 n 个节点单元,用于完成对系统 n 个时变信号的输入和隐层节点输出信号的延 时反馈;中间层(隐层)有
3、 m 个节点,用于完成输入信号的空间加权聚合及激励输出,并 将输出信号传递到输出层,同时延时反馈到输出层;输出层由一个过程神经元节点构成,用 于完成隐层节点输出信号的空间加权聚合和时间累积运算,以及系统输出。设系统输入为 X (t ) = (x1 (t ), x2 (t ),L xn (t ), t 0, T , 0,T 为系统输入过程区间。过程神经元隐层节点输出为 n m j (t ) =f ij (t ) xi (t ) + ji (t ) j (t ) ,j = 1.2,L, m(1.1) i =1 j =1 式中,ij (t ) 为输入层第i 个节点与隐层第 j 个节点的连接权函数;
4、ji (t ) 为隐层第 j 个节点与输入层第i 个节点的反馈连接权函数; j (t ) 为隐层第 j 个节点在 t 时刻的信号输出;为时间延迟; f 为隐层过程神经元的激励函数。由图 1 可见,反馈过程神经元网络的输出为 T my = g j (t ) j (t )dt (1.2) 0 j =1 式中 j (t ) 为隐层第 j 个节点与输出节点的连接权函数; 为输出层过程神经元的激励阈值;g 为输出节点的激励函数; y 为网络输出。2. 学习算法给定 P 个学习样本 (xp1 (t ), x p 2(t ),L, x pm(t ), d p ),p = 1,2,L, P 。其中, x pi
5、(t ) 的第 1小标表示学习样本序号,第 2 下标表示输入函数向量分量序号; d p 是当输入为 (x p1 (t ),x p 2(t ),L, x pn(t )时系统的期望输出。设系统输入为 (x义为p1 (t ), x p 2(t ),L , x pm(t ) 时,网络的实际输出为 y ,网络误差函数定P2P T mp2E = (y p d p )= g j (t ) j (t )dt d p (2.1)p =1p =1 0 j =1p不失一般性,设反馈过程神经元网络的输入空间为 (C0,T )n, b1 (t ), b2(t),LbL (t )为(C0, T )中一组能满足输入函数拟合
6、精度要求的有限项基函数,将网络连接权函数 j (t ) ,ij (t ) , ji (t ) 均表示为改组基函数的展开形式,L (t ) = (l )b (t ) (2.2)jjll =1L (t ) = (l )b (t ) (2.3)ijl =1Lijl (t ) = (l )b (t ) (2.4) (l )jil =1ji l j ,ij和 ji 分别为 j (t ) ,ij (t ) , ji (t ) 关于 bl (t ) 的展开式系数。式中, (l )(l )将输入过程区间0,T 进行适当的 K 等分(时间粒度),设时间分割点为 t0 , t1 ,L, t k ,相邻分割点间时间
7、间隔为 ,则式(1.2)可改写为 K my = g j (t k ) j (t k )(tk t k 1 ) (2.5) k =0 j =1 式中, t0 = 0, t K = T 。式(2.2)式(2.4)可改写为 (tL) = (l )b (t )(2.6)j kjl kl =1L (t) = (l )b (t )(2.7)ij kijl kl =1L (t) = (l )b (t )(2.8)ji kl =1ji l k代入式(2.1)中,则网络误差函数变为PE = (y pp =1P2 d p )K mLnLmL (l )=( g ( (l )b (t)( f ( (l ) b (t)
8、(x(t ) +(w jib (t ) jl k ijlkpik lkp =1k =0 j =1l =1i =1l =1j =1l =1j p (tk 12)(tk tk 1) ) d p )(2.9)梯度下降算法的网络连接权值和激励阈值修正规则为(l )(l )(l )jm j = j+ j ,= 1,2,L,(2.10)(l )(l )(l )in jmij (l )= ij (l )+ ij , (l )= 1,2,L ;= 1,2,L(2.11) ji= ji + ji ,j = 1,2,L m; i = 1,2,L, n(2.12) = + 这里, , , , 为学习效率常数。记(2
9、.13)PK mLnLmL (l )z (1) = ( g ( ( (l )b (t)( f ( ( (l ) b (t)( x(t ) + ( w jib (t )pp =1pk =0 j =1jl kl =1i =1ijlkl =1pikj =1lkl =1 j (tk 1 )(tk tk 1 ) nLmL (l )(1) = ( (l )( )( ) + (ji( ) p ()o pjki =1l =1ij bl t kx pi tkj =1wl =1bl tkj tk 1则j (l ) = EP= 2 g (z (1) d)g (z (1) )b (t) f (o (1) )(t t
10、(2.14)j (l ) ppp =1 p l k)Kk =1pjkkk 1ij (l ) = E(l ) ij= 2Ppp =1(g (z (1) ) d)g (z (1) )(2.15)K v (t)f (o (1) )b (t mpp(t ) + (t p (t)(t t (l )j kk =1pjklPkpj k) xj =1ji kjKk 1 kk 1 = E= 2(g (z (1) ) d)g (z (1) ) (t )ji (l ) ji f (o (1) )p =1(t )b (tp)u P (tp)(tp j lk =1 t)(2.16)pjkij kl kjk 1 kk 1
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 一种 三层 结构 反馈 过程 神经元 网络 探讨
链接地址:https://www.31doc.com/p-3626220.html