《基于分布式并行计算的神经网络算法.pdf》由会员分享,可在线阅读,更多相关《基于分布式并行计算的神经网络算法.pdf(6页珍藏版)》请在三一文库上搜索。
1、第3 2 卷第2 期系统工程与电子技术V 0 1 3 2N o 2 2 0 1 0 年2 月S y s t e m sE n g i n e e r i n ga n dE l e c t r o n i c s F e b r u a r y2 0 1 0 文章编号:1 0 0 1 - 5 0 6 X ( 2 0 1 0 ) 0 2 0 3 8 6 0 6 基于分布式并行计算的神经网络算法 张代远1 2 ( 1 南京邮电大学计算机学院,江苏南京2 1 0 0 0 3 ; ( 2 南京邮电大学计算机技术研究所,江苏南京2 1 0 0 0 3 ) 摘要:为了提高计算性能( 速度与可扩展性) ,提
2、出了一种新颖的神经网络的并行计算体系结构和计算网络 权函数的训练算法。权函数是广义C h e b y s h e v 多项式和线性函数的复合函数,只需要通过代数计算就可以求得, 不需要梯度下降计算或者矩阵计算。各个权函数能够独立求解,可以通过并行系统采用并行算法计算。算法可 以求得全局最优点,得到反映网络误差的一个有用的表达式。此外,算法在不超过权函数总数的范围内,还具有 维持加速比与并行系统中提供的处理器的数量成线性增长的能力。仿真实验结果表明,本文算法的计算性能远 远优于传统算法。 关键词:神经网络;并行计算;权函数;C h e b y s h e v 多项式;可扩展性 中图分类号:T P
3、1 8 3 ;T P3 0 1文献标志码:A T r a i n i n ga l g o r i t h mf o rn e u r a ln e t w o r k sb a s e do n d i s t r i b u t e dp a r a l l e lc a l c u l a t i o n Z H A N GD a i y u a n l 2 ( I C o l l o fC o m p u t e r ,N a n j i n gU n i v o fP o s t sa n dT e l e c o m m u n i c a t i o n s ,N a n j i
4、 n g2 1 0 0 0 3 ,C h i n a ; ( 2 I n s t o f C o m p u t e rT e c h n o l o g y ,N a n j i n gU n i v o f P o s t sa n dT e l e c o m m u n i c a t i o n s ,N a n j i n g2 1 0 0 0 3 ,C h i n a ) A b s t r a c t :T oi m p r o v ec o m p u t i n gp e r f o r m a n c e ( s p e e da n ds c a l a b i l i
5、 t y ) ,a ni n n o v a t i v ep a r a l l e lc o m p u t a t i o n a r c h i t e c t u r ea n dat r a i n i n ga l g o r i t h mf o rn e u r a ln e t w o r k sa r ep r o p o s e d E a c hw e i g h tf u n c t i o ni sac o m p o s i t e f u n c t i o no fag e n e r a l i z e dC h e b y s h e vp o l y
6、n o m i a la n dal i n e a rf u n c t i o n 。o n l ya l g e b r a i cc a l c u l a t i o ni sn e e d e d ,a n d n or e q u i r e m e n ti si n v o l v e df o rt h ec a l c u l a t i o ns u c ha st h es t e e p e s td e s c e n t l i k ea l g o r i t h m so rm a t r i xc a l c u l a t i o n T h ew e
7、i g h tf u n c t i o n sa r ef o u n di n d e p e n d e n t l y ,t h e r e f o r et h e ya r ec a l c u l a t e db yu s i n gap a r a l l e la l g o r i t h mi na p a r a l l e ls y s t e m T h ea l g o r i t h mi s u s e dt Of i n dt h eg l o b a lm i n i m u m Au s e f u le x p r e s s i o ni so b
8、 t a i n e df o rt h e a p p r o x i m a t ee r r o ro ft h en e t w o r k s T h es c a l a b i l i t yo ft h ea l g o r i t h mi sd e s c r i b e da st h ea b i l i t yt om a i n t a i nl i n e a r p r o p o r t i o no fs p e e d u pt ot h en u m b e ro fp r o c e s s o r sa v a i l a b l ei nt h e
9、p a r a l l e ls y s t e mw i t h i nt h et o t a ln u m b e ro f w e i g h tf u n c t i o n s T h er e s u l t ss h o wt h a tt h ec o m p u t i n gp e r f o r m a n c ep r o p o s e di sm u c hb e t t e rt h a nt h a to b t a i n e d w i t ht r a d i t i o n a lm e t h o d s K e y w o r d s :n e u
10、 r a ln e t w o r k s ;p a r a l l e lc o m p u t a t i o nw e i g h tf u n c t i o n s ;C h e b y s h e vp o l y n o m i a l s ;s c a l a b i l i t y 0 引言 传统算法如误差反向传播( e r r o rb a c kp r o p a g a t i o n , B P ) 算法、径向基函数( r a d i c a lb a s i sf u n c t i o n ,R B F ) 算法、支 持向量机( s u p p o r tv e
11、c t o rm a c h i n e ,S V M ) 算法都存在以下 共同的缺点:各个权值不能独立求解( 至少不能彼此完全独 立地求解) ,因此难以应用并行计算技术;计算复杂,采用最 优化方法( 如B P 算法常采用梯度下降类算法) ,或者要进行 矩阵计算( 如R B F 算法和S V M 算法的计算过程) ,因此其 计算工作量大,速度慢。不仅如此,传统算法在寻求全局最 优解以及泛化能力的分析方面也都遇到了很多困难。 一些学者从不同的角度进行了研究。例如分层优化算 法 1 ,这是一类罚函数方法,它从整体上考虑对权值的优 化,难以并行化,也没有摆脱梯度下降思想的束缚。二阶算 法一利用了二阶
12、导数的信息,要计算H e s s i a n 矩阵,其计算 复杂。而且工作量大,同样难以并行化,仍然是一类优化算 收藕日期:2 0 0 8 1 2 0 3 ;修回日期:2 0 0 9 0 5 一0 9 。 作者简介:张代远( 1 9 5 7 一) ,男。教授。主要研究方向为神经网络、蚁群算法、计算机体系结构和并行计算。E - m a i l :d y z h a n g n j u p t e d u e r l 万方数据 第2 期张代远:基于分布式并行计算的神绎网络算法 3 8 7 一_ _ _ _ - - 法。文献 3 引入了样条函数神经网络的概念,但是需要进 行矩阵计算。S V M 算法
13、n 。同样需要求解线性方程组,也要 进行优化计算。一般而言,求线性方程组的时间复杂度大 约是0 ( N 3 ) ,要花费较多的计算时间,而梯度下降类算法难 以避免局部极小、收敛速度慢等困难。这些传统算法的并 行度都比较差,因此需要寻找一种能克服以上缺点的方法, 本文的理论和方法正是在这样的背景之下提出的。 本文提出了由广义C h e b y s h e v 多项式构成的神经网络 及其训练算法。与传统算法的很大不同之处在于本文提出 的算法训练的是神经网络的权函数,每个权函数是以与它 相连的输入结点为自变量的一元函数,而不是传统算法得 到的常数,它是广义C h e b y s h e v 多项式和
14、线性变换函数的 复合函数。各个权函数可以并行求解,每个权函数的计算 非常简单( 无须像传统算法那样,需要计算矩阵或采用梯度 下降类的最优化数学方法) ,只需要简单的代数计算。其时 间复杂度为0 ( N ) ,因此本文算法速度很快,远远快于传统 算法。另一个很重要的方面是网络的各个权函数彼此独 立,可以并行计算,这进一步增加了提高运算速地的潜力, 对于大规模问题的求解或实时性要求高的应用场合提供了 理论依据。此外,本文提出的理论和方法能够求得全局最 优解,并且具有很好的泛化能力。另外,本文提出了分布式 并行计算的体系结构,可以实现本文提出的理论与方法,同 时具备很好的可扩展性。最后给出了仿真实例
15、,很好地验 证了本文理论结果的正确性。 l 能够独立计算权函数的神经网络拓扑 结构 首先需要寻找这样一种网络结构,使其能够独立训练 网络的权值,以便并行系统能够有效工作。本文提出的理 论需要利用被训练问题的C h e b y s h e v 多项式的0 点( 也称 为C h e b y s h e v 结点) 处的目标值。显然,需要选择的样本点 就是C h e b y s h e v 结点和对应的目标值。以下为了讨论方 便将C h e b y s h e v 结点和对应的目标值称为C h e b y s h e v 样 本点或者简称为C h e b y s h e v 样本。 神经网络的具体结
16、构如下:输入层直接和神经元相连, 假设每一个输入样本向量是m 维,则输入端有m 个结点, 其第i 维对应的输入变量记为z ,( i = 1 ,2 ,优) 。每个输 入端结点通过连接权前馈连接到所有神经元的输入端。不 失一般性,首先假设每一个输出样本向量是1 维,则输出端 有1 个结点,它将神经元的运算结果直接输出。如图1 所 示。神经网络的一般结构如图2 所示。为了简单。图2 中省 略了五与Y ,之间的变换函数。显然,在图2 所示的网络结 构中,其每一个输出结点与图1 的结构相同,因此只要将图 1 所示的网络研究清楚,其结果就可以直接应用到图2 所 图2 输入层有m 个结点、输出层有“ 个结点
17、的神经网络结构 在图1 中,2 表示输出层神经元所对应的目标值憾表 示输出层神经元所对应的网络的实际输出,Y ,表示权函数 的实际输出,Y ,表示目标输出与一个常数因子的乘积( 见后 面的讨论) 。圆圈中的N 表示神经元,与传统方法不同,它 由加法器构成。各个量之间的关系如下 U i = l f ( z f ) ( 1 ) 卫,= F ( U ,) ( 2 ) = ( 3 ) f 一1 在式( 1 ) 和式( 2 ) 中,Z ,( 2 7 。) 是线性变换函数,f ( U 。) 是 广义C h e b y s h e v 多项式。选择广义C h e b y s h e v 多项式的原 因,是为
18、了利用它的优良的逼近能力和计算的简单性,见后 面的论述。 为了能将神经元N 的r 2 个输入量求和之后能够得到 事先给定的目标样本,这里引入如下的分配系数吼,使得 Y ,= 琅z ( 4 ) 式中 孕= 1 ,0 7 , l ( 5 ) l 一1 因此,根据式( 3 ) 式( 5 ) 可知,若每一个y ,都能够有 效逼近y ;,则z ,就能够很好地逼近z 。 对于某一个结点( 见图1 ) ,y ,是z ,的一元函数,称为权 函数,它是广义C h e b y s h e v 多项式和一个线性函数的复合 函数。显然,本文提出的权函数与传统算法的常数权完全 不同。 万方数据 3 8 8 系统工程与电
19、子技术第3 2 卷 2 广义C h e b y s h e v 多项式权函数神经网络的 训练算法原理 由于求得每一个权函数的过程是相似的,为了以下数 学推导的方便,将图1 中反映输入结点的下标去掉。 式( 1 ) 的线性变换函数( 去掉下标) 是 “= 妇) = 士( 2 工- - a m 6 ) ( 6 ) 式( 6 ) 的意义是将区间z 口,6 变换到U 一1 ,1 , 以便于使用C h e b y s h e v 多项式。 选择向量系 瓦= ( T 0 ( 瓦1 )T 0 ( 瓦2 ) T 0 ( 缸8 ) ) 7 = ( 11 1 ) 7 l T l = ( T l ( 订1 ) T
20、1 ( “2 ) T l ( 玩) ) 7 卜 I 一,= ( L 一一( 打- ) B 一( uz ) L 一( 都) ) 1 ( 7 ) 式中,L ( “) 为女次C h e b y s h e v 多项式,其定义为 jL ( “) 一c 。s ( 鼬c c 。s ( 圳,志一1 2 ,卢一1 ( 8 ) = a = l 丁f ( 死) L ( 瓦) 2 2 , i = j o 【p ,i = j = 0 ( 1 1 ) 于是,向量系( 7 ) 满足 ( 瓦。r = 0 ,i j ( 1 2 ) 也就是说向量系( 7 ) 关于点集( 见式( 1 0 ) ) 为一正交函 数系。令 厅= 厅。
21、) :l ( 1 3 ) 假设与式( 1 3 ) 的厅。相对应的目标值为歹。( 口= 1 ,2 , 口) ,即 ,= 夕。) :。一 彬。) :;。 ( 1 4 ) 由式( 1 3 ) 和式( 1 4 ) 构成的插值点称为C h e b y s h e v 样 本,记为 助= ( 打。,执) :1 一 ( 疗。,刁i 。) :;l ( 1 5 ) 此时,法方程组有如下形式 T n = 五( 1 6 ) 式中 T = d i a g ( p - I 霄( 刚善T ;( u p ) 蚤耳_ l ( ) 口= ( a g4 7 p口 6 一f 了p T 。( 丽p ) 西丁。( 打,) 、p 一1口
22、= 1 根据式( 1 1 ) 和式( 1 6 ) 可以求得 猷= 等等= 2 七一 百乙M 【“p rp ,1 1 一,一 百厶弗o t “p Pp 一1 舌喜 吉砉 栌,L ( 4 ) 矿一L ( 如) ( 1 7 ) 于是得到最佳平方逼近意义下的广义C h e b y s h e v 多项 式为 邕 驴。( “) = T ( “) 22 二丑? 1 ( “) ( 1 8 ) = n 可见,本文提出的理论和方法主要是计算式( 1 7 ) ,它是 代数计算其时间复杂度为0 ( 口) ,因此速度很快。有些传 统算法( 如R B F 算法、S V M 算法) 需要求解线性方程组,求 解线性方程组的
23、时间复杂度为O ( 口。) ,2 o ,若以下表达式成立 F :JE P = 忆一毛峨= o ,J D ,( 2 0 ) E 丁= 0z z ;e ,工D , 则称该网络是关于样本( z ,2 ) 在范数| | 牝意义下,具有误 差不超过E 的泛化能力,或简称为具有E 一泛化能力。 为了讨论方便,引入以下函数 T 、I-, P 一吖 一 F r y , 一 一 = = “ ,f1【 万方数据 第2 期张代远:基于分布式并行计算的神经网络算法 拭= 筑( “。) = Y f Y d = r i z ( “。) 一T 。( “。) ( 2 1 ) ;( U l ,U 2 ,“。) = 互z J =
24、 ( 孕z ( “。) 一T ( 蚴) ) = a ( U i ) ( 2 2 ) 引理1 对于图1 所示的网络,有 E T = 0 雌m 2 m a xI I 区( U ;) ( 2 3 ) 证明显然有 E T = l I | J ;= = + 2 ( 文,挽 ”1 :丢 利用C a u c h y - S c h w a r z 不等式,有 E T = I | | l ;I lal l ;+ 2 ( | | 或 | :0 瓯I l 。) = 严1 :三: f | | 8 i m 2 m a x ( 峨) ( 2 4 ) 、t l, 证毕 假设z ( 玑) C 一1 ,1 ( 符号c 一1
25、,1 表示在区间 U , 一1 ,1 上所有连续函数的集合) ,则显然有咕z ( “,) C 一1 ,1 。 定理2 设z ( u i ) C 一1 ,1 ,且z ( “,) 的口阶导数在 U ,( 一1 ,1 ) 存在且连续,则对于任意给定的 0 ,图1 所 示的网络经过训练后具备f 泛化能力,即能够满足式( 2 0 ) 。 证明 由于广义C h e b y s h e v 多项式( 1 8 ) 是卢一1 次多 项式,根据定理1 知道,广义C h e b y s h e v 多项式( 1 8 ) 精确通 过C h e b y s h e v 样本。由式( 1 0 ) 知道,口个C h e b
26、 y s h e v 多项式 的0 点是彼此不同的,因此通过这口个插值点的多项式是 唯一的,其余项为 a ( 1 , ) 5 孕z ( Uz ) 一T ) 一嚣扩( ) 州U i ) ( 2 5 ) 式中 娜( U 。) = ( U 。一面1 ) ( U i 一厅2 ) ( U i 一都) ( 2 6 ) m i n U f ,疗1 ,牙2 ,牙F ) o ,必然存在一个正整数y ,使得当口 ) ,时,式 ( 3 3 ) 的右端小于e 。 定理1 和定理2 是非常重要的。这两个定理说明本文 提出的神经网络结构和算法不仅可以精确回想起训练( 学 习) 过的样本,而且还具有e 一泛化能力。这些优点
27、是传统 算法所不具备的。 4 分布式并行计算体系结构 显然,能够进行并行计算的前提是除了系统可以提 供多个能够彼此完全独立工作的处理器以外,还必须将 待求解的问题本身分解成彼此不相关的若干个独立计 算部分。传统算法( 如B P 、R B F 、S V M 等算法) 通常不能 将各个权独立分开( 至少不能完全独立分开) ,因此很难 并行计算,至少不能充分并行计算。根据前面的理论可 知,在本文算法中,初始化后( 即得到C h e b y s h e v 样本 后) ,就可以独立计算各个广义C h e b y s h e v 多项式,因此 可以充分并行计算,这正是本文提出分布式并行计算体 系结构的前
28、提。 本文算法主要是计算式( 1 7 ) 、式( 1 0 ) 和式( 8 ) ( 事实上 式( 1 0 ) 和式( 8 ) 可以事先计算好存储在本地存储器中,故 真正要计算的只有式( 1 7 ) ) ,它是代数计算,因此速度 很快。 为了进一步加快计算速度,本文引入了并行计算机 制。从图2 ( 或图1 ) 可以看出,只要输入输出的样本给定, 就可以根据式( 1 7 ) ,独立计算各个广义C h e b y s h e v 多项 式,因此各个权函数可以并行计算( 以下简称为本文的并 行算法) 。采用并行计算技术可以进一步节约计算时间, 基于以上考虑,本文提出了分布式并行计算体系结构,如 图3 所
29、示。其工作过程如下:P ,表示第i 个处理器( i = 1 , 2 ,p ) ;M 表示处理器P 。的本地存储器,用于存储原始 样本数据。初始化后( 即得到C h e b y s h e v 样本后) ,每个处 理器P 。就可以独立计算C h e b y s h e v 多项式,计算后的结果 通过互联网络传送到对应的L 。,神经网络就可以利用得 到的结果进行工作。 万方数据 3 9 0 系统T 程与电子技术第3 2 卷 幸中幸 幸 I 互联网络 图3 分布式并行计算体系结构 加速比是描述并行系统的重要指标。加速比定义为串 行算法所使用的时间t 除以并行算法所使用的时间丁, 当不考虑通信开销时,
30、加速比为 s2 毒2 南 , 当考虑通信开销时,加速比会比式( 3 4 ) 计算的结果略小一 些,这取决于本地存储器的访问速度和互联网络的结构和 通信质量。 互联网络的拓扑结构一直是国际上的研究热点,因为 它直接影响通信开销。人们已提出了多种互联网络拓扑结 构,其中超立方体是最流行、使用最广泛的互联网络拓扑结 构之一。由于它并不是各方面拓扑性质最好的互联网络, 人们开展了交叉立方体网络的研究。文献 5 首次提出了 交叉立方体结构,文献 6 给出了一种新的交叉立方体最短 路径路由算法。给出适合于本文算法的互联网络的工作将 占据较大的篇幅,不属于本文的研究重点,作者将另文专门 介绍。 对于并行系统
31、,一个最重要的性能是可扩展性。可扩 展性目前没有统一的定义“ ,文献 7 给出了可扩展性的一 个定义如下: 定义2 若一个并行算法在1 p P 内,其时间复杂 度为0 ( r ( N ) P ) ,则称该算法在1 户P 。范围内是可扩 展的。也就是说,在1 户P 。范围内。可以获得线性加速 比。这里N 是问题的规模,P 是处理器的个数。T ( N ) 是最 佳串行算法的时间复杂度。 根据这个定义知道,p 越大越好。从式( 3 4 ) 可以看 出,至少从理论上讲,本文算法具有很好的可扩展性。事实 上,对于本文算法,P 。= m n ;R B F 算法的可扩展性要差一 些,其P 。一行;B P 算
32、法由于其权值不能分开独立计算,其可 扩展性最差( P 。= 1 ) 。属于不可扩展算法。因此本文算法 要比传统算法优越得多,即在不超过权函数的总数范围内, 维持加速比与并行系统中提供的处理器的数量成线性增长 的关系。 5 数值仿真实验 以下实验是在M a t l a b 下完成,其中传统算法使用了 M a t l a b 的神经网络工具箱中提供的一些库函数。 实验l计算效率实验。假设样本由以下的函数生成 f z 。= r lz 2 : ,f 一l ,1 ( 3 5 ) 【名:( r ) 式中 2 = z + T ;+ C O S ( z l + X 2 ) + e - “。- + ( 3 6
33、) 首先来看采用本文的串行算法与传统算法的时间效率 的比较( 结果见表1 ) 。B P 、R B F 、S V M 算法的精度取0 1 , 隐层节点数取m 。 由于传统算法( 例如B P 算法) ,无法实现并行计算,为 了使得比较能够说明问题,故首先根据式( 1 7 ) ,串行计算各 个广义C h e b y s h e v 多项式( 即串行使用本文的方法去求各 个权函数以下简称为本文的串行算法) ,并将其与传统算 法进行比较,结果见表1 。由表1 可以看出,即使采用本文 的串行算法,也较传统算法优越得多。 裘1本文算法和传统算法的时问效率比较 s 为了看出并行计算的优越性,按照式( 3 4
34、) 可以估计出 若采用本文的并行算法所获得的加速比,结果见表2 。表2 中的数值是采用本文的并行算法与采用本文的串行算法相 比所能够获得的计算速度的增益的最大倍数。 另外,表2 中的数据也说明本文的并行算法具有很好 的可扩展性。 表2 本文的并行算法的加速比 实验2泛化能力实验。为了描述本文算法和B P 、 R B F 、S V M 算法的泛化能力的比较,表3 给出了式( 3 5 ) 和 式( 3 6 ) 的C h e b y s h e v 样本误差和测试误差。测试误差是在 一l ,1 中随机选2 0 个测试点,求出每个点的测试误差。然 后再取平均值。在这个例子中,网络的结构参数为i r n
35、 = 2 , 卵一1 ,这里假设珈= r z = 叶= 0 5 。 万方数据 第2 期张代远:基于分布式并行计算的神经网络锋法 表3 本文算法和传统算法的泛化能力比较 实验1 和实验2 验证了本文算法的计算效率远远优于 传统算法,不仅如此。本文算法能充分利用系统提供的处理 器的个数,所以具有很好的可扩展性。另外,本文算法得到 的网络测试代价函数值是很小的,这说明本文算法的泛化 能力很强,远远优于B P 、R B F 、S V M 算法。这些结果都归 因于本文所奠定的理论基础。若实验样本不是C h e b y s h e v 样本,则可以通过文献 8 的方法求得C h e b y s h e v
36、 样本。 6结束语 本文提出了一种新颖的神经网络的并行计算体系结构 和训练算法,理论和实验结果都表明。此算法的计算性能远 远优于传统算法,主要表现在: ( 1 ) 速度快。引入了分布式并行计算机制,各个权函 数能够独立求解,因此可以通过并行系统采用并行算法计 算。算法简单,主要工作是计算网络的权函数,权函数是广 义C h e b y s h e v 多项式和线性函数的复合函数。仅仅通过代 数计算就可以求得,不需要传统算法的梯度下降计算或者 矩阵计算,有利于在一些功能简单的计算机或嵌入式系统 上实现。 ( 2 ) 可扩展性好。即在不超过权函数的总数范围内, 维持加速比与并行系统中提供的处理器的数
37、量成线性增长 的能力。 ( 3 ) 泛化能力强。本文算法具有一泛化能力( 见定理 2 ) 。本文得到了反映网络误差的一个有用的表达式。 ( 4 ) 可以很容易求得全局最优点,本文提出的神经网 络结构和算法可以精确回想起训练( 学习) 过的样本( 见定 理1 ) ,这是许多传统算法所不具备的。 参考文献: 1 E r g e z i n g e rS ,T o m s e nE A na c c e l e r a t e dl e a r n i n ga l g o r i t h mf o r m u h i l a y e rp e r c e p t r o n s :o p t i
38、m i z a t i o nl a y e rb yl a y e r J I E E E T r a n s o nN e u r a lN e t w o r k s 1 9 9 5 6 ( 1 ) :3 1 4 2 2 A m p a z i sN ,P e r a n t o n i sSJ T w oh i g h l ye f f i c i e n ts e c o n do r d e r a l g o r i t h m sf o rt r a i n i n gf e e d f o r w a r dn e t w o r k s J I E E ET r a n s
39、 0 n N e u r a lN e t w o r k s 2 0 0 2 ,1 3 ( 5 ) :1 0 6 4 1 0 7 3 3 张代远神经网络新理论与方法 M 北京:清华大学出版 社,2 0 0 6 4 C o r t e sC ,V a p n i cV S u p p o r tv e c t o rn e t w o r k s J M a c h i n e L e a r n i n g ,1 9 9 5 ,2 0 :2 7 3 2 9 7 5 E r eK T h ec r o s s e dc u ba r c h i t e c t u r ef o rp a r
40、a l l e lc o m p u t i n g J I E E ET r a n s o nP a r a l l e la n dD i s t r i b u t e dS y s t e m s ,1 9 9 2 。3 ( 5 ) : 5 1 3 5 2 4 6 喻听。吴敏,王国军一种新的交叉立方体最短路径路由算法 J 计算机学报,2 0 0 7 ,3 0 ( 4 ) :6 1 5 6 2 1 7 3L iK e q i n A n a l y s i so fp a r a l l e la l g o r i t h m sf o rm a t r i xc h a i np
41、r o d u c ta n dm a t r i xp o w e r so nd i s t r i b u t e dm e m o r ys y s t e m s J I E E E T r a n s o nP a r a l l e la n dD i s t r i b u t e dS y s t e m s ,2 0 0 7 ,1 8 ( 7 ) :8 6 5 8 7 8 8 张代远基于广义q e 6 b 1 , , , e s 多项式的新型神经网络算法 J 系 统工程与电子技术。2 0 0 8 ,3 0 ( 1 1 ) :2 2 7 4 2 2 7 9 ( Z h a n gD a i y u a n N e wa l g o r i t h mf o rt r a i n i n gn e u r a ln e t w o r k sb a s e do ng e n e r a l i z e d q e O b t t u e 8p o l y n o m i a l s J S y s t e m sE n g i n e e r i n ga n dE l e c t r o n i c s ,2 0 0 8 ,3 0 ( 1 1 ) :2 2 7 4 2 2 7 9 ) 万方数据
链接地址:https://www.31doc.com/p-3713856.html