基于终身学习 RBF 神经网络的网络安全态势预测1.doc
《基于终身学习 RBF 神经网络的网络安全态势预测1.doc》由会员分享,可在线阅读,更多相关《基于终身学习 RBF 神经网络的网络安全态势预测1.doc(10页珍藏版)》请在三一文库上搜索。
1、精品论文基于终身学习 RBF 神经网络的网络安全态势预测1许彪,李明楚 大连理工大学软件学院,大连(116620) E-mail:摘要:网络安全态势预测对于保障网络安全运行具有重要的作用和意义。现有的预测方法 多采用批处理学习算法,无法快速构建实时的预测网络。本文采用逼近性能较好的 RBF 神 经网络(RBF Neural Network, RBFNN) 预测网络安全态势,在 RBFNN 学习阶段引入隐层神 经元重要性的概念。基于在线学习的思想,本文将神经网络的学习和调整贯穿于整个预测过 程,提出了终身学习 RBF(lifetime learning RBF,LFRBF)算法。基于 LFRBF
2、 最终建立了终身 学习 RBFNN(LFRBFNN)。实验表明,使用该网络进行态势预测,预测精度随着网络的不断 调整而不断提高。关键词:网络安全;态势预测;RBF 神经网络;终身学习算法 中图分类号:TP3931.引言网络安全态势是对网络运行状况的宏观反映,它反映了一个网络过去和当前的状况,继 而预测下一个阶段可能的状态和走势。大规模网络自身的规模大、网络环境复杂、时变性大 等特点,使得安全态势的评估和预测面临很大困难,而为了保障网络的正常运行,安全态势 的评估与预测愈发显得重要,其中预测更是了解未来网络安全状况、及时做好防御工作所不 可缺少的。目前,关于安全态势的评估技术主要是基于数据融合、
3、推理和证据分析的,国外发展比 较快,尤其是在军事方面。国内的研究主要在一级融合方面,基本上是刚刚开始,但已有很 多态势估计建模和数据处理、融合算法被提出。对于态势预测的研究相对较少,所采用的方 法主要有:模糊推理,如上海交通大学萧海东的基于模糊推理驱动的预测模型1;神经网络, 如上海交通大学任伟的基于 RBFNN 的态势预测方法2。由于大规模网络安全态势值具有非 线性时间序列的特点,而上述两种算法的共同特性恰是以很高的精度逼近非线性连续函数, 所以比较适于采用。但是两种算法均需学习过程,学习阶段与预测是分开的,训练好的模型 未必能很好的反映当前的真实状况,系统规模不易控制,所以不能很好的适应大
4、规模网络实 时性高、数据量大的特点。鉴于态势预测所面临的形势及以上方法的不足,本文利用改进的 RBF 神经网络对大规 模网络安全态势进行实时预测。RBFNN 除了具有神经网络的自组织、自学习、并行协同处 理信息、分布式存储信息等优点以外,还具有 BP 神经网络等流行神经网络所不具有的特点, 比如训练、收敛速度快,结构简单,建模精度高等。另外,大规模网络安全态势值预测可以 归结为高维空间函数逼近的问题,RBFNN 的高度非线性拟合能力正好适合解决之。针对现 存 RBFNN 在线学习算法的缺点,2004 年,新加坡南洋理工大学的 Huang Guang-bin 提出了 新的学习算法 GAP-RBF
5、3,该算法提出了隐层神经元的重要性定义及估计公式,建立了神 经元引入准则和删除准则,不仅提高了算法性能,更减少了初始参数。2005 年,Huang Guang-bin 又提出了更为一般的 GGAP-RBF 算法4。本文改进 GGAP-RBF 算法,将初始参1本课题得到国家自然科学基金(60673046)、国家自然科学基金重大项目(90412007)的资助。- 10 -数减少至一个,并将神经网络的学习与预测有机结合起来,最终提出了 LFRBF 算法。实验结果表明,利用 LFRBF 算法学习得到的 LFRBFNN 可以在影响因素众多、时变性较大、计 算量较大的环境下,准确预测网络安全态势值。2.相
6、关概念和算法2.1 RBF 神经网络RBF 神经网络是由输入层、单隐层、输出层组成的三层前馈网络,输入层节点只传递 输入信号到隐层;隐层由径向基函数构成;输出层由线性函数构成。RBFNN 最大的特点是, 其隐层径向基函数采用像高斯函数这样的函数,函数中心被定义为网络输入层到隐层连接权 向量,这使得径向基函数仅对部分输入响应,从而整个网络具有局部逼近能力。下面是 RBF 神经网络的结构图。输入层隐层输出层x1y1x2ymxn图 1. RBF 神经网络结构图Fig 1. RBFNN Structure本文所采用的 RBFNN 隐层径向基函数为高斯函数|X c k|2(1) k ( x ) = e
7、xp( 2)k其中 k = 1, 2,L, K , ck 是隐层第 k 个神经元的中心; k 是第 k 个神经元的宽度。输入向量 n维,输出向量 m 维。2.2 扩展卡尔曼滤波器扩展卡尔曼滤波器(EKF)57是一种应用广泛的非线性系统滤波方法,它是把非线性 模型一阶近似再利用古典 Kalman 滤波方法得到的。EKF 比 LMS(最小均方)方法具有更 快的收敛速度,本文将其用在隐层神经元的参数更新上:当确定不引入新的隐层神经元时, 便根据隐层神经元前一状态来估计下一状态。具体的方法是:设第 i 个样本进入网络后的参数状态为v = w ,c, T(2)iiririr如果此样本数据不能满足成为新隐
8、层中心的条件,则:v = v + K ei i (3)T1其中 Ki = Pi 1Bi Ri + Bi Pi 1Bi (4)为 Kalman 增益矩阵;P = I K B P + q ITiz zi ii 10 z z(5)q0 为随机步长;ei 为输出误差;Ri 是测量噪声的方差矩阵;Bi 是关于参数向量 i 的梯度矩阵。2.3 在线学习算法当前神经网络学习使用较多的是批处理学习(Batch learning)算法,即用全部训练样本 一次性学习,需要训练样本一次给出,对样本选择的要求很高。相对的在线学习(Sequential learning,亦称顺序学习)算法是,训练样本顺序进入,任一时刻
9、只有一个样本用于学习。 本文采用 GGAP-RBF 算法提出的隐层神经元重要性定义和估计公式12,可以合理引入隐层 神经元,为终身学习算法奠定了理论基础,也使构建合理、高效、适度规模的 RBFNN 成为 可能。文献1把隐层神经元 k 对 RBFNN 的整体输出统计学意义上的大小,定义为隐层神经元k 的重要性,经计算得出:q |X c1|2 qE im p o r ( k ) = | w k |q x e xp( - k 2k) p ( X ) d X (6)( x , y ) 是输入样本,x Rn ;w 是第 k 个神经元与输出节点的连接权值;| |是向量的 qi iikq范数;p( X )
10、是样本数据 X 的采样密度函数,这里取均匀分布2 p( X ) =1S ( X ),样本归一化后 Xn的大小 S ( X ) = 1 ,将其代入公式(6): n1(7)E( k ) = | w| ( ) 2 q (k ) qi m pork qq S ( X )3.LFRBFNN 的学习和创建3.1 隐层神经元引入准则新的样本作为隐层神经元引入必须满足以下两个条件:di =| Xi cir | i(8)nn| e | ( ) 2 q ( | X c|) q (9)i qi ir符号说明: cir 是欧几里德意义下距离 xi 最近的隐层神经元的中心; di 是输入样本与最 近的隐层神经元的距离;
11、ei = yi yi 是输出误差; 为重叠因子,用来决定隐层神经元的宽度; 是事先给定的学习精度; i 是可调参数。公式(8)保证了新样本距离现存的神经元足够远时,才有增加隐层神经元的可能。公式(9)则保证了新增隐层神经元的重要性大于学习精度。3.2 径向基函数宽度自适应调整为合理确定隐层神经元参数,Huang Guang-bin 等人于 2003 年提出了径向基函数宽度的 自适应调整算法6,计算出重叠因子 =( e i +e iw i r ) l n e i(10)径向基函数宽度为: K + 1= d i =( ei +ei d iwir ) ln e(11)i3.3i 的更新为减少需要人为
12、确定的参数数目,本文给出计算公式 i = max(0,1 / ei ) 。推导如下:设网络已有隐节点 K 个,当一个新样本 X i 到达时,得到新样本的重合度 di =| Xi cir | 。假设将该样本定义为新的隐节点,则有:wK +1 = ei , cK +1 = xi , K +1 = di 。由公式(1)可知K +1 ( xi ) = 1 ,其网络输出:y i = f (Xi ) =K22(12) k =1 wk exp( | Xi ck | / k ) + wK +1K +1 (Xi )在不增加新隐节点的情况下,通过误差补偿试图达到同样的学习精度 ,此时网络输出:f (X ) =K
13、w exp( | X c|2 / 2 ) + wik =1kikkK22 = ei di = wK +1di所以, f (X ) =w exp( | X c1| /) + wd(13)| f (Xi ) yi | 即| ei (1 di ) | 得 di 1 / ei(14)所以取 i = max(0,1 / ei )(15)ik =kikkK +1 i设在不增加隐节点的情况下,输出仍能达到同样的学习精度 :3.4 的调整如果 学习精度太小,由公式(9)可知会引入太多隐层神经元;反之 太大,将使最终的 预测精度下降。本文对进入预测阶段后 的取值略作调整: = 1 ( +n )(16)n + 1
14、 0i =1 i 0 为初始学习精度; i 为第 i 次实际预测的精度;n 为预测次数。3.5 LFRBFNN 创建步骤LFRBFNN 的创建分为两个阶段,第一阶段是网络的初始化,这是为了让网络快速建立 起来;第二阶段利用初始建立的神经网络进行预测,根据预测的精度及时做出调整,引入新 样本继续学习、更新网络。算法步骤如下:选取历史 数据,给 定估计误 差 = 0 ,设神 经元个数 为 K0 , 对于输 入样本 ( x i , y i ) , i = 1, 2 ,L K 0 :1) 计算网络输出:y =K0 w exp( | X c|2 / 2 )i k =1kikk2) 计算隐层神经元引入准则
15、下列各量ei = yi yi i = ma x ( 0 ,1 / ei )d i = | X i c ir |/计算网络输出误差/计算参数i/计算 di =( ei +eiwi r ) ln e/计算重叠因子 i3) 应用隐层神经元引入准则判断是否增加隐层神经元:n nIf d 且 | e | ( ) 2 q ( | X c|) q i i i qii r/引入第 K0 + 1 个隐层神经元,设置相应参数000wK +1 = ei;cK +1 = Xi; K +1 = diEl s e/利用 EKF 方法更新距离当前输入最近的隐层节点的参数wir,cir, ir/检查隐层神经元的删除准则是否满
16、足If E(ir ) =| wn n| ( ) 2 q ( l ) q K ,j = 1, 2,L K ,时间单位 12 小时。计算 y j/ t j 1 时刻,预测 t j 时刻态势值计算 y j 和 / t 时刻实际态势值和精度ij/将 t j 刻的数据作为新的学习样本重新计算/利用公式(17)更新If y j y j j j jw = e ; c = X ; = dK + 1 K + 1 K + 1Else/利用 EKF 更新距离当前输入最近的隐层节点参数w jr,c jr, jrIf E im p o r (ir ) 删除此隐层神经元更新 LFRBFNNEndifEndif4.实验及结
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于终身学习 RBF 神经网络的网络安全态势预测1 基于 终身 学习 神经网络 网络安全 态势 预测
链接地址:https://www.31doc.com/p-3624891.html