优化BP神经网络在地下水计算中的应用.doc

优化BP神经网络在地下水计算中的应用第33卷第5期2011年5月人民黄河YELLOWRIVERVo1.33,No.5May,2011【水资源】优化BP神经网络在地下水计算中的应用陈琳,刘俊民,明柯柯,杨建飞(1.西北农林科技大学水利与建筑工程学院,陕西杨凌712100;2.南郑县水利局,陕西南郑723100)摘要:采用动态惯性因子对粒子群算法进行改进,并将其应用到BP神经网络的优化中,依据滦河某观测站数据建立地下水动态预测网络模型.预测结果表明:在训练样本,预报因子和建模参数都相同的情况下,BP神经网络的收敛速度明显较慢;粒子群算法代替梯度下降法优化BP神经网络,有效地提高了计算精度,加快了收敛速度,改善了神经网络的稳定性;混合动态惯性因子的粒子群算法,收敛速度快速提高,计算误差大幅减小,精度及稳定性均较高.关键词:惯性权值;粒子群算法;BP神经网络;地下水中图分类号:TP183文献标识码:Adoi:10.3969/j.issn.10001379.2011.05.018地下水的相关计算,无论是资源量计算,水位预测,还是水质评价,都因其影响因素的模糊性,非线性关系的复杂性等问题而给数学计算带来极大困难.人工神经网络具有较强的非线性映射能力及对信息模糊,不完整等复杂情况的适应能力,能够有效解决地下水资源评价及其计算的难点.BP神经网络¨具有极强的非线性映射,自适应,容错性,鲁棒性以及存储记忆等能力,可以应用于函数逼近,模式的分类,识别,以及数据压缩等方面.但是,标准BP神经网络采用梯度下降法优化参数,有许多不足之处.粒子群算法是一种群体智能算法,因其参数少,精度高,易于实现等特点而被广泛应用j.笔者采用改进的粒子群算法优化BP神经网络参数,避免BP神经网络的某些固有缺陷,提高其自适应性和稳定性.1标准BP神经网络模型BP神经网络由输入层,隐含层和输出层组成,BP神经网络的学习过程主要为信息的正向传播和误差的反向传播.输入信息由输入层输入网络,经过隐含层逐层处理后,由输出层输出,完成信息的正向传播.如果输出值和实际值之间的误差E不满足给定的误差要求,则进入误差的反向传播阶段,将误差值按反方向的顺序逐层反馈,并分摊给各层神经元,神经元以各自误差信号为依据修正权值,完成一次训练过程.然后再次进行训练,直至误差满足要求或达到最大迭代次数.在各隐含层和输出层的参数修改过程中,BP神经网络均采用误差的梯度下降算法进行训练,因此会带来一些缺陷.在实际计算中,误差曲面通常是凹凸不平的复杂曲面,存在多个局部极小点,平坦区等,甚至全局极小点也不唯一.由于局部极小点的误差梯度为零,因此很可能被认为是网络的解,产生局部极小问题.在平坦区域中,无论实际误差值的大小,误差梯度都很小,致使收敛速度缓慢.若极小点附近的误差梯度很大,则可能致使参数调整在极小点附近震荡或直接越过该极小点进入另一个极小点区域.38.2粒子群算法2.1标准粒子群算法粒子群算法因其参数少,精度高,收敛速度快而得到广泛应用.在粒子群算法中,每个粒子的位置都是问题的一个解.所有粒子在d维空间中飞翔,并通过不断改变位置,调整适应度值搜索最优解.粒子的速度决定其搜索方向和距离.每个粒子都能够记住本身搜索到的最优解,以及整个粒子群搜索到的最优解P.通过这两个最优解,粒子可以不断更新速度.对于在d维空间的第i个粒子,其速度更新为=d+clRand()(Pid)+czRand()(P一)(1)式中:,分别为d维空问第i个粒子的原速度和更新后的速度;to(0,2),为惯性权值;c,c:为学习因子;Rand()为(0,1)问相互独立的随机数;.为粒子的位置.粒子新的位置可表示为X=Xi,t+(2)式中:为d维空间第i个粒子更新后的位置.不难看出,在粒子凋整速度和位置的过程中,惯性权值甜对粒子群算法的性能有很大影响.ShiYH等H对的研究表明,越大,收敛速度越慢,局部最优解的搜索能力减弱,全局最优解的搜索能力增强,因此60值的选取至关重要.2.2改进的粒子群算法由于惯性权值的重要性,因此ShiYH等"进行了大收稿日期:201007-25基金项目:"十一五"国家科技支撑计划项目(2006BAD1lB05);国家自然科学基金资助项目(50879071).作者简介:陈琳(1986一),女,陕西西安人,硕士研究生,研究方向为水资源利用与管理.通讯作者:刘俊民(1953一),男,陕西成阳人,教授,博士,主要从事水文与水资源研究I作.Email:Jmls/xyahoo.CO/n.cn人民黄河2011年第5期量研究,希望找出能在局部最优和全局最优之间达到平衡的值的求解方法.有学者提出了自适应调整的线性递减权值J,模糊惯性权值策略和随机惯性权值策略,其中线性递减权值因其理论简单,收敛快速而被广泛应用.线性递减权值就是在迭代过程中,线性减小03的值:一(一)(3)式中:60为惯性权值;,分别为的最大值和最小值;为当前迭代次数;T为总的迭代次数.但是,线递减权值算法中,惯性权值只与迭代次数线性相关,较为简单,并不能很好地解决复杂的非线性问题.为了克服l述算法的缺陷,张选平等采用自适应调节惯性权值法改进粒子群算法.笔者在此基础上,提出种全新的惯性卡义值动态凋整方法,使其适应性更好,收敛速度更快.对于d维空间的一个粒子群,由于其全局搜索能力和局部搜索能力是相互矛盾的,因此当对整个群体采取同样的自适应调整时,会使算法停滞,甚至严重影响最优粒子的惯性权值,导致算法整体性能F降.为增加惯性权重的多样性,因材施教,笔者根据适应度函数将所有粒子分类调整,充分发挥其自适应能力当适应度值较优,即粒子已较为接近全局最优值时,则应加强局部寻优能力,快速逼近最优值,故需减小惯性权值;当适嘘度值较差,即粒子状态较差时,则应加强全局寻优能力,快速搜索最优值,故需增大惯性权值03;其他条件时,粒子状态正常,即粒子具有良好的全局寻优能力和局部寻优能力,应在保持其惯性权值的基础上,根据其适应度值进行微调.具体公式为【fflI.+j(优于)Ih=60一e(优于,劣于aA)I,1l(x一r'劣于vs)(4)式中:t为当前迭代次数;DTm为最大迭代次数;r为调节因子;为第i个粒子的适应度值为目标适应度值,通常由目标误差等求得为粒子群的平均适应度值为全局最优粒子的适应度值;"为放大系数,表征粒子群的进化程度;09,分别为惯性权值的上,下限.3BP神经网络优化笔者采用基于动态惯性因子的自适应粒子群算法(IPSO)优化BP神经网络.提高其性能.BP神经网络算法与粒子群算法通过网络参数与粒子的位置,误差和适应度函数相互联系.粒子群中每个粒子的维度分量都对应着神经网络中的一个参数,而整个粒子的位置则表示BP神经网络的一组参数,包括权值和闽值,用=(,)表示,其中,d为粒子群的维数.粒子的适应度函数通过BP神经网络中的均方差计算.粒子群随机产生一个粒子,还原成BP神经网络的初始参数,训练集通过网络的前向计算,得到误差,并将误差传递给适应度函数:利用适应度函数动态地调节粒子群的惯性权值,从而不断更新粒子的速度和位置,搜索使输出层误差最小的粒子位置.随着训练误差的减小,粒子的适应度不断提高,当满足给定条件时,适应度最高的粒子即为训练问题的最优解.当粒子群完成搜索得到全局最优解后,将全局最优粒子还原成BP神经网络的参数并循环计算,直到满足BP神经网络的结束条件,即得到最优结果.4优化BP神经网络的应用依据滦河某观测站地下水动态数据,建立地下水动态预测的网络模型.测站24个月的地下水位及影响因子实测值见表1.表1地下水位及影响因子实测值考虑地下水位的影响因素,样本输入分别为上个月的地下水位及河道流量,气温,饱和差,降水量,蒸发量6个影响因子,输出值为当月的地下水水位.建立3层结构的BP神经网络,输入层,隐含层和输出层的节点数分别为6,18和1,激活函数分别采用双极性5型激活函数(tansig)和线性激活函数.双极性S型激活函数为1n一2x)=÷_(5)1十C线性激活函数为_厂()=kx(6)式中:为输入数据;为系数.粒子群的初始惯性权值.取0.9,上限,下限分别取1.5,0.2,放大系数取100,调节系数r取0.5,粒子维数根据需求的BP神经网络参数,按下式确定:?39?人民黄河2011年第5期d=INxHN+HN×ON+HN+ON(7)式中:为输入层节点数;HN为隐含层节点数;ON为输出层节点数;IN×HN维为输入层到隐含层的权值;HN×ON维为隐含层到输出层的权值;HN维为输入层到隐含层的阈值;ON维为隐含层到输出层的阈值.将全部数据排序,用前20组数据进行训练,后4组数据进行对比,见表2.笔者还采用标准BP神经网络和标准粒子群算法优化后的BP神经网络进行地下水水位的预测.为增强结果的可比性,所有参数的选取均保持一致,且由于采用小样本数据进行训练,适当减少训练次数,因此结果误差均较大,体现出改进粒子群算法优化BP神经网络的优势,见表2.表2地下水位预测结果BP神经网络序号实泓值/m%粒子群算法优化改进粒子群算法优BP神经网络化BP神经网络预测值/误差/预测值/误差/m%n3%相同参数条件下,BP神经网络预测结果的平均误差约为11%,粒子群算法优化BP神经网络预测结果的平均误差约为8%,改进粒子群算法优化BP神经网络预测结果的平均误差约为4%.不难看出,在训练样本,预报因子和建模参数都相同的情况下,BP神经网络的收敛速度明显较慢;粒子群算法代替梯度下降法优化BP神经网络,避免了传统BP算法本身的缺陷,可以有效提高计算精度,加快收敛速度,改善网络的稳定性;动态惯性因子的粒子群算法,收敛速度快速提高,计算误差大幅减小,而且参数较少,容易实现,计算误差均保持较为稳定,快速地下降,精度及稳定性均较高.因此,利用改进的粒子群算法优化BP神经网络可以有效提高其性能.同时,表2中的预测结果绝大部分大于同期的实测值,表明该地区地下水开采量逐年增加,造成地下水位逐渐下降.为了凸显优化后网络收敛速度快等优点,采用了较小的迭代次数(50o次),因而预测结果的误差总体偏大,若需要较为精确的结果,只要增大迭代次数即可.利用BP神经网络预测,当迭代次数为20003000时,误差基本可以稳定在lO数量级;利用改进的BP神经网络预测,当迭代次数为15002OO0时,误差基本可稳定下降到同等数量级.5结语采用动态惯性因子对粒子群算法进行改进,并将其应用到BP神经网络的优化中,结果表明:在训练样本,预报因子和建模参数都相同的情况下,BP神经网络的收敛速度明显较慢;粒子群算法代替梯度下降法优化BP神经网络,有效地提高了计?40?算精度,加快了收敛速度,改善了神经网络稳定性;混合动态惯性因子的粒子群算法,收敛速度快速提高,计算误差大幅减小,精度及稳定性较高.但是,由于粒子的初始位置都是随机的,因此当粒子数量较少时,结果的随机性相对较大,精度难以保证.若要保证结果的准确性,通常需选取较多的粒子数量以及迭代次数,这无疑会延长单次训练时间,虽然训练次数相应减少,但总的建模时间延长.相对于基于梯度下降法的标准BP神经网络,由于粒子群优化需时较长,因此即使BP神经网络的迭代次数相同,粒子群优化的网络模型也需要更多的建模时间.参考文献:1韩力群.人工神经网络教程M北京:北京邮电大学出版社,2007.2王晓敏,刘希玉,戴芬.BP神经网络预测算法的改进及应用J】.计算机技术与发展,2009,11(11):64673ShiYH,EberhartRC.EmpiricalstudyofparticleSwitrnloptimizationC/In-ternationalConferenceONEvolutionaryComputation.Washington:IEEE,1999:19451950.43ShiYH,EberhartRcParticleSWarfl'loptimization:Developments,ApplicationsandesourcesCProceedingsofIEEEInternationalConferenceOnIu-tionaryComputation.Korea:IEEE.2001:8186.5ShiYH,EberhartRCAmodifiedparticleswalTaoptimizerCProceedingsof1EEEInternationalConferenceonComputationalIntelligence.Piscataway:IEEE,1998:69736ZhangLP,YuHJ,HuSX.Anewapproachtoimproveparticleswamioptimi-zationCLectureNotesinComputerScience.Chicago:SpringerVedag,2003:134139.7韩江洪,李正荣,魏振春.一种自适应粒子群优化算法及其仿真研究J.系统仿真,2006,18(10):29692971.8shiY,EberhartR.FuzzyadaptiveparticleswarmoptimizationcProceed-ingsofIEEEInternationalConferenceonEvolutionaryComputation.SanFran-cisco:IEEE,2001:101106.9EberhartR,ShiY.TrackingandoptimizingdynamicsystemswithparticleswamisCProceedingsofIEEEInternationalConferenceonEvolutionaryComputation.SanFrancisco:IEEE,200l:94100.1O张选平,杜玉平,秦国强,等.一种动态改变惯性权的自适应粒子群算法J.西安交通大学,2005(10):10391042.11张顶学,关治洪,刘新芝.一种动态改变惯性权重的自适应粒子群算法J.控制与决策,2008(11):12531257.12任子晖,王坚.一种动态改变惯性权重的白适应粒子群算法J.计算机科学,2009(2):227229.13徐以山,曾碧,尹秀文,等.基于改进粒子群算法的BP神经网络及其应用j.计算机工程与应用,2009,45(35):233235.14赵胜利,刘燕,李书全,等.用BP神经网络预测地下水动态J.河北农业大学,2002,lO(2):265267.15宋初一,姜明晨,时宏杰,等.粒子群优化算法及其应用J.内蒙古民族大学:自然科学版,2006,8(4):391392.【责任编辑吕艳梅】