算法的程序实现.ppt
《算法的程序实现.ppt》由会员分享,可在线阅读,更多相关《算法的程序实现.ppt(20页珍藏版)》请在三一文库上搜索。
1、1,3.4.3 BP算法的程序实现,(1)初始化;,(4)计算各层误差信号;,(5)调整各层权值;,(6)检查是否对所有样本完成一次 轮训;,(7)检查网络总误差是否达到精 度要求。,(2)输入训练样本对X Xp、d dp 计算各层输出;,(3)计算网络输出误差;,2,3.4.3 BP算法的程序实现,然后根据总误差计算各层的误差信号并调整权值。,另一种方法是在所有样本输入之后,计算网络的总误差:,3,3.4.4 多层前馈网(感知器)的主要能力,(1)非线性映射能力,多层前馈网能学习和存贮大量输入-输出模式映射关系,而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络
2、进行学习训练,它便能完成由n维输入空间到m维输出空间的非线性映射。,4,3.4.4 多层前馈网(感知器)的主要能力,(2)泛化能力,当向网络输入训练时未曾见过的非样本数据时,网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。,(3)容错能力,输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。,5,3.4.5误差曲面与BP算法的局限性,误差函数的可调整参数的个数 nw 等于各层权值数加上阈值数,即:,误差 E 是 nw+1 维空间中一个形状极为复杂的曲面,该曲面上的每个点的“高度”对应于一个误差值,每个点的坐标向量对应着 nw 个权值,因此称这样的空间
3、为误差的权空间。,6,3.4.5误差曲面与BP算法的局限性,误差曲面的分布有两个特点:,特点之一:存在平坦区域,7,3.4.5误差曲面与BP算法的局限性,特点之二:存在多个极小点,多数极小点都是局部极小,即使是全局极小往往也不是唯一的,但其特点都是误差梯度为零。,误差曲面的平坦区域会使训练次数大大增加,从而影响了收敛速度;而误差曲面的多极小点会使训练陷入局部极小,从而使训练无法收敛于给定误差。,8,3.5标准BP算法的改进,标准的BP算法在应用中暴露出不少内在的缺陷:, 易形成局部极小而得不到全局最优; 训练次数多使得学习效率低,收敛速度慢; 隐节点的选取缺乏理论指导; 训练时学习新样本有遗忘
4、旧样本的趋势。,针对上述问题,国内外已提出不少有效的改进算法,下面仅介绍其中3种较常用的方法。,9,3.5标准BP算法的改进,1 增加动量项,为动量系数,一般有(0,1),2 自适应调节学习率,设一初始学习率,若经过一批次权值调整后使总误差,则本次调整无效,且=(1 )。,10,3.5标准BP算法的改进,3 引入陡度因子,实现这一思路的具体作法是,在原转移函数中引入一个陡度因子,11,3.6 BP网络设计基础,一 、训练样本集的准备,1.输入输出量的选择,输出量代表系统要实现的功能目标,例如系统的性能指标,分类问题的类别归属,或非线性函数的函数值等等。,输入量必须选择那些对输出影响大且能够检测
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 算法 程序 实现
链接地址:https://www.31doc.com/p-3227418.html