BP神经网络算法原理.ppt
《BP神经网络算法原理.ppt》由会员分享,可在线阅读,更多相关《BP神经网络算法原理.ppt(29页珍藏版)》请在三一文库上搜索。
1、2.4 BP神经网络模型与学习算法,概述,Rumelhart,McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法 BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差,再用这个误差估计更前一层的误差,如此一层一层的反传下去,就获得了所有其他各层的误差估计。,J. McClelland,David Rumelhart,2.4.1 BP神经网络模型,三层BP网络,2.4.1 BP神经网络模型,激活函数 必须处处可导 一般都使用S型函数 使用S型激活函数时BP网络输入与输出关系 输入 输出,2.4.1 BP神经网络模型,输出的导数
2、,根据S型激活函数的图形可知,对神经网络进行训练,应该将net的值尽量控制在收敛比较快的范围内,2.4.2 BP网络的标准学习算法,学习的过程: 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 学习的本质: 对各连接权值的动态调整 学习规则: 权值调整规则,即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。,2.4.2 BP网络的标准学习算法-算法思想,学习的类型:有导师学习 核心思想: 将输出误差以某种形式通过隐层向输入层逐层反传 学习的过程: 信号的正向传播 误差的反向传播,将误差分摊给各层的所有单元各层单元的误差信号,修正各单元权
3、值,2.4.2 BP网络的标准学习算法-学习过程,正向传播: 输入样本输入层各隐层输出层 判断是否转入反向传播阶段: 若输出层的实际输出与期望的输出(教师信号)不符 误差反传 误差以某种形式在各层表示修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止,2.4.2 BP网络的标准学习算法,网络结构 输入层有n个神经元,隐含层有p个神经元, 输出层有q个神经元 变量定义 输入向量; 隐含层输入向量; 隐含层输出向量; 输出层输入向量; 输出层输出向量; 期望输出向量;,2.4.2 BP网络的标准学习算法,输入层与中间层的连接权值: 隐含层与输出层的连接权值: 隐含层
4、各神经元的阈值: 输出层各神经元的阈值: 样本数据个数: 激活函数: 误差函数:,2.4.2 BP网络的标准学习算法,第一步,网络初始化 给各连接权值分别赋一个区间(-1,1)内的随机数,设定误差函数e,给定计算精度值 和最大学习次数M。 第二步,随机选取第 个输入样本及对应期望输出,2.4.2 BP网络的标准学习算法,第三步,计算隐含层各神经元的输入和输出,2.4.2 BP网络的标准学习算法,第四步,利用网络期望输出和实际输出,计算误差函数对输出层的各神经元的偏导数 。,2.4.2 BP网络的标准学习算法,第五步,利用隐含层到输出层的连接权值、输出层的 和隐含层的输出计算误差函数对隐含层各神
5、经元的偏导数 。,2.4.2 BP网络的标准学习算法,2.4.2 BP网络的标准学习算法,第六步,利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值 。,2.4.2 BP网络的标准学习算法,第七步,利用隐含层各神经元的 和输入层各神经元的输入修正连接权。,2.4.2 BP网络的标准学习算法,第八步,计算全局误差 第九步,判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数,则结束算法。否则,选取下一个学习样本及对应的期望输出,返回到第三步,进入下一轮学习。,2.4.2 BP网络的标准学习算法,BP算法直观解释 情况一直观表达 当误差对权值的偏 导数大于零时,权值 调
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- BP 神经网络 算法 原理
链接地址:https://www.31doc.com/p-2976241.html