最新2018年6神经网络的优化学习10-11-文档资料.ppt
《最新2018年6神经网络的优化学习10-11-文档资料.ppt》由会员分享,可在线阅读,更多相关《最新2018年6神经网络的优化学习10-11-文档资料.ppt(66页珍藏版)》请在三一文库上搜索。
1、2019/1/22,1,可以说,神经网络的优化学习一直是神经网络研究热点 1943年, Warren McCulloch和Walter Pitts, 人工神经元模型 1949年, Donald O. Hebb, 联想式学习规则 1957年, Frank Rosenblatt等人, 感知器(Perceptron)及其学习规则 1960年, Bernard Widrow和Marcian Hoff, 自适应线性神经元,WidrowHoff学习算法,第六章:神经网络的优化学习,2019/1/22,2,1969年, Marvin Minsky和Seymour Papert,感知器,神经网络研究陷入低潮。
2、 直到80年代, 改进的(多层)感知器网络和学习规则, 唤起人们对神经网络研究的兴趣。,第六章:神经网络的优化学习,2019/1/22,3,感知器是第一个完整的人工神经网络,具有联想记忆的功能,可以用于模式识别,并且在工程中得到实现。 当前,人们仍然认为感知器网络是一种重要的神经网络。因为,对于某些应用问题而言,感知器仍是一种快速可靠的求解方法。 对感知器网络行为的理解将会为理解更加复杂的神经网络奠定良好基础。,6.1 感知器学习规则,2019/1/22,4,一、单神经元感知器,6.1.1 感知器的结构,二、多神经元感知器,2019/1/22,5,输出,权值向量,输入向量,单神经元感知器,单神
3、经元感知器结构与MP神经元模型十分相似,作用函数,类别界限,净输入,阈值,输出,2019/1/22,6,若 ,则,若 ,则,单神经元感知器,二输入单神经元感知器,2019/1/22,7,三输入单神经元感知器, 类别界限,相当于在三维空间 中定义了一个平面,该平面将输入模式分为两类。,单神经元感知器,n ( )输入单神经元感知器,类别界限 对于在 n 维向量空间上的线性可分模式,通过一个 n 输入的单神经元感知器一定可以找到一个超平面,将该模式分为两类。,2019/1/22,8,输出向量,连接权系数矩阵,输入向量,阈值向量,作用函数,多神经元感知器,2019/1/22,9,第 i 个神经元的类别
4、界限,其中: 是输入向量与第 i 个神经元的连接权值;,是第 i 个神经元的阈值;,由 m 个神经元构成的感知器网络最多可以区分出 种输入模式。,多神经元感知器,2019/1/22,10,感知器主要用作模式分类,感知器的学习实质是通过改变输入向量与神经元的连接权值或神经元的阈值,使感知器具有能够正确区分目标数据的能力。 设有 P 组样本数据为:,其中 是第 组样本输入向量; 是该输入相应的目标输出 。,6.1.2 感知器的学习,在感知器网络尚未训练的情况下, 可能与 相差甚远。感知器学习就是通过调整权系数和阈值,使其实际输出 逐步逼近目标输出 。,2019/1/22,11,Frank Rose
5、nblatt的贡献在于提出了训练神经网络用于解决模式识别问题的学习规则,并证明了只要求解问题的权值存在,那么其学习规则通常会收敛到正确的网络权值上。 整个学习过程较为简单,而且是自动的。只要把反映网络行为的样本数据对提交给网络,网络就能够根据样本数据从随机初始化的权值和偏置值开始自动地进行学习。,6.1.2 感知器的学习,2019/1/22,12,设有样本数据为:,,,,,目标输出为0的两个输入向量用空心圆表示,目标输出为1的输入向量用实心圆表示。,单神经元感知器的学习,2019/1/22,13,为了简化学习过程,取感知器的神经元没有阈值。,类别界限为,单神经元感知器的学习,类别界限穿过原点,
6、而且 和 是正交的。为了保证感知器能够有效将 和 , 区分开,必须找到一条合适的类别界限。,2019/1/22,14,计算实际输出:首先将 送入:,样本输入向量 的目标值 ,说明感知器没有给出正确的值。,在开始训练时需要赋初始权值:随机取,单神经元感知器的学习,为了正确分类 ,应该调整权值 使其逐渐指向 。,2019/1/22,15,解决方法:是将 加到 上,使得 更加偏向于 。,如果 ,且 ,则,调整,调整后,单神经元感知器的学习,2019/1/22,16,计算 的实际输出,单神经元感知器的学习,的目标向量 , 被错误地划分。,让 远离 ,具体操作过程,如果 ,且 ,则,调整,调整后,201
7、9/1/22,17,计算 的输出,单神经元感知器的学习,的目标输出 , 被错误的划分了。,调整后,调整,2019/1/22,18,若感知器能够正确工作,则保持权值向量不变。即:,如果,,,单神经元感知器的学习,则 。,2019/1/22,19,定义一个新的误差变量,感知器学习的规则,如果,,则,如果,,则,如果,,则,单神经元感知器的学习,总结为,若考虑阈值,2019/1/22,20,权值向量的第 i 行,式中,阈值向量第 i 个元素的学习规则,多神经元感知器的学习,权值向量的第 i 行的学习规则,2019/1/22,21,多神经元感知器的学习,多神经元感知器的学习规则,式中,2019/1/2
8、2,22,多层感知器,图中所示的异或关系是线性不可分的,单层感知器不能将其正确分类。 历史上,Minsky正是利用这个典型的例子指出了感知器的致命弱点,从而导致了70年代神经元的研究低潮。,2019/1/22,23,第q层的输出向量,第q层的连接权系数矩阵,第q层的输入向量,第q层的阈值向量,作用函数,多层感知器,Q层网络,每层nq个神经元,q=1, ,Q。第0层为输入层,有n0个神经元。,2019/1/22,24,多层感知器,L1: P2 (1), P1 P3 P4 (-1),L2: P4 (-1), P1 P2 P3 (1),L3: Q2 (-1), Q1 Q3 (1),2019/1/22
9、,25,1960年,Bernard Widrow和Marcian Hoff,自适应线性神经元 (ADALINE)网络,最小均方(LMS) 学习算法。 ADALINE网络在结构上与感知器非常相似,区别在于它的作用函数是线性函数而不是硬极限函数。,6.2 Widrow-Hoff学习算法,2019/1/22,26,输出向量,连接权矩阵,输入向量,阈值向量,作用函数,6.2.1 ADALINE网络的结构,第 i 个神经元的输出,连接权值,阈值,2019/1/22,27,净输入,神经元输出,两输入的ADALINE,6.2.1 ADALINE网络的结构,2019/1/22,28,LMS算法也是有监督学习算
10、法,设有 组样本数据,其中 是第 组样本输入向量; 是该输入相应的目标输出 。,当输入向量 作用到ADALINE网络时,其实际输出为 。在网络尚未训练的情况下, 可能与 相差甚远。 LMS学习算法就是通过调整ADALINE网络的权系数和阈值,使网络实际输出 逐步逼近目标输出 ,以便使均方误差最小。,6.2.2 LMS学习算法,2019/1/22,29,多输入的单神经元,定义广义权值向量,连接权值,定义广义输入向量,6.2.2 LMS学习算法,网络输出,有,输入向量,2019/1/22,30,定义误差,网络的均方误差,6.2.2 LMS学习算法,进一步,有,若令 , , 时,上式改写为,相关系数
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最新 2018 神经网络 优化 学习 10 11 文档 资料
链接地址:https://www.31doc.com/p-1916263.html