【2019年整理】神经网络论文.pdf
《【2019年整理】神经网络论文.pdf》由会员分享,可在线阅读,更多相关《【2019年整理】神经网络论文.pdf(14页珍藏版)》请在三一文库上搜索。
1、摘要 神经网络是一门发展十分迅速的交叉学科,它是由大量的处理单元组成非线 性的大规模自适应动力系统。 神经网络具有分布式存储、 并行处理、 高容错能力 以及良好的自学习、 自适应、联想等特点。 目前已经提出了多种训练算法和网络 模型,其中应用最广泛的是前馈型神经网络。前馈型神经网络训练中使用最多的 方法是误差反向传播 (BP)学习算法。但随着使用的广泛,人们发现BP网络存在 收敛速度缓慢、易陷入局部极小等缺陷。 于是我们就可以分析其产生问题的原因, 从收敛速度和局部极小两个方面分别提出改进的BP网络训练方法。 关键字 :神经网络,收敛速度,局部极小,BP网络,改进方法 Abstract Neu
2、ral network is a cross discipline which now developing very rapidly, it is the nonlinearity adaptive power system which made up by abundant of the processing units . The neural network has features such as distributed storage, parallel processing, high tolerance and good self-learning, adaptive, ass
3、ociate, etc. Currently various training algorithm and network model have been proposed , which the most widely used type is Feedforward neural network model. Feedforward neural network training type used in most of the method is back-propagation (BP) algorithm. But with the use of BP network, people
4、 find that the convergence speed is slow, and easy fall into the local minimum. So we can analyze the causes of problems, from the two aspects respectively we can improve the BP training methods of neural network. Keywords:neural network,convergence speed ,local minimum,BP neural network improving m
5、ethods 目录 1 神经网络概述. 3 1.1 生物神经元模型 错误!未定义书签。 1.2 人工神经元模型 错误!未定义书签。 2 BP 神经网络. 错误!未定义书签。 2.1 BP 神经网络特点 . 错误!未定义书签。 2.2 BP 神经网络介绍 . 错误!未定义书签。 3 BP 神经网络算法的改进 8 3.1 BP 神经网络训练过程介绍 8 3.2 动态调节学习率的改进方法. 8 3.3 BP 神经网络收敛速度的改进方法. 10 3.4 局部极小问题的几种改进方案 11 4 结束语 . 13 【参考文献】. 14 1.神经网络概述 1.1 生物神经元模型 人脑是由大量的神经细胞组合而成
6、的, 它们之间相互连接。每个神经细胞(也 称神经元)具体如图1.1 所示的结构。 图 1.1 生物神经元模型 由图看出,脑神经元由细胞体、 树突和轴突构成。 细胞体是神经元的中心, 它一般又由细胞核、 细胞膜等构成。 树突是神经元的主要接受器,它主要用来接 受信息。轴突的作用主要是传导信息,它将信息从轴突的起点传到轴突末梢,轴 突末梢与另一个神经元的树突或细胞体构成一种突触的机构。通过突触实现神经 元之间的信息传递。 1.2人工神经元模型 人工神经网络是利用物理器件来模拟生物神经网络的某些结构和功能。图 1.2 是最典型的人工神经元模型。 图 1.2 人工神经元模型 这个模型是 1943 年心
7、理学家 McCulloch 和科学家 W.Pitts在分析总结神经 元基本特性的基础上首先提出的M-P模型,它是大多数神经网络模型的基础。 ji w - 代表神经元 i 与神经元 j 之间的连接强度 (模拟生物神经元之间突触 连接强度 ),称之为连接权 ; i u - 代表神经元 i 的活跃值,即神经元状态; i v - 代表神经元 j 的输出,即是神经元i 的一个输入; i- 代表神经元的阐值。 函数 f 表达了神经元的输入输出特性。在M-P模型中, f 定义为阶跳函数 : 01, () 00, i ii i u v f u u 人工神经网络是一个并行与分布式的信息处理网络结构,该网络结构一
8、般由 许多个神经元组成, 每个神经元由一个单一的输出, 它可以连接到许多其他的神 经元,其输出有多个连接通路,每个连接通路对应一个连接权系数。 严格来说,神经网络是一个具有如下性质的有向图。 (1) 对于每个结点有一个状态变量 j x ; (2) 结点 i 到结点 j 有一个连接权系数 ji w ; (3) 对于每个结点有一个阈值 j ; (4) 对于每个结点定义一个变换函数,() iijij fx wij,最常见的情形 为() jiij i fw x。 图 1.3 表示了两个典型的神经网络结构,做为前馈网络,右为反馈网络。 图 1.3 典型的神经元网络结构 2 BP 神经网络 人工神经网络是
9、一种信息处理系统,它有很多种模型。 其中有一种用误差传 播学习算法( Error Back Propagation即 BP算法)进行训练的多层前馈神经网 络,简称为 BP网络。BP神经网络模型是人工神经网络的重要模型之一。它有广 泛的应用,主要包括模式识别及分类、故障智能诊断、图像处理、函数拟合、最 优预测等方面的应用。 2.1BP神经网络特点: l) 分布式的信息存储方式 神经网络是以各个处理器本身的状态和它们之间的连接形式存储信息的,一 个信息不是存储在一个地方, 而是按内容分布在整个网络上。 网络上某一处不是 只存储一个外部信息, 而是存储了多个信息的部分内容。整个网络对多个信息加 工后
10、才存储到网络各处,因此,它是一种分布式存储方式。 2)大规模并行处理 BP 神经网络信息的存储与处理(计算) 是合二为一的,即信息的存储体现在 神经元互连的分布上, 并以大规模并行分布方式处理为主,比串行离散符号处理 的现代数字计算机优越。 3)自学习和自适应性 BP 神经网络各层直接的连接权值具有一定的可调性,网络可以通过训练和 学习来确定网络的权值, 呈现出很强的对环境的自适应和对外界事物的自学习能 力。 4)较强的鲁棒性和容错性 BP 神经网络分布式的信息存储方式,使其具有较强的容错性和联想记忆功 能,这样如果某一部分的信息丢失或损坏,网络仍能恢复出原来完整的信息,系 统仍能运行。 19
11、86 年 由 Rumelhart和 McCelland领导 的科学 家小 组 在 Parallel Distributed Processing一书中,对具有非线性连续转移函数的多层前馈网 络的误差反向传播算法进行了详尽分析,实现了Minsky 关于多层网络的设想。 人工神经网络具有广泛的应用领域; 在所有的神经网络应用中, BP神经网络所占 比例在 80% 以上。 BP神经网络因其良好的非线性逼近能力和泛化能力以及使用的 易适性而更是受到众多行业的青睐。BP神经网络采用的反向传播算法(BP 算法) 是目前在前馈神经网络中研究得最为成熟且应用最广的一种有导师学习算法。BP 神经网络在模式识别、
12、图像处理、信息处理、智能控制、故障检测、企业管理、 市场分析等方面的应用已取得了显著成效。可以说,BP 神经网络的应用已深入 到经济、化工、工控、军事等众多领域,并且从其应用的优势及趋势可以预言其 应用前景将更加光明。在这样一个信息及经济高度发达的时期,研究BP神经网 络,为其进一步的发展及应用做出一定的贡献是极具理论价值和实用价值。 2.2 BP神经网络介绍 BP网络是一种单向传播的多层前馈网络, 它包含输人层、隐含层和输出层, 如图 2.1 所示,是目前应用较多的一种模型。该算法在层次型网络结构上采用 误差逆传播学习方式,学习过程由正向传播和误差逆传播组成。 图 2.1 BP 网络示意图
13、BP网络的结构如图 1 所示,算法的主要思想是把学习过程分为两个阶段: 第一阶段是正向传播过程, 输入信息从输入层经隐层逐层计算各单元的实际输 出值,每一层神经元的状态只对下一层神经元的状态产生影响; 第二阶段是反 向传播过程,若在输出层未能得到期望的输出值,则逐层递归计算实际输出与 期望输出之间的差值,根据此误差修正前一层权值使误差信号趋向最小。它通 过连续不断地在相对于误差函数斜率下降的方向上计算网络权值和偏差变化 而逐渐逼近目标。每一次权值和误差的变化都与网络误差的影响成正比。 假设神经网络每层有N个节点,若某一层节点 j 与上层节点 i 之间权值为 Wij,节点的输入总和计为netj
14、、输出计为 Oj,转移函数取非线性的Sigmoid 型函数 1 ( ) () x f x H e ,对 于 节点j ,其 输 入值为其前一 层各单 元加权 和 ji jj i netW Ob,输出值为() j j Of met. 定义误差函数 2 1 () 2 ii Eyy 式中 i y 为输出期望值, j y 为输出实际值。 BP 算法采用梯度法调整权值, 每次调整的量 ij ij E W W 、式中 01,称为学习速率, 它决定每一次训练中 的权值变化大小。进一步简化计算有 ijijb WO , iij b, 其中: ()() ijjjj f netyy,j 为输出层单元; () ijjj
15、kjk f netW ,j 为隐层单元。 BP网络是一种多层前馈神经网络,它采用后向传播算法,亦称BP算法(首 先样本从输入层经各中间层向输出层传播,输出层的各神经元获得网络的输人响 应; 然后按照减小目标输出与实际输出误差的方向,从输出层开始经各中间层逐 层修正各连接权值,以达到学习目的) 。 BP 网络具有结构简单、可操作性强、能模拟任意的非线性输入/ 输出关系 等优点,目前已被广泛应用于模式识别、智能控制、预测、图像识别等领域。但 是,BP 网络存在两个突出问题 ( 收敛速度慢,易陷入局部极小点)使其应用 受到了一定限制。 综上,我们可以看出BP算法主要的优点是简单、易于实现。但是BP算
16、法 有两个致命的缺陷 : 首先最大的缺陷是BP算法很可能陷入局部极小值, 因为通常 的误差曲面都是凸凹不平的,会有多个极值点。BP 算法的另一个缺陷是收敛速 度慢,当采用梯度下降法时步长不容易确定,步长太长则达不到精度, 甚至会发 散; 太小则迭代步骤增加, 收敛速度慢。 鉴于此,目前对 BP算法的改进主要集中 在两个方面 : 1. 是避免陷入局部极小值,一旦陷入要想办法逃出; 2. 是改进迭代算法,加快收敛速度,较常用的方法是共轭梯度法、变尺度 法等。 3. BP神经网络算法的改进 3.1 BP 网络训练过程介绍 BP 网络其实质仍然是多层前馈型人工神经网络, 并且一般认为网络是严格 分层的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2019年整理 2019 整理 神经网络 论文
链接地址:https://www.31doc.com/p-5341279.html