第1章神经网络控制理论.ppt
《第1章神经网络控制理论.ppt》由会员分享,可在线阅读,更多相关《第1章神经网络控制理论.ppt(355页珍藏版)》请在三一文库上搜索。
1、1,李国勇 编著 电子工业出版社,智能预测控制 及其MATLAB实现,2,目 录 第一篇 神经网络控制及其MATLAB实现 第二篇 模糊逻辑控制及其MATLAB实现 第三篇 模型预测控制及其MATLAB实现,3,第一篇 神经网络控制 及其MATLAB实现,4,1.1 神经网络的基本概念 1.2 典型神经网络的模型及其MATLAB实现 1.3 神经网络控制系统,第1章 神经网络控制理论,5,人脑是一部不寻常的智能机,它能以惊人的高速度解释感觉器官传来的含糊不清的信息。它能觉察到喧闹房间内的窃窃私语,能够识别出光线暗淡的胡同中的一张面孔,更能通过不断地学习而产生伟大的创造力。古今中外,许许多多科学
2、家为了揭开大脑机能的奥秘,从不同的角度进行着长期的不懈努力和探索,逐渐形成了一个多学科交叉的前沿技术领域神经网络(Neural Network)。,6,人工神经系统的研究可以追溯到1800年Frued的精神分析学时期,他已经做了一些初步工作。1913年人工神经系统的第一个实践是由Russell描述的水力装置。1943年美国心理学家Warren S McCulloch与数学家Walter H Pitts合作,用逻辑的数学工具研究客观事件在形式神经网络中的描述,从此开创了对神经网络的理论研究。他们在分析、总结神经元基本特性的基础上,首先提出神经元的数学模型,简称MP模型。从脑科学研究来看,MP模型
3、不愧为第一个用数理语言描述脑的信息处理过程的模型。后来MP模型经过数学家的精心整理和抽象,最终发展成一种有限自动机理论,再一次展现了MP模型的价值,此模型沿用至今,直接影响着这一领域研究的进展。,7,1949年心理学家D.O.Hebb提出关于神经网络学习机理的“突触修正假设”,即突触联系效率可变的假设,现在多数学习机仍遵循Hebb学习规则。1957年,Frank Rosenblatt首次提出并设计制作了著名的感知机(Perceptron),第一次从理论研究转入过程实现阶段,掀起了研究人工神经网络的高潮。今天,随着科学技术的迅猛发展,神经网络正以极大的魅力吸引着世界上众多专家、学者为之奋斗。在世
4、界范围内再次掀起了神经网络的研究热潮,难怪有关国际权威人士评论指出,目前对神经网络的研究其重要意义不亚于第二次世界大战时对原子弹的研究。,8,人工神经网络特有的非线性适应性信息处理能力,克服了传统人工智能方法对于直觉,如模式、语音识别、非结构化信息处理方面的缺陷,使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其他传统方法相结合,将推动人工智能和信息处理技术不断发展。近年来,人工神经网络正向模拟人类认知的道路上更加深入发展,与模糊系统、遗传算法、进化机制等结合,形成计算智能,成为人工智能的一个重要方向,将在实际应用中得到发展。,9,使用神经网络的主要优点
5、是能够自适应样本数据,当数据中有噪声、形变和非线性时,它也能够正常地工作,很容易继承现有的领域知识,使用灵活,能够处理来自多个资源和决策系统的数据;提供简单工具进行自动特征选取,产生有用的数据表示,可作为专家系统的前端(预处理器)。此外,神经网络还能提供十分快的优化过程,尤其以硬件直接实现网络时,而且可以加速联机应用程序的运行速度。当然,过分夸大神经网络的应用能力也是不恰当的,毕竞它不是无所不能的。这就需要在实际工作中具体分析问题,合理选择。,10,基于神经网络的控制称为神经网络控制(NNC),简称神经控制(NCNeurocontrol)这一新词是在国际自控联杂志自动化(Automatica)
6、1994年No.11首次使用的,最早源于1992年HTolle和EErsu的专著Neurocontrol。基于神经网络的智能模拟用于控制,是实现智能控制的一种重要形式,近年来获得了迅速发展。本节介绍神经控制的基本概念、基本结构、神经控制系统的组成及其实现神经控制和神经模糊控制的基本方法。,11,1.1 神经网络的基本概念 1.1.1 生物神经元的结构与功能特点 神经生理学和神经解剖学证明了人的思维是由人脑完成的。神经元是组成人脑的最基本单元,它能够接受并处理信息,人脑大约由10111012个神经元组成,其中每个神经元约与104105个神经元通过突触连接,因此,人脑是一个复杂的信息并行加工处理巨
7、系统。探索脑组织的结构、工作原理及信息处理的机制,是整个人类面临的一项挑战,也是整个自然科学的前沿领域。,12,1生物神经元的结构 生物神经元(以下简称神经元),也称神经细胞,是构成神经系统的基本单元。神经元主要由细胞体、树突和轴突构成,其基本结构如图1-1所示。,图11 生物神经元的结构,13,(1)细胞体 细胞体由细胞核、细胞质与细胞膜等组成。一般直径为5100m,大小不等。细胞体是神经元的主体,它是神经元的新陈代谢中心,同时还负责接收并处理从其他神经元传递过来的信息。细胞体的内部是细胞核,外部是细胞膜,细胞膜外是许多外延的纤维,细胞膜内外有电位差,称为膜电位,膜外为正,膜内为负。,14,
8、(2)轴突 轴突是由细胞体向外伸出的所有纤维中最长的一条分枝。每个神经元只有一个轴突,长度最大可达1m以上,其作用相当于神经元的输出电缆,它通过尾部分出的许多神经末梢以及梢端的突触向其他神经元输出神经冲动。,15,(3)树突 树突是由细胞体向外伸出的除轴突外的其他纤维分枝,长度一般均较短,但分枝很多。它相当于神经元的输入端,用于接收从四面八方传来的神经冲动。 突触是轴突的终端,是神经元之间的连接接口,每一个神经元约有104105个突触。一个神经元通过其轴突的神经末梢,经突触与另一神经元的树突连接,以实现信息的传递。,16,2生物神经元的功能特点 从生物控制论的观点来看,作为控制和信息处理基本单
9、元的神经元,具有以下功能特点。 (1)时空整合功能 神经元对于不同时间通过同一突触传入的信息,具有时间整合功能;对于同一时间通过不同突触传入的信息,具有空间整合功能。两种功能相互结合,是使生物神经元具有时空整合的输入信息处理功能。,17,(2)动态极化性 在每一种神经元中,信息都是以预知的确定方向流动的,即从神经元的接收信息部分(细胞体、树突)传到轴突的起始部分,再传到轴突终端的突触,最后再传给另一神经元。尽管不同的神经元在形状及功能上都有明显的不同,但大多数神经元都是按这一方向进行信息流动的。,18,(3)兴奋与抑制状态 神经元具有两种常规工作状态,即兴奋状态与抑制状态。所谓兴奋状态是指神经
10、元对输入信息经整合后使细胞膜电位升高,且超过了动作电位的阈值,此时产生神经冲动并由轴突输出。抑制状态是指对输入信息整合后,细胞膜电位值下降到低于动作电位的阈值,从而导致无神经冲动输出。,19,(4)结构的可塑性 由于突触传递信息的特性是可变的,也就是它随着神经冲动传递方式的变化,传递作用强弱不同,形成了神经元之间连接的柔性,这种特性又称为神经元结构的可塑性。 (5)脉冲与电位信号的转换 突触界面具有脉冲与电位信号的转换功能。沿轴突传递的电脉冲是等幅的、离散的脉冲信号,而细胞膜电位变化为连续的电位信号,这两种信号是在突触接口进行变换的。,20,(6)突触延期和不应期 突触对信息的传递具有时延和不
11、应期,在相邻的两次输入之间需要一定的时间间隔,在此期间,无激励,不传递信息,这称为不应期。 (7)学习、遗忘和疲劳 由于神经元结构的可塑性,突触的传递作用有增强、减弱和饱和的情况。所以,神经细胞也具有相应的学习、遗忘和疲劳效应(饱和效应)。,21,1.1.2 人工神经元模型 生物神经元经抽象化后,可得到如图1-2所示的一种人工神经元模型,它有三个基本要素。 1连接权 连接权对应于生物 神经元的突触,各个 神经元之间的连接强 度由连接权的权值表 示,权值为正表示激 活,为负表示抑制。,图1-2 基本神经元模型,22,2求和单元 用于求取各输入信号的加权和(线性组合)。 3激活函数 激活函数起非线
12、性映射作用,并将神经元输出幅度限制在一定范围内,一般限制在(0,1)或(-1,1)之间。激活函数也称传输函数。 此外还有一个阈值k (或偏值b k= -k)。 以上作用可分别以数学式表达出来: 式中 为输入信号, 为神经元k的权值, 为线性组合结果, 为阈值, 为激活函数, 为神经元k的输出,,23,图1-2 输入扩维后的神经元模型,若把输入的维数增加一维,则可把阈值k包括进去。即 此处增加了一个新的连接,其输入 ,权值 或 ,如图1-2所示。 激活函数 ,一般有以下几种形式: (1) 阶跃函数 函数表达式:,24,(2)分段线性函数 函数表达式: (3)Sigmoid函数 最常用的Sigmo
13、id型函数为 式中 参数a可控制其斜率。 另一种常用的Sigmoid型函数为双曲正切S型函数,即 这类函数具有平滑和渐近线,并保持单调性。,25,1.1.3 神经网络的结构 人工神经网络(Artificial Neural Networks,ANN)是由大量人工神经元经广泛互连而组成的,它可用来模拟脑神经系统的结构和功能。人工神经网络可以看成是以人工神经元为节点,用有向加权弧连接起来的有向图。在此有向图中,人工神经元(以下在不易引起混淆的情况下,人工神经元简称神经元)就是对生物神经元的模拟,而有向加权弧则是轴突突触树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。,26,
14、人工神经网络是生物神经网络的一种模拟和近似。它主要从两个方面进行模拟。一种是从生理结构和实现机理方面进行模拟,它涉及到生物学、生理学、心理学、物理及化学等许多基础科学。由于生物神经网络的结构和机理相当复杂,现在距离完全认识它们还相差甚远;另外一种是从功能上加以模拟,即尽量使得人工神经网络具有生物神经网络的某些功能特性,如学习、识别、控制等功能。 本书仅讨论后者,从功能上来看,人工神经网络(以下简称神经网络,NN)根据连接方式主要分为两类。,27,图1-4 前馈网络,1前馈型网络 前馈神经网络是整个神经网络体系中最常见的一种网络,其网络中各个神经元接受前一级的输入,并输出到下一级,网络中没有反馈
15、,如图1-4所示。节点分为两类,即输入 单元和计算单元,每一 计算单元可有任意个输 入,但只有一个输出 (它可耦合到任意多 个其他节点作为输入)。,28,通常前馈网络可分为不同的层,第i层的输入只与第i-1层输出相连,输入和输出节点与外界相连,而其他中间层称为隐层,它们是一种强有力的学习系统,其结构简单而易于编程。从系统的观点看,前馈神经网络是一静态非线性映射,通过简单非线性处理的复合映射可获得复杂的非线性处理能力。但从计算的观点看,前馈神经网络并非是一种强有力的计算系统,不具备有丰富的动力学行为。大部分前馈神经网络是学习网络,并不注意系统的动力学行为,它们的分类能力和模式识别能力一般强于其他
16、类型的神经网络。,29,2反馈型网络 反馈神经网络又称递归网络,或回归网络。在反馈网络中(Feedback NNs),输入信号决定反馈系统的初始状态,然后系统经过一系列状态转移后,逐渐收敛于平衡状态。这样的平衡状态就是反馈网络经计算后输出的结果,由此可见,稳定性是反馈网络中最重要的问题之一。,图1-5 单层全连接反馈网络,30,如果能找到网络的Lyapunov函数,则能保证网络从任意的初始状态都能收敛到局部最小点。反馈神经网络中所有节点都是计算单元,同时也可接受输入,并向外界输出,可画成一个无向图,如图1-5(a)所示,其中每个连接弧都是双向的,也可画成图1-4(b)的形式。若总单元数为n,则
17、每一个节点有n-l个输入和一个输出。,31,神经网络的工作过程主要分为两个阶段:第一阶段是学习期,此时各计算单元状态不变,各连接权上的权值可通过学习来修改;第二阶段是工作期,此时各连接权固定,计算单元变化,以达到某种稳定状态。 从作用效果看,前馈网络主要是函数映射,可用于模式识别和函数逼近。反馈网络按对能量函数的极小点的利用来分类有两种:第一类是能量函数的所有极小点都起作用,这一类主要用作各种联想存储器;第二类只利用全局极小点,它主要用于求解最优化问题。,1.1.4 神经网络的工作方式,32,1.1.5 神经网络的学习 1学习方式 通过向环境学习获取知识并改进自身性能是神经网络的一个重要特点,
18、在一般情况下,性能的改善是按某种预定的度量调节自身参数(如权值)随时间逐步达到的,学习方式(按环境所供信息的多少分)有以下三种。,33,(1)有监督学习(有教师学习),图1-6 有监督学习框图,这种学习方式需要外界存在一个“教师”,他可对一组给定输入提供应有的输出结果(正确答案), 这组已知的输入输出数据称为训练样本集。学习系统可根据已知输出与实际输出之间的差值(误差信号)来调节系统参数,如图1-6所示。,34,在有监督学习当中,学习规则由一组描述网络行为的训练集给出: x1,t1,x1,t1, xN,tN,其中 xi为网络的输入,ti为相应的目标输出。当输入作用到网络时,网络的实际输出与目标
19、输出相比较,然后学习规则调整网络的权值和域值,从而使网络的实际输出越来越接近于目标输出。,35,(2)无监督学习(无教师学习) 无监督学习时不存在外部教师,学习系统完全按照环境所提供数据的某些统计规律来调节自身参数或结构(这是一种自组织过程),以表示外部输入的某种固有特性(如聚类,或某种统计上的分布特征),如图1-7所示。在无监督学习当中,仅仅根据网络的输入调整网络的权值和域值,它没有目标输出。乍一看这种学习似乎并不可行:不知道网络的目的是什么,还能够训练网络吗?实际上,大多数这种类型的算法都是要完成某种聚类操作, 学会将输入模式分为有限的 几种类型。这种功能特别适 合于诸如向量量化等应用问题
20、。,图1-7 无监督学习框图,36,(3)强化学习(或再励学习),图1-8 强化学习框图,这种学习介于上述两种情况之间,外部环境对系统输出结果只给出评价(奖或罚)而不是给出正确答案,学习系统通过强化那些受奖励的动作来改善自身性能,如图1-8所示。强化学习与有监督的学习类似,只是它不像有监督的学习一样为每一个输入提供相应的目标输出,而是仅仅给出一个级别。这个级别(或评分)是对网络在某些输入序列上的性能测度。当前这种类型 的学习要比有监督的学习 少见。它最为适合控制系 统应用领域。,37,2学习算法 (1)学习规则(误差修正规则) 令yi(k)为输入x(k)时神经元i在k时刻的实际输出,ti(k)
21、表示相应的期望输出,则误差信号可写为: ei(k)= ti(k) -yi(k) 误差纠正学习的最终目的是使某一基于ei(k)的目标函数达最小,以使网络中每一输出单元的实际输出在某种统计意义上最逼近于期望输出。一旦选定了目标函数形式,误差纠正学习就成为一个典型的最优化问题。,38,最常用的目标函数是均方误差判据,定义为: 其中 E是统计期望算子,上式的前提是被学习的过程是宽平稳的,具体方法可用最陡梯度下降法。直接用J作为目标函数时,需要知道整个过程的统计特性,为解决这一困难用J在时刻k的瞬时值J(k)代替J,即,39,问题变为求J(k)对权值wij的极小值,根据最陡梯度下降法可得: 式中,为学习
22、速率或步长(01),f()为激活函数。这就是通常说的误差纠正学习规则(或称规则),用于控制每次误差修正值。它是基于使输出方差最小的思想而建立的。,40,(2)Hebb学习 神经心理学家Hebb提出的学习规则可归结为“当某一突触(连接)两端的神经元的激活同步(同为激活或同为抑制)时,该连接的强度应增加,反之则应减弱”,用数学方式可描述为: 式中yi(k),xj(k)分别为wij两端神经元的状态,其中最常用的一种情况为: 式中 为学习速率。由于wij(k)与yi(k),xj(k)的相关成比例,有时称之为相关学习规则。上式定义的Hebb规则实际上是一种无监督的学习规则,因它不需要关于目标输出的任何相
23、关信息。,41,原始的Hebb学习规则对权值矩阵的取值未做任何限制,因而学习后权值可取任意值。为了克服这一弊病,在Hebb学习规则的基础上增加一个衰减项,即 衰减项的加入能够增加网络学习的“记忆”功能,并且能够有效地对权值的取值加以限制。衰减系数dr的取值在0,1之间。当取0时,就变成原始的Hebb学习规则。 另外,Hebb规则还可以采用有监督的学习,对于有监督学习的Hebb规则而言,将目标输出代替实际输出。由此,算法被告知的就是网络应该做什么,而不是网络当前正在做什么,可描述为:,42,Kohonen规则: Instar规则: Outstar规则:,图1-8 竞争学习网络,(3)竞争(Com
24、petitive)学习 顾名思义,在竞争学习时网络各输出单元互相竞争,最后达到只有一个最强者激活。最常见的一种情况是输出神经元之间有侧向抑制性连接,如图1-8所示。这样众多输出单元中如有某一单元较强,则它将获胜并抑制其他单元,最后只有比较强者处于激活状态。最常用的竞争学习规则有以下三种:,43,图1-9 自适应学习框图,3学习与自适应 当学习系统所处环境平稳时(统计特征不随时间变化),从理论上说通过监督学习可以学到环境的统计特征,这些统计特征可被学习系统(神经网络)作为经验记住。如果环境是非平稳的(统计特征随时间变化),通常的监督学习没 有能力跟踪这种变化,为解 决此问题需要网络有一定的 自适
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络 控制 理论
链接地址:https://www.31doc.com/p-2597956.html