《最新ch6神经网络理论基础-oknew-PPT文档.ppt》由会员分享,可在线阅读,更多相关《最新ch6神经网络理论基础-oknew-PPT文档.ppt(44页珍藏版)》请在三一文库上搜索。
1、 以冯诺依曼型计算机为中心的信息 处理技术的高速发展,计算机在信息化 社会中起着十分重要的作用。 但是,当用它来解决某些人工智能问 题时却遇到了很大的困难。 模糊控制从人的经验出发,解决了 智能控制中人类语言描述和推理问题, 但在处理数值数据、自学习能力等方面 远未达到人脑境界 从人脑生理、心理学着手,模拟人 脑工作机理 大脑是由生物神经元构成的巨型网 络,它在本质上不同于计算机,是一种 大规模的并行处理系统,它具有学习、 联想记忆、综合等能力,并有巧妙的信 息处理方法。 人工神经网络是模拟人脑思维方式 的数学模型,从微观结构和功能上对人 脑进行抽象和简化,模拟人类智能 人工神经网络(简称神经
2、网络)也是由大 量的、功能比较简单的形式神经元互相 连接而构成的复杂网络系统,用它可以 模拟大脑的许多基本功能和简单的思维 方式。 6.1 神经网络发展史 1 启蒙期(1890-1969) 对大脑神经元研究表明,当其处于兴奋状 态时,输出侧的轴突就会发出脉冲信号,每个 神经元的树状突起与来自其它神经元轴突的互 相结合部(此结合部称为Synapse,即突触)接收 由轴突传来的信号。如果神经元所接收到的 信号的总和超过了它本身的“阈值”,则该神 经元就会处于兴奋状态,并向它后续连接的神 经元发出脉冲信号。 1890年,W.James发表心理学, 讨论脑结构和功能 1943年,W.S.McCullo
3、ch和W.Pitts提出了描述 脑神经细胞动作的数学模型,即MP模型。 1949年,D.O.Hebb提出了神经元的学习法则,即 Hebb法则。 50年代末,E.Rosenblatt提出了描述信息在人脑 中存储和记忆的数学模型,即感知机 (Perceptron)模型。 感知机是现代神经计算的出发点。Block于 1962年用解析法证明了感知机的学习收敛定理 。正是由于这一定理的存在,才使得感知机的 理论具有实际的意义,并引发了60年代以感知 机为代表的第一次神经网络研究发展的高潮。 1961年,ERCaianiello提出了能实现记忆和 识别的神经网络模型,它由学习方程式和记忆 方程式两部分组成
4、。 1962年,MMinsky和S.Papert进一步发展了感 知机的理论,他们把感知机定义为一种逻辑函 数的学习机。 BWidraw在稍后于感知机一些时候提出了 Adline分类学习机。它在结构上与感知机相似 ,但在学习法则上采用了最小二乘平均误差法 。 2.低潮期(1969-1982年) 神经网络理论研究水平的限制 计算机发展的冲击 1969年,Grossberg提出迄今为止最复杂 的ART神经网络 1972年,Kohonen提出自组织映射的 SOM模型 3. 复兴期 1982年,美国物理学家Hopfield对神经网络 的动态特性进行了研究,提出了Hopfield神经 网络模型,引入能量函
5、数,实现问题优化求解 1986年,以Rumelhart为首的PDP(Parallel Distributed Processing)并行分布处理研究集团 对联结机制(connectionist)进行了研究,提出了 著名的多层神经网络模型,即BP网络,至今为 止应用最普遍。 TJSejnowski等人还研究了神经网络语 音信息处理装置。 这些成功的研究对第二次神经网络研究高 潮的形成起了决定性的作用。 Hopfield模型的动作原理是: 只要由神经元兴奋的算法和神经元之 间的结合强度所决定的神经网络的状态 在适当给定的兴奋模式下尚未达到稳定 ,那么该状态就会一直变化下去,直到 预先定义的一个必定
6、减小的能量函数达 到极小值时,状态才达到稳定而不再变 化。 1985年,Hopfield和DWTank用 上述模型求解了古典的旅行推销商问题 (Traveling Salesman Problem),简称 TSP问题。 1983年,SEFarmann和Hiton提出了波 尔兹曼机BM(Boltzmann Machine),该神经网 络模型中使用了概率动作的神经元,把神经元 的输出函数与统计力学中的波尔兹曼分布联系 起来。 1985年,WOHillis发表了称为联结机 (connection)的超级并行计算机。他把65536个 lbit的微处理机排列成起立方体的互连形式, 每个微处理机还带有4k
7、bit的存贮器。 误差反向传播神经网络BP(Error Back Propagation Neural Network)是1986年由 Rumelhart和Hinton提出的, 4.新连接机制时期(1986年-) 神经网络从理论应用(神经网络芯 片、神经计算机) 模式识别与图象处理、控制与优化、预 测与管理、通信领域 并行分布处理理论 1986年,Rumelhart和McClelland发 表了并行分布处理认知微结构探 索一书。(Parallel Distributed Processing) 系统地总结了PDP的概念、理论、数 学方法、产生的背景和发展前景。著名 的BP神经网络学习法则就是在
8、本书中由 Rumelhart提出的。 神经网络的研究概况 神经网络的研究主要可分为以下三个方面: 1大脑和神经系统的信息处理原理。 2构造能实现信息处理的神经网络模型。 3能实现信息处理基本原理的技术研究一神经 计算机。 美国军方,认为神经网络技术是比原子弹 工程更重要的技术。美国国防部(DARPA)曾宣 布执行一项总投资为4亿美元的八年计划,其主 要研究目标为:连续语音信号识别、声纳信号 识别、目标识别及跟踪等。 日本通产省早在1988年也提出了 所谓人类尖端科学计划(Human Frontier Science Program),即所谓的第六代计算机计 划,研制能模拟人类智能行为的计算机系
9、统。 到目前为止,已经发表了多达几十种的 神经网络模型,它们具备不同的信息处理能力,典型 的神经网络模型如表1.2所示。 1987年6月21至24日在美国加州圣地亚哥 (San Diego)召开的第一届神经网络国际会议 ; 1988年,我国在北京召开了神经网络的国际研究 工作会议,并出版了论文集。 关于神经网络的主要国际性杂志有: (1)Neural Networks(国际神经网络协会会刊) (2)IEEE Transactions on Neural Networks (3)IEEE Transactions on Parallel Distributed System (4)Connect
10、ions Science (5)Neurocomputing (6)Neural Computation (7)International Journal of Neural Systems 6.2 神经网络原理 生物神经元 人脑大约由1012个神经元组成,神经 元互相连接成神经网络 神经元是大脑处理信息的基本单元, 以细胞体为主体,由许多向周围延伸的不 规则树枝状纤维构成的神经细胞,其形状 很像一棵枯树的枝干。它主要由细胞体、 树突、轴突和突触(Synapse,又称神经键) 组成。 图61 单个生物神经元解剖图 细胞体:包括细胞质、细胞膜和细胞核 树突:用于为细胞体传入信息 轴突:为细胞体传
11、出信息,其末端为神 经末梢,含传递信息的化学物质 突触:神经元之间的接口(可塑性) 从神经元各组成部分的功能来看, 信息的处理与传递主要发生在突触附近 。当神经元细胞体通过轴突传到突触前 膜的脉冲幅度达到一定强度,即超过其 阈值电位后,突触前膜将向突触间隙释 放神经传递的化学物质。 突触有两种:兴奋性突触和抑制性突 触。前者产生正突触后电位,后者产生 负突触后电位。 突触传递信息的功能和特点归纳为: 信息传递有时延,一般为0.3lms。 信息的综合有时间累加和空间累加。(时空整合) 突触有兴奋性和抑制性两种类型。 具有脉冲电位信号转换功能。 神经纤维传导的速度,即脉冲沿神经纤维传递的速度 ,在
12、1150ms之间 存在不应期。 不可逆性,脉冲只从突触前传到突触后,不逆向传递 。 (动态极化性) 可塑性,突触传递信息的强度是可变的,即具有学习 功能。 存在遗忘或疲劳效应。 人脑神经网络信息处理的特点 1分布存储与冗余性 2并行处理 3信息处理与存储合一 4可塑性与自组织性 5鲁棒性 人工神经网络 人工神经网络以数学手段来模拟人脑 神经网络结构和特性 神经网络是一个并行和分布式的信息 处理网络结构,它一般由许多个神经元 组成,每个神经元只有一个输出,它可 以连接到很多其他的神经元,每个神经 元输入有多个连接通道,每个连接通道 对应于一个连接权系数。 目前已有40多种模型 人工神经元模型 归
13、纳一下生物神经元传递信息的过程: 生物神经元是一个多输入、单输出单元。 常用的人工神经元模型可用下图模拟。 图 人工神经元模型 响应函数(激活函数)的基本作用: 1、控制输入对输出的激活作用; 2、对输入、输出进行函数转换; 3、将可能无限域的输入变换成指定的有限 范围内的输出。 根据响应函数的不同,人工神经元 有以下几种类型: 图 人工神经元的响应函数 1、阈值单元 2、线性单元 3、非线性单元:Sigmoid函数 上述模型能反映生物神经元的基本 特性,但还有如下不同之点: (1)生物神经元传递的信息是脉冲,而上述 模型传递的信息是模拟电压。 (2)由于在上述模型中用一个等效的模拟电 压来模
14、拟生物神经元的脉冲密度,所以 在模型中只有空间累加而没有时间累加( 可以认为时间累加已隐含在等效的模拟 电压之中)。 (3)上述模型未考虑时延、不应期和疲劳等 。 6.3 人工神经网络的分类 神经元的模型确定之后,一个神经 网络的特性及能力主要取决于网络的拓扑 结构及学习方法。 人工神经网络连接的几种基本形式: 1前向网络 网络中的神经元是分层排列的,每个神经 元只与前一层的神经元相连接。 2反馈网络 从输出到输入有反馈,反馈动力学系统,需 要工作一段时间才稳定,具有联想记忆功能 3自组织网络 神经网络接受外界输入时,网络会分成不同 区域,不同区域具有不同的响应特性,即不同 的神经元以最佳方式
15、响应不同性质的信号激励 ,形成一种非线性映射,通过无监督的自适应 过程完成(聚类) 图 神经网络的典型结构 6.4 人工神经网络的学习 算法 神经网络最有用的特征之一是它具有自学习功能 。通常一个ANN模型要实现某种功能,就需要 对其加以训练。所谓“训练”,就是让它学会要 做的事情,通过学习,把这些知识记忆在网络 的权值中。 学习方法是人工神经网络研究中的核心问题,通 过学习算法,实现自适应、自组织和自学习能 力。 神经网络的权值并非固定不变,相反这些权值可 以根据经验或学习来改变。神经网络的学习过 程就是不断调整网络的连接数值,以获得期望 输出。 人工神经网络连接权的确定通常有: 有导师学习
16、、无导师学习和再励学习 常用的神经网络学习方式: (1)有导师学习监督学习 Supervised Learning 例 如BP 有明确的“教师”信号 神经网络 比较 输入实际输出 期望输出 (2)无导师学习无监督学习 Unsupervised Learning 没有任何“教师”信号 只是通过输入数据的内部信息 相当自组织?类方法。 神经网络输入实际输出 (3)再励学习 Reinforcement Learning 源于心理学 神经网络1 环境 输入 输出 神经网络2 神经网络的工作方式: 学习阶段修改权值 工作阶段 计算单元变化 1Hebb学习规则 是Donall Hebb根据生理学中条件反射
17、机理 ,于1949年提出的神经元连接强度变化的规则 。 如果两个神经元同时兴奋(即同时被激活), 则它们之间的突触连接加强。 Hebb学习规则是一种无导师学习的方法 ,称为相关学习或并联学习,是人工神经 网络学习的基本规则,几乎所有神经网络 的学习规则都可以看作Hebb学习规则的变 形。 是用已知样本作为教师对网络进行学习。 主要利用误差:ek=dk- yk 学习目的是通过调整权值,使某一基于ek的目 标函数达到最小 如:常用的目标函数是均方误差判据 2Delta学习规则 可用梯度下降法对权值W求导,得 3)竞争学习规则 在竞争学习时,网络各输出单元相互竞争,最后 达到只有一个最强者激活。 6.5 神经网络特征及要素 特征: 能逼近任意非线性函数 信息的并行分布式处理与存储 可以多输入、多输出 便于用超大规模集成电路、光学集成电 路系统和计算机实现 能进行学习,以适应环境的变化 三要素 神经元的特性 神经元之间相互连接的拓扑结构 为适应环境而改善性能的学习规则 6.6 神经网络研究领域 系统辨识 神经网络控制器 与其他算法结合设计新型控制系统 优化计算 思考 : 1、6-1 2、6-2 3、6-3
链接地址:https://www.31doc.com/p-1940107.html