人工神经网络ArtificialNeuralNetworks.ppt

2019/7/23,1,人工神经网络 Artificial Neural Networks,2019/7/23,2,蒋宗礼 软件学科部 联系电话：67392508 Email：jiangzlbjpu.edu.cn 办公地点：信息北楼214,2019/7/23,3,教材,书名：人工神经网络导论 出版社：高等教育出版社 出版日期：2001年8月 定价：12.4元 作者：蒋宗礼,2019/7/23,4,主要参考书目,1、Philip D. Wasserman， Neural Computing: Theory and Practice，Van Nostrand Reinhold，1989 2、胡守仁、余少波、戴葵，神经网络导论，国防科技大学出版社，1993年10月 3、杨行峻、郑君里，人工神经网络，高等教育出版社，1992年9月 4、闻新、周露、王丹力、熊晓英，MATLAB神经网络应用设计，科学出版社，2001.5.,2019/7/23,5,课程目的和基本要求,作为人工神经网络的入门课程，用于将学生引入人工神经网络及其应用的研究领域。 介绍人工神经网络及其基本网络模型，使学生 了解智能系统描述的基本模型 掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模型的结构、特点、典型训练算法、运行方式、典型问题 掌握软件实现方法。,2019/7/23,6,课程目的和基本要求,了解人工神经网络的有关研究思想，从中学习开拓者们的部分问题求解方法。 通过实验进一步体会有关模型的用法和性能，获取一些初步的经验。 查阅适当的参考文献，将所学的知识与自己未来研究课题（包括研究生论文阶段的研究课题）相结合起来，达到既丰富学习内容，又有一定的研究和应用的目的。,2019/7/23,7,主要内容,智能及其实现 ANN基础 Perceptron BP CPN 统计方法 Hopfield网与BAM ART,2019/7/23,8,主要内容,第一章：引论 智能的概念、智能系统的特点及其描述基本模型，物理符号系统与连接主义的观点及其比较；人工神经网络的特点、发展历史。,2019/7/23,9,主要内容,第二章 人工神经网络基础 本章在介绍了基本神经元后，将概要介绍人工神经网络的一般特性。主要包括，生物神经网络模型，人工神经元模型与典型的激励函数；人工神经网络的基本拓扑特性，存储类型（CAMLTM，AMSTM）及映象，Supervised训练与Unsupervised训练。,2019/7/23,10,主要内容,第三章 感知器 感知器与人工神经网络的早期发展；单层网能解决线性可分问题，而无法解决线形不可分问题，要想解决这一问题，必须引入多层网；Hebb学习律，Delta规则，感知器的训练算法。 实验：实现一个感知器。,2019/7/23,11,主要内容,第四章 向后传播 BP（Backpropagation）网络的构成及其训练过程；隐藏层权调整方法的直观分析，BP训练算法中使用的Delta规则（最速下降法）的理论推导；算法的收敛速度及其改进讨论；BP网络中的几个重要问题。 实验：实现BP算法。,2019/7/23,12,主要内容,第五章 对传网 生物神经系统与异构网的引入；对传网的网络结构，Kohonen层与Grossberg层的正常运行，对传网的输入向量的预处理，Kohonen层的训练算法及其权矩阵的初始化方法；Grossberg层的训练；完整的对传网。 实验：实现基本的对传网。,2019/7/23,13,主要内容,第六章 统计方法 统计方法是为了解决局部极小点问题而引入的，统计网络的基本训练算法，模拟退火算法与收敛分析，Cauchy训练，人工热处理与临界温度在训练中的使用，BP算法与Cauchy训练相结合。 实验：实现模拟退火算法。,2019/7/23,14,主要内容,第七章 循环网络 循环网络的组织，稳定性分析；相联存储；统计Hopfield网与Boltzmann机；Hopfield网用于解决TSP问题。 BAM(Bidirectional Associative Memory)用于实现双联存储；基本双联存储网络的结构及训练；其他的几种相联存储网络。 实验：实现一个Hopfield网。,2019/7/23,15,主要内容,第八章 自适应共振理论 人脑的稳定性与可塑性问题；ART模型的总体结构与分块描述；比较层与识别层之间的两个联接矩阵的初始化，识别过程与比较过程，查找的实现；训练讨论。,2019/7/23,16,第1章 引言,主要内容： 智能与人工智能； ANN的特点； 历史回顾与展望 重点： 智能的本质； ANN是一个非线性大规模并行处理系统 难点：对智能的刻画,2019/7/23,17,第1章 引言,1.1 人工神经网络的提出 1.2 人工神经网络的特点 1.3 历史回顾,2019/7/23,18,第1章 引言,人类对人工智能的研究可以分成两种方式对应着两种不同的技术： 传统的人工智能技术心理的角度模拟 基于人工神经网络的技术生理的角度模拟,2019/7/23,19,1.1 人工神经网络的提出,人工神经网络（Artificial Neural Networks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。,2019/7/23,20,1.1 人工神经网络的提出,1.1.1 智能与人工智能 一、 智能的含义 智能是个体有目的的行为，合理的思维，以及有效的、适应环境的综合能力。 智能是个体认识客观事物和运用知识解决问题的能力。 人类个体的智能是一种综合能力。,2019/7/23,21,1.1 人工神经网络的提出,智能可以包含8个方面 感知与认识客观事物、客观世界和自我的能力 感知是智能的基础最基本的能力 通过学习取得经验与积累知识的能力 这是人类在世界中能够不断发展的最基本能力。 理解知识，运用知识和经验分析、解决问题的能力 这一能力可以算作是智能的高级形式。是人类对世界进行适当的改造，推动社会不断发展的基本能力。,2019/7/23,22,1.1 人工神经网络的提出,联想、推理、判断、决策语言的能力 这是智能的高级形式的又一方面。 预测和认识 “主动”和“被动”之分。联想、推理、判断、决策的能力是“主动”的基础。 运用进行抽象、概括的能力 上述这5种能力，被认为是人类智能最为基本的能力,2019/7/23,23,1.1 人工神经网络的提出,作为5种能力综合表现形式的3种能力 发现、发明、创造、创新的能力 实时、迅速、合理地应付复杂环境的能力 预测、洞察事物发展、变化的能力,2019/7/23,24,1.1 人工神经网络的提出,二、人工智能 人工智能：研究如何使类似计算机这样的设备去模拟人类的这些能力。 研究人工智能的目的 增加人类探索世界，推动社会前进的能力 进一步认识自己 三大学术流派 符号主义（或叫做符号/逻辑主义）学派 联接主义（或者叫做PDP）学派 进化主义（或者叫做行动/响应）学派,2019/7/23,25,1.1 人工神经网络的提出,1.1.2 物理符号系统,人脑的反映 形式化 现实 信息 数据 物理系统 物理符号系统 表现智能,2019/7/23,26,1.1 人工神经网络的提出,Newell和Simon假说 ：一个物理系统表现智能行为的充要条件是它有一个物理符号系统 概念：物理符号系统需要有一组称为符号的实体组成，它们都是物理模型，可以在另一类称为符号结构的实体中作为成分出现，以构成更高级别的系统,2019/7/23,27,1.1 人工神经网络的提出,困难： 抽象舍弃一些特性，同时保留一些特性 形式化处理用物理符号及相应规则表达物理系统的存在和运行。 局限： 对全局性判断、模糊信息处理、多粒度的视觉信息处理等是非常困难的。,2019/7/23,28,1.1 人工神经网络的提出,1.1.3 联接主义观点 核心：智能的本质是联接机制。 神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统 ANN力求从四个方面去模拟人脑的智能行为 物理结构 计算模拟 存储与操作 训练,2019/7/23,29,1.1 人工神经网络的提出,1.1.4 两种模型的比较 心理过程 逻辑思维 高级形式（思维的表象） 生理过程 形象思维 低级形式（思维的根本） 仿生 人工神经网络,联结主义观点,物理符号系统,2019/7/23,30,1.1 人工神经网络的提出,物理符号系统和人工神经网络系统的差别,2019/7/23,31,1.1 人工神经网络的提出,两种人工智能技术的比较,2019/7/23,32,1.2 人工神经网络的特点,信息的分布表示 运算的全局并行和局部操作 处理的非线性,2019/7/23,33,1.2.1 人工神经网络的概念,1、定义 1）HechtNielsen（1988年） 人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PEProcessing Element）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。,2019/7/23,34,1.2.1 人工神经网络的概念,（1）HechtNielsen（1988年）（续） 处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。,2019/7/23,35,1.2.1 人工神经网络的概念,强调： 并行、分布处理结构； 一个处理单元的输出可以被任意分枝，且大小不变； 输出信号可以是任意的数学模型； 处理单元完全的局部操作,2019/7/23,36,1.2.1 人工神经网络的概念,（2） Rumellhart，McClelland，Hinton的PDP 1） 一组处理单元（PE或AN）； 2） 处理单元的激活状态（ai）； 3） 每个处理单元的输出函数（fi）； 4） 处理单元之间的联接模式； 5） 传递规则（wijoi）； 6） 把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）； 7） 通过经验修改联接强度的学习规则； 8） 系统运行的环境（样本集合）。,2019/7/23,37,1.2.1 人工神经网络的概念,（3） Simpson（1987年） 人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。,2019/7/23,38,1.2.1 人工神经网络的概念,2、关键点 （1） 信息的分布表示 （2） 运算的全局并行与局部操作 （3） 处理的非线性特征 3、对大脑基本特征的模拟 1） 形式上：神经元及其联接；BN对AN 2） 表现特征：信息的存储与处理,2019/7/23,39,1.2.1 人工神经网络的概念,4、别名 人工神经系统（ANS） 神经网络（NN） 自适应系统（Adaptive Systems）、自适应网（Adaptive Networks） 联接模型（Connectionism） 神经计算机（Neurocomputer）,2019/7/23,40,1.2.2 学习（Learning）能力,人工神经网络可以根据所在的环境去改变它的行为 自相联的网络 异相联的网络：它在接受样本集合A时，可以抽取集合A中输入数据与输出数据之间的映射关系。“抽象”功能。 不同的人工神经网络模型，有不同的学习/训练算法,2019/7/23,41,1.2.3 基本特征的自动提取,由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用这种不精确性，比较自然地实现模式的自动分类。 普化（Generalization）能力与抽象能力,2019/7/23,42,1.2.4 信息的分布存放,信息的分布存提供容错功能 由于信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以被存取。 系统在受到局部损伤时还可以正常工作。 并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西。,2019/7/23,43,1.2.5适应性(Applicability)问题,擅长两个方面： 对大量的数据进行分类，并且只有较少的几种情况； 必须学习一个复杂的非线性映射。 目前应用： 人们主要将其用于语音、视觉、知识处理、辅助决策等方面。 在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解（不是最佳近似解）等方面也有较好的应用。,2019/7/23,44,1.3 历史回顾,1.3.1 萌芽期（20世纪40年代） 人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。 1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊Bulletin of Methematical Biophysics 1949年，心理学家D. O. Hebb提出神经元之间突触联系是可变的假说Hebb学习律。,2019/7/23,45,1.3.2 第一高潮期（19501968）,以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是单级感知器（Perceptron）。 可用电子线路模拟。 人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。,2019/7/23,46,1.3.3 反思期（19691982）,M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年 异或”运算不可表示 二十世纪70年代和80年代早期的研究结果 认识规律：认识实践再认识,2019/7/23,47,1.3.4 第二高潮期（19831990）,1982年，J. Hopfield提出循环网络 用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据 阐明了ANN与动力学的关系 用非线性动力学的方法来研究ANN的特性 指出信息被存放在网络中神经元的联接上,2019/7/23,48,1.3.4 第二高潮期（19831990）,2）1984年， J. Hopfield设计研制了后来被人们称为Hopfield网的电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。 3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。,2019/7/23,49,1.3.4 第二高潮期（19831990）,4）1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werbos1974年） 国内首届神经网络大会是1990年12月在北京举行的。,2019/7/23,50,1.3.5 再认识与应用研究期（1991）,问题： 1）应用面还不够宽 2）结果不够精确 3）存在可信度的问题,2019/7/23,51,1.3.5 再认识与应用研究期（1991）,研究： 1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。 2）充分发挥两种技术各自的优势是一个有效方法 3）希望在理论上寻找新的突破，建立新的专用/通用模型和算法。 4）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。,2019/7/23,52,第2章 人工神经网络基础,主要内容： BN与AN； 拓扑结构； 存储； 训练 重点：AN；拓扑结构；训练 难点：训练,2019/7/23,53,第2章 人工神经网络基础,2.1 生物神经网 2.2 人工神经元 2.3 人工神经网络的拓扑特性 2.4 存储与映射 2.5 人工神经网络的训练,2019/7/23,54,2.1 生物神经网,1、构成,2、工作过程,2019/7/23,55,2.1 生物神经网,3、六个基本特征： 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作用的； 5）一个神经元接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值”。,2019/7/23,56,2.2 人工神经元,神经元是构成神经网络的最基本单元（构件）。 人工神经元模型应该具有生物神经元的六个基本特性。,2019/7/23,57,2.2.1 人工神经元的基本构成,人工神经元模拟生物神经元的一阶特性。 输入：X=（x1，x2，xn） 联接权：W=（w1，w2，wn）T 网络输入： net=xiwi 向量形式： net=XW,2019/7/23,58,2.2.2 激活函数(Activation Function),激活函数执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数： o=f（net） 1、线性函数（Liner Function） f（net）=k*net+c,2019/7/23,59,2、非线性斜面函数(Ramp Function), if net f（net）= k*net if |net|0为一常数，被称为饱和值，为该神经元的最大输出。,2019/7/23,60,2、非线性斜面函数（Ramp Function）,2019/7/23,61,3、阈值函数（Threshold Function）阶跃函数, if net f（net）= - if net 、均为非负实数，为阈值 二值形式： 1 if net f（net）= 0 if net 双极形式： 1 if net f（net）= -1 if net ,2019/7/23,62,3、阈值函数（Threshold Function）阶跃函数,-,o,net,0,2019/7/23,63,4、S形函数,压缩函数（Squashing Function）和逻辑斯特函数（Logistic Function）。 f（net）=a+b/(1+exp(-d*net) a，b，d为常数。它的饱和值为a和a+b。 最简单形式为： f（net）= 1/(1+exp(-d*net) 函数的饱和值为0和1。 S形函数有较好的增益控制,2019/7/23,64,4、S形函数,2019/7/23,65,2.2.3 M-P模型,McCullochPitts（MP）模型，也称为处理单元（PE）,2019/7/23,66,上次课内容回顾,擅长两个方面 目前应用 语音、视觉、知识处理 数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解（不是最佳近似解） 辅助决策预报与智能管理 通信自适应均衡、回波抵消、路由选择、ATM中的呼叫接纳、识别与控制 空间科学对接、导航、制导、飞行程序优化,2019/7/23,67,上次课内容回顾,发展过程 萌芽期（20世纪40年代） M-P模型 Hebb学习律 第一高潮期（19501968） Perceptron的兴衰 反思期（19691982） 第二高潮期（19831990） 4个标志性成果 再认识与应用研究期（1991）,2019/7/23,68,上次课内容回顾,生物神经网六个基本特征 神经元及其联接、信号传递、训练、刺激与抑制、累积效果、 “阈值”。 人工神经元的基本构成,2019/7/23,69,上次课内容回顾,激活函数与M-P模型 线性函数、非线性斜面函数、阈值函数 S形函数 M-P模型,2019/7/23,70,2.3 人工神经网络的拓扑特性,连接的拓扑表示,2019/7/23,71,2.3.1 联接模式,用正号（“+”，可省略）表示传送来的信号起刺激作用，它用于增加神经元的活跃度； 用负号（“-”）表示传送来的信号起抑制作用，它用于降低神经元的活跃度。 层次（又称为“级”）的划分，导致了神经元之间的三种不同的互连模式：,2019/7/23,72,2.3.1 联接模式,1、 层（级）内联接 层内联接又叫做区域内（Intra-field）联接或侧联接（Lateral）。 用来加强和完成层内神经元之间的竞争 2、 循环联接 反馈信号。,2019/7/23,73,2.3.1 联接模式,3、层（级）间联接 层间（Inter-field）联接指不同层中的神经元之间的联接。这种联接用来实现层间的信号传递 前馈信号 反馈信号,2019/7/23,74,2.3.2 网络的分层结构,单级网 简单单级网,2019/7/23,75,简单单级网,2019/7/23,76,简单单级网,W=（wij） 输出层的第j个神经元的网络输入记为netj： netj=x1w1j+x2w2j+xnwnj 其中, 1 j m。取 NET=（net1，net2，netm） NET=XW O=F（NET）,2019/7/23,77,单级横向反馈网,2019/7/23,78,单级横向反馈网,V=（vij） NET=XW+OV O=F（NET） 时间参数神经元的状态在主时钟的控制下同步变化 考虑X总加在网上的情况 NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1) O（0）=0 考虑仅在t=0时加X的情况。 稳定性判定,2019/7/23,79,多级网,2019/7/23,80,层次划分 信号只被允许从较低层流向较高层。 层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。 输入层：被记作第0层。该层负责接收来自网络外部的信息,2019/7/23,81,第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。 输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。 隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号,2019/7/23,82,约定 : 输出层的层号为该网络的层数：n层网络，或n级网络。 第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。,2019/7/23,83,多级网h层网络,2019/7/23,84,多级网,非线性激活函数 F(X)=kX+C F3(F2(F1(XW(1)W(2)W(3),2019/7/23,85,循环网,2019/7/23,86,循环网,如果将输出信号反馈到输入端,就可构成一个多层的循环网络。 输入的原始信号被逐步地“加强”、被“修复”。 大脑的短期记忆特征看到的东西不是一下子就从脑海里消失的。 稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。,2019/7/23,87,2.4 存储与映射,空间模式（Spatial Model） 时空模式（Spatialtemporal Model） 空间模式三种存储类型 1、 RAM方式（Random Access Memory） 随机访问方式是将地址映射到数据。 2、 CAM方式（Content Addressable Memory） 内容寻址方式是将数据映射到地址。 3、 AM方式（Associative Memory） 相联存储方式是将数据映射到数据。,2019/7/23,88,2.4 存储与映射,后续的两种方式是人工神经网络的工作方式。 在学习/训练期间，人工神经网络以CAM方式工作；权矩阵又被称为网络的长期存储（Long Term Memory，简记为LTM）。 网络在正常工作阶段是以AM方式工作的；神经元的状态表示的模式为短期存储（Short Term Memory，简记为STM）。,2019/7/23,89,2.4 存储与映射,自相联（Auto-associative）映射：训练网络的样本集为向量集合为 A1，A2，An 在理想情况下，该网络在完成训练后，其权矩阵存放的将是上面所给的向量集合。,2019/7/23,90,2.4 存储与映射,异相联（Hetero-associative）映射 （A1，B1），（A2，B2），（An，Bn） 该网络在完成训练后，其权矩阵存放的将是上面所给的向量集合所蕴含的对应关系。 当输入向量A不是样本的第一的分量时，样本中不存在这样的元素（Ak，Bk），使得 AiAkA或者AAkAj 且此时有 AiAAj 则向量B是Bi与Bj的插值。,2019/7/23,91,2.5 人工神经网络的训练,人工神经网络最具有吸引力的特点是它的学习能力。 1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。 人工神经网络的表达能力大大地限制了它的学习能力。 人工神经网络的学习过程就是对它的训练过程,2019/7/23,92,2.5.1无导师学习,无导师学习(Unsupervised Learning)与无导师训练(Unsupervised Training)相对应 抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。,2019/7/23,93,2.5.1无导师学习,Hebb学习律、竞争与协同（Competitive and Cooperative）学习、随机联接系统（Randomly Connected Learning）等。 Hebb算法D. O. Hebb在1961年的核心： 当两个神经元同时处于激发状态时被加强，否则被减弱。 数学表达式表示： Wij（t+1）=Wij（t）+oi（t）oj（t）,2019/7/23,94,2.5.2 有导师学习,有导师学习(Supervised Learning)与有导师训练(Supervised Training)相对应。 输入向量与其对应的输出向量构成一个“训练对”。 有导师学习的训练算法的主要步骤包括： 1） 从样本集合中取一个样本（Ai，Bi）； 2） 计算出网络的实际输出O； 3） 求D=Bi-O； 4） 根据D调整权矩阵W； 5） 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。,2019/7/23,95,Delta规则,Widrow和Hoff的写法： Wij(t+1)=Wij(t)+(yj- aj(t)oi(t) 也可以写成： Wij(t+1)=Wij(t)+ Wij(t) Wij(t)=joi(t) j=yj- aj(t) Grossberg的写法为： Wij(t)=ai(t)(oj(t)-Wij(t) 更一般的Delta规则为： Wij(t)=g(ai(t)，yj，oj(t)，Wij(t),2019/7/23,96,其它,再例学习 外部环境对系统的输出结果给出评价，学习系统通过强化受奖的动作来改善自身性能。 学习规则 误差纠错学习 Hebb学习 竞争学习,2019/7/23,97,练习题,P29 1、4、6、10、15,2019/7/23,98,上次课内容回顾:网络的分层结构,联接模式 刺激联接与抑制联接 前馈信号与反馈信号 层（级）内联接 循环联接 层（级）间联接 简单单级网： NET=XW； O=F(NET) 单级横向反馈网: NET=XW+O(t)V;O (t) =F(NET),2019/7/23,99,上次课内容回顾:网络的分层结构,非循环多级网 层次划分 非线性激活函数： F3(F2(F1(XW1)W2)W3) 循环网 短期记忆特征及其对输入信号的修复作用 时间参数与主时钟 稳定性,2019/7/23,100,上次课内容回顾：存储与映射,模式 空间模式 时空模式 模式三种存储类型 RAM 、CAM、AM 模式的存储与运行 CAMLTM训练 AMSTM运行 相联：自相联映射、异相联映射,2019/7/23,101,上次课内容回顾：训练,Rosenblatt的学习定理 无导师学习 抽取样本集合中蕴含的统计特性 样本集：A1，A2，An Hebb算法：Wij(t+1)=Wij(t)+oi(t)oj(t) 有导师学习 抽取样本蕴含的映射关系 样本集： (A1,B1)，(A2,B2)，(An,Bn) 训练算法 Delta规则,2019/7/23,102,第3章 感知器,主要内容： 感知器与人工神经网络的早期发展； 线性可分问题与线性不可分问题； Hebb学习律； Delta规则; 感知器的训练算法。 重点：感知器的结构、表达能力、学习算法 难点：感知器的表达能力,2019/7/23,103,第3章 感知器,3.1 感知器与人工神经网络的早期发展 3.2 感知器的学习算法 3.2.1 离散单输出感知器训练算法 3.2.2 离散多输出感知器训练算法 3.2.3 连续多输出感知器训练算法 3.3 线性不可分问题 3.3.1 异或(Exclusive OR)问题 3.3.2 线性不可分问题的克服,实现！,问题的发现与解决！,2019/7/23,104,3.1 感知器与ANN的早期发展,McCulloch 和Pitts 1943年，发表第一个系统的ANN研究阈值加权和(M-P)数学模型。 1947年，开发出感知器。 1949年，提出Hebb学习律。,单输出的感知器(M-P模型),2019/7/23,105,3.1 感知器与ANN的早期发展,1962年，Rosenblatt宣布：人工神经网络可以学会它能表示的任何东西,2019/7/23,106,3.2 感知器的学习算法,感知器的学习是有导师学习 感知器的训练算法的基本原理来源于著名的Hebb学习律 基本思想：逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中的权矩阵,2019/7/23,107,3.2.1离散单输出感知器训练算法,二值网络：自变量及其函数的值、向量分量的值只取0和1函数、向量。 权向量：W=(w1，w2，wn) 输入向量：X=(x1，x2，xn) 训练样本集： (X，Y)|Y为输入向量X对应的输出,2019/7/23,108,算法3-1离散单输出感知器训练算法,1. 初始化权向量W； 2. 重复下列过程，直到训练完成： 2.1 对每个样本（X，Y），重复如下过程： 2.1.1 输入X； 2.1.2 计算o=F（XW）； 2.1.3 如果输出不正确，则 当o=0时，取 W=W+X， 当o=1时，取 W=W-X,2019/7/23,109,3.2.2离散多输出感知器训练算法,样本集：(X,Y)|Y为输入向量X对应的输出 输入向量：X=(x1,x2,xn) 理想输出向量：Y=(y1,y2,ym) 激活函数：F 权矩阵W=(wij) 实际输出向量：O=(o1,o2,om),2019/7/23,110,算法3-2离散多输出感知器训练算法,1.初始化权矩阵W； 2.重复下列过程，直到训练完成： 2.1 对每个样本（X，Y），重复如下过程： 2.1.1 输入X； 2.1.2 计算O=F（XW）； 2.1.3 for j=1 to m do 执行如下操作： if oj yj then if oi = 0 then for i = 1 to n wij=wij+xi else for i= 1 to n do wij=wij-xi,2019/7/23,111,算法3-2离散多输出感知器训练算法,算法思想：将单输出感知器的处理逐个地用于多输出感知器输出层的每一个神经元的处理。 第1步，权矩阵的初始化：一系列小伪随机数。,2019/7/23,112,算法3-2离散多输出感知器训练算法,第2步，循环控制。 方法1：循环次数控制法：对样本集执行规定次数的迭代 改进分阶段迭代控制：设定一个基本的迭代次数N，每当训练完成N次迭代后，就给出一个中间结果,2019/7/23,113,算法3-2离散多输出感知器训练算法,方法2：精度控制法：给定一个精度控制参数 精度度量：实际输出向量与理想输出向量的对应分量的差的绝对值之和； 实际输出向量与理想输出向量的欧氏距离的和 “死循环”：网络无法表示样本所代表的问题,2019/7/23,114,算法3-2离散多输出感知器训练算法,方法3：综合控制法：将这两种方法结合起来使用 注意：精度参数的设置。根据实际问题选定；初始测试阶段，精度要求低，测试完成后，再给出实际的精度要求。,2019/7/23,115,3.2.3 连续多输出感知器训练算法,用公式wij=wij+（yj-oj）xi取代了算法3-2 第2.1.3步中的多个判断 yj与oj之间的差别对wij的影响由（yj-oj）xi表现出来 好处：不仅使得算法的控制在结构上更容易理解，而且还使得它的适应面更宽,2019/7/23,116,算法3-3 连续多输出感知器训练算法,1用适当的小伪随机数初始化权矩阵W； 2. 初置精度控制参数，学习率，精度控制变量d=+1； 3While d do 3.1 d=0； 3.2 for 每个样本（X，Y）do 3.2.1 输入X（=(x1，x2，xn)）； 3.2.2 求O=F（XW）； 3.2.3 修改权矩阵W： for i=1 to n，j=1 to m do wij=wij+(yj-oj)xi； 3.2.4 累积误差 for j = 1 to m do d=d+(yj-oj)2,2019/7/23,117,算法3-3 连续多输出感知器训练算法,1、程序实现:、d、i、j、n、m为简单变量来表示，W为n行m列的二维数组。样本集二维数组 2、系统的调试 3、Minsky在1969年证明，有许多基本问题是感知器无法解决 4、问题线性可分性可能与时间有关 5、很难从样本数据集直接看出问题是否线性可分 6、未能证明，一个感知器究竟需要经过多少步才能完成训练。,2019/7/23,118,3.3 线性不可分问题,3.3.1 异或(Exclusive OR)问题,2019/7/23,119,用于求解XOR的单神经元感知器,2019/7/23,120,线性不可分函数,2019/7/23,121,线性不可分函数,R. O. Windner 1960年,2019/7/23,122,3.3.2 线性不可分问题的克服,用多个单级网组合在一起，并用其中的一个去综合其它单级网的结果，我们就可以构成一个两级网络，该网络可以被用来在平面上划分出一个封闭或者开放的凸域来 一个非凸域可以拆分成多个凸域。按照这一思路，三级网将会更一般一些，我们可以用它去识别出一些非凸域来。 解决好隐藏层的联接权的调整问题是非常关键的,2019/7/23,123,两级单输出网在n维空间中划分出m边凸域,2019/7/23,124,第1次课堂测试（5分*4）,Newell和Simon的物理符号系统所基于的假说是什么？它在什么层面上如何实现对人类智能的模拟？ 联接主义观点所基于的假说是什么？它在什么层面上如何实现对人类智能的模拟？ 画出有导师算法的流程图。 证明：一个激活函数为线性