人工神经网络.ppt
人工神经网络 Artificial Neural Networks,东北大学数学系 王琪 wangqimath126.com,主要内容,生物神经元 人工神经元 人工神经网络的网络结构 人工神经网络的训练,什么是人工神经网络,人工神经网络（Artificial Neural Networks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。,人工神经网络的概念,1） 一组处理单元（PE或AN）； 2） 处理单元的激活状态（ai）； 3） 每个处理单元的输出函数（fi）； 4） 处理单元之间的联接模式； 5） 传递规则（wijoi）； 6） 把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）； 7） 通过经验修改联接强度的学习规则； 8） 系统运行的环境（样本集合）。,人工神经网络的概念,Simpson（1987年） 人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。,生物神经元模型,神经元的生物学解剖,神经元模型,1 细胞体 细胞体是由很多分子形成的综合体，内部含有一个细胞核、核糖体、原生质网状结构等，它是神经网络活动的能量供应地，并进行新陈代谢等各种生化过程。 2 树突 细胞体的伸延部分产生的分支称为树突，树突是接受从其他神经元传入信息的入口。,神经元模型,3 轴突 细胞体突起的最长的外伸管状纤维称为轴突，最长可达1m以上。轴突是将神经元兴奋的信息传到其他神经元的出口。 4 突触 一个神经元与另一个神经元之间相联系并进行信息传送的结构称为突触。 神经元是构成神经网络的最基本单元（构件）。,生物神经网,六个基本特征： 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作用的； 5）一个神经元接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值”。,人工神经元,人工神经元,人工神经元模型应该具有生物神经元的六个基本特性。,人工神经元的基本构成,人工神经元模拟生物神经元的一阶特性。 输入：X=（x1，x2，xn） 联接权：W=（w1，w2，wn）T 网络输入： net=xiwi 向量形式： net=XW,激活函数(Activation Function),激活函数执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数： o=f（net） 1、线性函数（Liner Function） f（net）=k*net+c,2、非线性斜面函数(Ramp Function), if net f（net）= k*net if |net|0为一常数，被称为饱和值，为该神经元的最大输出。,2、非线性斜面函数（Ramp Function）,3、阈值函数（Threshold Function）阶跃函数, if net f（net）= - if net 、均为非负实数，为阈值 二值形式： 1 if net f（net）= 0 if net 双极形式： 1 if net f（net）= -1 if net ,3、阈值函数（Threshold Function）阶跃函数,-,o,net,0,4、S形函数,压缩函数（Squashing Function）和逻辑斯特函数（Logistic Function）。 f（net）=a+b/(1+exp(-d*net) a，b，d为常数。它的饱和值为a和a+b。 最简单形式为： f（net）= 1/(1+exp(-d*net) 函数的饱和值为0和1。 S形函数有较好的增益控制,4、S形函数,联接模式,联接模式,层次（又称为“级”）的划分，导致了神经元之间的三种不同的互连模式： 1、 层（级）内联接 层内联接又叫做区域内（Intra-field）联接或侧联接（Lateral）。 用来加强和完成层内神经元之间的竞争 2、 循环联接 反馈信号。,联接模式,3、层（级）间联接 层间（Inter-field）联接指不同层中的神经元之间的联接。这种联接用来实现层间的信号传递,ANN的网络结构,网络的分层结构,简单单级网,简单单级网,W=（wij） 输出层的第j个神经元的网络输入记为netj： netj=x1w1j+x2w2j+xnwnj 其中, 1 j m。取 NET=（net1，net2，netm） NET=XW O=F（NET）,单级横向反馈网,单级横向反馈网,V=（vij） NET=XW+OV O=F（NET） 时间参数神经元的状态在主时钟的控制下同步变化 考虑X总加在网上的情况 NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1) O（0）=0 考虑仅在t=0时加X的情况。 稳定性判定,多级网,层次划分 信号只被允许从较低层流向较高层。 层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。 输入层：被记作第0层。该层负责接收来自网络外部的信息,第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。 输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。 隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号,约定 : 输出层的层号为该网络的层数：n层网络，或n级网络。 第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。,多级网h层网络,循环网,循环网,如果将输出信号反馈到输入端,就可构成一个多层的循环网络。 输入的原始信号被逐步地“加强”、被“修复”。 大脑的短期记忆特征看到的东西不是一下子就从脑海里消失的。 稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。,人工神经网络的训练,人工神经网络的训练,人工神经网络最具有吸引力的特点是它的学习能力。 1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。 人工神经网络的表达能力大大地限制了它的学习能力。 人工神经网络的学习过程就是对它的训练过程,无导师学习,无导师学习(Unsupervised Learning)与无导师训练(Unsupervised Training)相对应 无导师训练方法不需要目标，其训练集中只含一些输入向量，训练算法致力于修改权矩阵，以使网络对一个输入能够给出相容的输出，即相似的输入向量可以得到相似的输出向量。 抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。,无导师学习,Hebb学习律、竞争与协同（Competitive and Cooperative）学习、随机联接系统（Randomly Connected Learning）等。 Hebb算法D. O. Hebb在1961年的核心： 当两个神经元同时处于激发状态时被加强，否则被减弱。 数学表达式表示： Wij（t+1）=Wij（t）+oi（t）oj（t）,有导师学习,有导师学习(Supervised Learning)与有导师训练(Supervised Training)相对应。 输入向量与其对应的输出向量构成一个“训练对”。 有导师学习的训练算法的主要步骤包括： 1） 从样本集合中取一个样本（Ai，Bi）； 2） 计算出网络的实际输出O； 3） 求D=Bi-O； 4） 根据D调整权矩阵W； 5） 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。,Delta规则,Widrow和Hoff的写法： Wij(t+1)=Wij(t)+(yj- aj(t)oi(t) 也可以写成： Wij(t+1)=Wij(t)+ Wij(t) Wij(t)=joi(t) j=yj- aj(t) Grossberg的写法为： Wij(t)=ai(t)(oj(t)-Wij(t) 更一般的Delta规则为： Wij(t)=g(ai(t)，yj，oj(t)，Wij(t),相关参数,上述式子中， Wij(t+1)、Wij(t)分别表示神经元ANi到ANj的联结在时刻t+1和时刻t的强度， oi(t) 、 oj(t)为这两个神经元在时刻t的输出，yj为神经元ANj 的理想输出，aj(t)、aj(t)分别为神经元ANi 和ANj 的激活状态，为给定的学习率。,
