完整的神经网络讲解.docx

《完整的神经网络讲解.docx》由会员分享，可在线阅读，更多相关《完整的神经网络讲解.docx（17页珍藏版）》请在三一文库上搜索。

1、学习是神经网络一种最重要也最令人注目的特点。在神经网络的开展进程中，学习算法的研究有着十分重要的地位。目前，人们所提出的神经网络模型都是和学习算法相应的。所以，有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法.而有的算法可能可用于多种模型。不过，有时人们也称算法为模型。自从40年代Hebb提出的学习规那么以来，人们相继提出了各种各样的学习算法。其中以在1986年RUmelhart等提出的误差反向传播法，即BP(erorBackPropagation)法影响最为广泛。直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。1.2.1神经网络的学习机理和机构在神经网

2、络中，对外部环境提供的模式样本进行学习训练，并能存储这种模式，那么称为感知器；对外部环境有适应能力，能自动提取外部环境变化特征，那么称为认知器。神经网络在学习中，一般分为有教师和无教师学习两种。感知器采用有教师信号进行学习，而认知器那么采用无教师信号学习的。在主要神经网络如BP网络，HOPfield网络，ART网络和Kohorlerl网络中：BP网络和Hopfield网络是需要教师信号才能进行学习的；而ART网络和KOhonen网络那么无需教师信号就可以学习。所谓教师信号，就是在神经网络学习中由外部提供的模式样本信号。一、感知器的学习结构感知器的学习是神经网络最典型的学习。目前，在控制上应用的

3、是多层前馈网络，这是一种感知器模型，学习算法是BP法，故是有教师学习算法。一个有教师的学习系统可以用图1一7表示。这种学习系统分成三个局部：输入部，训练部和输出部。训练部教师信号(期望输出信号)图1-7神经网络学习系统框图输入部接收外来的输入样本X，由训练部进行网络的权系数W调整，然后由输出部输出结果。在这个过程中，期望的输出信号可以作为教师信号输入，由该教师信号与实际输出进行比拟，产生的误差去控制修改权系数Wo学习机构可用图18所示的结构表示。在图中，Xl,X2,.,Xn,是输入样本信号，Wi,W2,，Wn是权系数。输入样本信号Xi可以取离散值0或1。输入样本信号通过权系数作用，在U产生输出

4、结果WiXi,即有：U=WiXi=WiXi+W2X2+.+WnXn再把期望输出信号Y(t)和U进行比拟，从而产生误差信号e。即权值调整机构根据误差e去对学习系统的权系数进行修改，修改方向应使误差e变小，不断进行下去，使到误差e为零，这时实际输出值u和期望输出值Y完全一样，那么学习过程结束。期望输出y(t)图1-8学习机构神经网络的学习一般需要屡次重复训练，使误差值逐渐向零趋近，最后到达零。那么这时才会使输出与期望一致。故而神经网络的学习是消耗一定时期的，有的学习过程要重复很屡次，甚至达万次级。原因在于神经网络的权系数W有很多分量Wi,W2,-Wn:也即是一个多参数修改系统。系统的参数的调整就必

5、定耗时耗量。目前，提高神经网络的学习速度，减少学习重复次数是十分重要的研究课题，也是实时控制中的关键问题。二、感知器的学习算法感知器是有单层计算单元的神经网络，由线性元件及阀值元件组成。感知器如图1-9所示。图1-9感知器结构感知器的数学模型：Y=ItXWKi-8i=1(1-12)其中：HJ是阶跃函数，并且有rl,u=WiXi-Ofu=，(1-13)一1,u=WiXi-0O；二1是阀值。Y=感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感知器对输入信号的分类如下:(1-14)即是，当感知器的输出为1时，输入样本称为A类；输出为时，输入样本称为B类。从上可知感知器的分类边界是：WiX

6、i-=O(1-15)5三1在输入样本只有两个分量X1,X2时，那么有分类边界条件:WiXi-=O(116)即WiXi+W2X2-=0(1-17)也可写成这时的分类情况如固1一10所示。感知器的学习算法目的在于找寻恰当的权系数W=(WLw2,.,Wn),使系统对一个特定的样本x=(xt,x2,.,Xn)熊产生期望值&当X分类为A类时，期望值d=1；X为B类时，d=-1为了方便说明感知器学习算法，把阀值并人权系数W中，同时，样本X也相应增加一个分量Xn+1.故令：Wn+1=6,Xn1=1(1-19)那么感知器的输出可表示为：n+IY=fwixi(1-20)i=1感知器学习算法步骤如下：1 .对权系

7、数W置初值对权系数W=(W1.W2,.,Wn,WM)的各个分量置一个较小的零随机值，但Wn+1=g0并记为Wl(O),W2(O),.,Wn(0),同时有Wn+1(O)=-B。这里Wi为t时刻从第i个输入上的权系数，i=1,2,.,noWn+1为t时刻时的阀值。图I-IO感知器的分类例子2 .输入一样本X=(X,X2,.XM)以及它的期望输出d。期望输出值d在样本的类属不同时取值不同。如果X是A类，那么取d=1,如果X是B类，那么取1。期望输出d也即是教师信号。3 .计算实际输出值YY(t)=fW5(t)Xi=14 .根据实际输出求误差ee=d-Y(t)(1-21)5 .用误差e去修改权系数Wi

8、t+1)=Wi(t)+eXii=1,2,n,n+1(1-22)其中，n称为权重变化率，onw在式(1-22)中，n的取值不能太大.如果1取值太大那么会影响Wi的稳定；的取值也不能太小，太小那么会使Wi的求取过程收敛速度太慢。当实际输出和期望值d相同时有：Wi(t+1)=Wi(t)6 .转到第2点，一直执行到一切样本均稳定为止。从上面式(1一14)可知，感知器实质是一个分类器，它的这种分类是和二值逻辑相应的。因此，感知器可以用于实现逻辑函数。下面对感知器实现逻辑函数的情况作一些介绍。例：用感知器实现逻辑函数XiVX2的真值：Xi0011X20101XiVX20111以X1VX2=1为A类，以X1VX2=0为B类，那么有方程组w1o+w2o-0w2eWi射W1+W26(1-24)从式(124)有:Wi,W2令Wi=1,W2=2那么有：-1+Wij(t-l)=WM(t)-Wii(t-1)6.当求出了各层各个权系数之后，可按给定品质指标判别是否满足要求。如果满足要求，那么算法结束；如果未满足要求，那么返回(3)执行。这个学习过程，对于任一给定的样本XP=(XP1，Xp2,Xpn,1)和期望输出YP=(YP1，Yp2，YPn)都要执行，直到满足所有输入输出要求为止。