人工神经网络8ART神经网络ppt课件.ppt

1,人工神经网络 (Artifical Neural Network),张 凯 副教授,武汉科技大学 计算机学院,2,要点简介,1. 研究背景,2. 学习规则,3. ART神经网络结构,4. ART神经网络学习规则,研究背景,1969年，美国学者格诺斯博格(Grossberg)和卡普特尔(Carperter)提出了自适应共振理论(ART)模型。,研究背景,ART是一种自组织神经网络结构，是无教师的学习网络。当在神经网络和环境有交互作用时，对环境信息的编码会自发地在神经网中产生，则认为神经网络在进行自组织活动。ART就是这样一种能自组织地产生对环境认识编码的神经网络理论模型。,研究背景,ART模型是基于下列问题的求解而提出的： 1.对于一个学习系统，要求它有适应性及稳定性，适应性可以响应重要事件，稳定性可以存储重要事件。这种系统的设计问题。 2.学习时，原有的信息和新信息如何处理，保留有用知识，接纳新知识的关系如何及解决的问题。 3.对外界信息与原存储的信息结合并决策的问题。,研究背景,Grossberg一直对人类的心理和认识活动感兴趣，他长期埋头于这方面的研究并希望用数学来刻划人类这项活动，建立人类的心理和认知活动的一种统一的数学模型和理论。ART就是由这种理论的核心内容并经过提高发展然后得出的。,研究背景,目前，ART理论已提出了三种模型结构，即ART1，ART2，ART3。 ART1用于处理二进制输入的信息； ART2用于处理二进制和模拟信息这两种输人； ART3用于进行分级搜索。 ART理论可以用于语音、视觉、嗅觉和字符识别等领域。,ART模型的结构,ART模型来源于Helmboltz无意识推理学说的竞争学习网络交互模型。这个模型如图所示。,ART模型的结构,从图中看出这个模型由两个竞争学习模型组成。无意识推理学说认为：原始的感觉信息通过经历过的学习过程不断修改，直到成为一个真实的感知结果为止。在图中竞争学习网络交互模型可以看出；环境输入信号和自上而下学习期望同时对竞争学习网络1执行输入；而自下而上学习是竞争学习网络1的输出；同时，自下而上学习是竞争学习网络2的输人而自上而下学习期望则是其输出。真实感知是通过这个竞争学习网络的学习和匹配产生的。,研究背景,环境输人信号对自上而下学习期望进行触发，使竞争学习网络1产生自下而上学习的输出。这种输出送到竞争学习网络2，则产生自上而下学习期望输出，并送回竞争学习网络1。这个过程很明显是自上而下学习和自下而上学习的过程，并且这个过程中不断吸收环境输人信息。经过竞争学习网络的匹配，最终取得一致的结果；这也就是最终感知或谐振感知。,研究背景,竞争学习网络交互作用有下列基本要求： 第一，交互作用是非局域性的； 第二，交互作用是非线性的； 第三，自上而下的期望学习是非平稳随机过程。,研究背景,研究背景,有一个竞争型神经网络，输入有3个节点，竞争层有2个节点。网络4个学习模式为X 1=(1,0,1)T， X 2=(1,0,0)T ，X 3=(0,1,0)T，X 4=(0,1,1)T ，通过训练将模式划分为2类。,研究背景,研究背景,t =1 X 1=(1,0,1)T 竞争层各个神经元的净输入为 s1=w11x1+w21x2+w31x3=0.2×1+0.4×0+0.4×1=0.6 s2=w12x1+w22x2+w32x3=0.3×1+0.3×0+0.4×1=0.7 竞争层各个神经元的输出为 y1=0, y2=1 调整后连接权值为 w12=0.3+0.5×(1/2-0.3)=0.4 w22=0.3+0.5×(0/2-0.3)=0.15 w32=0.4+0.5×(1/2-0.4)=0.45,研究背景,研究背景,t =2 X 2=(1,0,0)T 竞争层各个神经元的净输入为 s1=w11x1+w21x2+w31x3=0.2×1+0.4×0+0.4×0=0.2 s2=w12x1+w22x2+w32x3=0.4×1+0.15×0+0.45×0=0.4 竞争层各个神经元的输出为 y1=0, y2=1 调整后连接权值为 w12=0.4+0.5×(1-0.4)=0.7 w22=0.15+0.5×(0-0.15)=0.075 w32=0.45+0.5×(0-0.45)=0.225,研究背景,研究背景,t =3 X 3=(0,1,0)T 竞争层各个神经元的净输入为 s1=w11x1+w21x2+w31x3=0.2×0+0.4×1+0.4×0=0.4 s2=w12x1+w22x2+w32x3=0.7×0+0.075×1+0.225×0=0.075 竞争层各个神经元的输出为 y1=1, y2=0 调整后连接权值为 w11=0.2+0.5×(0-0.2)=0.1 w21=0.4+0.5×(1-0.4)=0.7 w31=0.4+0.5×(0-0.4)=0.2,研究背景,研究背景,t =4 X 4=(0,1,1)T 竞争层各个神经元的净输入为 s1=w11x1+w21x2+w31x3=0.1×0+0.7×1+0.2×1=0.9 s2=w12x1+w22x2+w32x3=0.7×0+0.075×1+0.225×1=0.3 竞争层各个神经元的输出为 y1=1, y2=0 调整后连接权值为 w11=0.1+0.5×(0/2-0.1)=0.05 w21=0.7+0.5×(1/2-0.7)=0.6 w31=0.2+0.5×(1/2-0.2)=0.35,研究背景,研究背景,按照上述过程多次学习，网络会得到分类 X 1=(1,0,1)T， X 2=(1,0,0)T， X 3=(0,1,0)T， X 4=(0,1,1)T,A类,B类,研究背景,受到竞争学习网络交互模型的启发Grossberg提出了ART理论模型。他认为对网络的自适应行为进行分析，可以建立连续非线性网络模型，这种网络可以由短期存储STM和长期存储LTM作用所实现。STM是指神经元的激活值即末由s函数处理的输出值，LTM是指权系数。,研究背景,Grossberg所提出的ART理论模型有如下一些主要优点： 1.可以进行实时学习，能适应非平稳的环境。 2.对于已经学习过的对象具有稳定的快速识别能力；同时，亦能迅速适应未学习的新对象。 3.具有自归一能力，根据某些特征在全体中所占的比例，有时作为关键特征，有时当作噪声处理。 4.不需要预先知道样本结果，是无监督学习；如果对环境作出错误反映则自动提高“警觉性”，迅速识别对象。 5.容量不受输入通道数的限制，存储对象也不需正交的,ART网络学习算法的基本流程,环境输入模式,与储存的典型向量模式进行比较,神经网络的连接权值,选择最相似的作为该模式的代表类，并调整与该类别相关的权值，以使以后与该模式相似的输入再与该模式匹配时能得到更大的相似度。,相似度的参考门限,需要在网络中设立一个新的模式类，同时建立与该模式类相连的权值，用以代表和存储该模式以及后来输入的所有同类模式。,C 比较层 R 识别层 Reset 复位信号 G1和G2 逻辑控制信号,ART型网络系统结构,(1)C层结构 该层有n个节点，每个节点接受来自3个方面的信号： 来自外界的输入信号xi； 来自R 层获胜神经元的外星向量的返回信号tij； 来自G1的控制信号。 C 层节点的输出ci是根据2/3的“多数表决”原则产生的，即输出值ci与xi、tij 、G1 3个信号中的多数信号值相同。 G1=1，反馈回送信号为0，C层输出应由输入信号决定，有C=X。 反馈回送信号不为0，G1=0，C层输出应取决于输入信号与反馈信号的比较情况， ,如果xi=1，则ci=xi。否则ci=0。,网络系统结构,（2）R层结构 R层有m个节点，用以表示m个输入模式类。m可动态增长，以设立新模式类。 由C层向上连接到R第j个节点的内星权向量用Bj=（b1j，b2j，,bnj）表示。 C层的输出向量C沿m个内星权向量Bj(j=1,2,m)向前传送，到达R层各个神经元节点后经过竞争再产生获胜节点j*，指示本次输入模式的所属类别。 获胜节点输出=1，其余节点输出为0。得到R层各模式类节点的典型向量。,网络系统结构,(3)控制信号 控制信号G2的作用是检测输入模式X 是否为0，它等于X 各分量的逻辑“或”，如果xi(i =1,2,n)为全0，则G2=0，否则G2=1。 控制信号G1的作用是在网络开始运行时为1，以使C=X，其后为0以使C 值由输入模式和反馈模式的比较结果决定。设R 层输出向量各分量的逻辑“或”用R0表示，则信号G1= ，当R 层输出向量R 的各分量为全0而输入向量X不是零向量时，G1=1，否则G1=0。 控制信号Reset的作用是使R层竞争获胜神经元无效，如果根据某种事先设定的测量标准，C与X未达到预先设定的相似度，表明两者未充分接近，于是系统发出Reset信号使竞争获胜神经元无效。,网络系统结构,相似程度可能出现的两种情况： 相似度超过参考门限 选该模式类作为当前输入模式的代表类。权值调整规则是，相似度超过参考门限的模式类调整其相应的内外星权向量，以使其以后遇到与当前输入模式接近的样本时能得到更大的相似度；对其它权值向量则不做任何变动。 相似度不超过参考门限值 需在网络输出端设立一个代表新模式类的节点，用以代表及存储该模式，以便于参加以后的匹配过程。,网络运行原理,网络运行原理,对于每一个输入，模式网络运行过程可归纳为四个阶段：,(1)匹配阶段 网络在没有输入之前处于等待状态，此时输入端X0，因此信号G20，R0=0。当输入不全为0的模式X 时，G21，R0=0，使得G1=1。G1为1时允许输入模式直接从C层输出，并向前传至R 层，与R 层节点对应的所有内星向量Bj 进行匹配计算： j=1,2,，m 选择具有最大匹配度(即具有最大点积)的竞争获胜节点： 使获胜节点输出 =1，其它节点输出为0。,网络运行原理,(2)比较阶段 R层输出信息通过外星向量返回到C层。R 层获胜节点所连的外星权向量激活，从节点j* 发出的n个权值信号返回到C 层的n个节点。此时，R层输出不全为零，R0=1，而G1=0，所以C层最新输出状态C取决于由R 层返回的外星权向量和网络输入模式X的比较结果，即 ， ,i=1,2,n。比较结果C反映了在匹配阶段R 层竞争排名第一的模式类的典型向量与当前输入模式X 的相似程度。相似程度的大小可用相似度N0 反映，定义为：,设输入模式样本中的非零分量数为：,网络运行原理,(2)比较阶段 用于比较的参考门限为，在01范围取值。检查输入模式与模式类典型向量之间的相似性是否低于参考门限，如果有 N0/N1 表明X与获胜节点对应的类别模式非常接近，称X 与 发生“共振”，第一阶段的匹配结果有效，网络进入学习阶段。,网络运行原理,(3)搜索阶段 网络发出Reset 重置信号后即进入搜索阶段，重置信号的作用是使前面通过竞争获胜的神经元受到抑制，并且在后续过程中受到持续的抑制，直到输入一个新的模式为止。由于R 层中的竞争获胜的神经元被抑制，从而再度出现R0=0，G1=1，因此网络又重新回到起始的匹配状态。 由于上次获胜的节点受到持续的抑制，此次获胜的必然是上次匹配程度排在第二的节点，将该节点对应的外星权向量与输入模式进行匹配计算。如果对R层所有的模式类，在比较阶段的相似度检查中相似度都不能满足要求，说明当前输入模式无类可归，需要在网络输出层增加一个节点来代表并存储该模式类，为此将其内星向量 设计成当前输入模式向量，外星向量 各分量全设为1。,网络运行原理,(4)学习阶段 在学习阶段要对发生共振的获胜节点对应的模式类加强学习，使以后出现与该模式相似的输入样本时能获得更大的共振。,网络运行原理,训练可按以下步骤进行：,(1)网络初始化 从C 层向R 层的内星权向量Bj 赋予相同的较小数值，如 从R 层到C 层的外星权向量Tj 各分量均赋1,网络的学习,(2)网络接受输入 给定一个输入模式，X(x1,x2,，xn)， xi(0,1)。,(3)匹配度计算 对R层所有内星向量Bj计算与输入模式X的匹配度： j=1,2,，m。,(4)选择最佳匹配节点 在R层有效输出节点集合J*内选择竞争获胜的最佳匹配节点j*，使得,网络的学习,(5)相似度计算 R 层获胜节点j*通过外星送回获胜模式类的典型向量，C层输出信号给出对向量和X的比较结果，由此结果可计算出两向量的相似度为,(6)参考门限检验 如果N0/N1，表明X应归为代表的模式类，转向步骤(8)调整权值。,网络的学习,(8)调整网络权值 修改R层节点j* 对应的权向量，网络的学习采用两种规则，外星向量的调整按以下规则: i=1,2,n； j*J*,(7)搜索匹配模式类 若有效输出节点集合J*不为空，转向步骤(4)重选匹配模式类；若J*为空集，需在R层增加一个节点。设新增节点的序号为nc，应使 ,i=1,2,n,此时有效输出节点集合为J*=1,2,m,m+1,m+nc,转向步骤(2)输入新模式。,网络的学习,非离线学习 即不是对输入集样本反复训练后才开始运行，而是边学习边运行实时方式。,每次最多只有一个输出节点为l 每个输出节点可看成一类相近样本的代表，当输入样本距某一个内星权向量较近时，代表它的输出节点才响应。,通过调整参考门限的大小可调整模式的类数 小，模式的类别少，大则模式的类别多。,ART网络的特点,ART网络的应用,例 模式分类,第1步：输入模式X A ，将R层的4个节点中输出最大的一个命名为节点1，有j*=1。由于初始化后tij=1，所以相似度N0/N1=1，大于参考门限，故第一个模式被命名为第一类模式。修改节点1的内星权向量，得,修改节点1的外星权向量，得 其余仍为初始值1/26。对比输入模式X A，可以看出，以上调整结果将模式X A 存储在神经元1的内外星权向量中。,ART网络的应用,第2步：输入模式X B 时，R层只有一个已存储模式，故不存在类别归属的竞争，只需判断该模式与已存储模式T1=X A 的相似度，得N0/N1=5/9=0.7。从相似度可以看出，模式XB 有9个黑象素，而X A 与X B 只有5个黑象素完全重合，故相似度检验不合格。由于R层已没有其它已存储模式类可供选择，需动用一个新节点，命名为节点2，用以代表新模式X B 。节点2的外星权向量为T2=X B ，内星权向量为 其余分量均为初始值。,ART网络的应用,第3步：输入模式X C 时，节点1和节点2进行竞争 节点1净输入为1.217 节点2净输入为1.101 节点1获胜。计算T1与X的相似度，得 N0/N1=5/13=0.7,节点1失效后，网络应在其余的存储模式类节点中搜索，对于本例，只能取节点2作为获胜节点。于是计算XC与代表X B 的T2 的相似度，得 N0/N1=9/13=0.7 该结果仍不能满足要求，只能把模式视为第3类模式。并修改节点3的内外星权向量。,ART网络的应用,第4步：输入模式X D 后，节点1、节点2和节点3参加竞争，结果是节点3 获胜，计算模式X D与X C的相似度，得 N0/N1=13/17=0.765=0.7 于是X D 归入已存储的X C类，并修改节点3的内外星权向量。,ART网络的应用,ART网络的应用,例一 模式分类,ART网络的应用,注意！ 值的选择对分类过程的影响很大。 值过大，导致分类剧增。 值太小，则不同的模式均划为同一类别。,ART网络的应用,例二 带噪声模式分类,ART网络的应用,例二 带噪声模式分类,ART网络的应用,53,Thank You !,