最新自组织神经网络-PPT文档.ppt
《最新自组织神经网络-PPT文档.ppt》由会员分享,可在线阅读,更多相关《最新自组织神经网络-PPT文档.ppt(24页珍藏版)》请在三一文库上搜索。
1、自组织网结构上属于层次型网络,有多种类型。 如:自组织特征映射(Self Organizing Feature Map)网络SOM); 对偶(向)传播(Counter Propagation Network)网络CPN); 自适应共振理论(Adaptive Resonance Theory)网络ART等。 其共同特点是都具有竞争层。 最简单的网络结构具有一个输入层和一个竞争层。,输入层负责接受外界信息并将输入模式向竞争层传递,起观察作用。 竞争层负责对该模式进行“分析比较”,找出规律以正确分类。 这种功能是通过下面要介绍的竞争机制实现的。,竞争学习是自组织网络中最常用的一种学习策略,首先说明与
2、之相关的几个基本概念。 4.1.1 基本概念 4.1.1.1 模式、分类、聚类与相似性 模式:一般当网络涉及识别、分类问题时,常用输入模式(而不称输入 样本); 分类:将待识别的输入模式划分为各自的模式类中去; 聚类:无导师指导的分类称为聚类,聚类的目的是将相似的模式样本划 归一类; 相似性:输入模式的聚类依据。 4.1.1.2 相似性测量 神经网络的输入模式用向量表示,比较不同模式的相似性可转化为比较两个向量的距离,因而可用模式向量间的距离作为聚类判据。 模式识别中常用到的两种聚类判据是欧式最小距离法和余弦法。,4.1 竞争学习的概念与原理,(1)欧式距离法 X和Xi 两向量欧式距离 :,两
3、个模式向量的欧式距离越小,两个模式越相似,当两个模式完全相同时,其欧式距离为零。如果对同一类内各个模式向量间的欧式距离作出规定,不允许超过某一最大值 T,则最大欧式距离 T 就成为一种聚类判据。,(2)余弦法 计算两个模式向量夹角的余弦:,两个模式向量越接近,其类角越小,余弦越大。当两个模式向量完全相同时,其夹角余弦为1。 若同类内各模式向量间的夹角规定不大于T,则成为一种聚类判据。余弦法适合模式向量长度相同或模式特征只与向量方向相关的相似性测量。,4.1.1.3 侧抑制与竞争,自组织网络(竞争型神经网络)构成的基本思想是网络的竞争层各神经元竞争对输入模式响应的机会,最后仅有一个神经元成为竞争
4、的“胜者”,这一获胜神经元则表示对输入模式的识别。体现了物生神经细胞的侧抑制竞争机制。,实验表明,人眼的视网膜、脊髓和海马中存一种侧抑制现象,即,当一个神经细胞兴奋后,会对其周围的神经细胞产生抑制作用。,这种侧抑制使神经细胞之间呈现出竞争,开始时可能多个细胞同时兴奋,但一个兴奋程度最强的神经细胞对周围神经细胞的抑制作用也最强,其结果使其周围神经细胞兴奋程度减弱,从而该神经细胞是这次竞争的“胜者”,其它神经细胞在竞争中失败。,最强的抑制关系是竞争获胜者“惟我独兴”,不允许其它神经元兴奋,这种抑制方式也称为胜者为王。,自组织网络在竞争层神经元之间的连线,它们是模拟生物神经网络层内神经元相互抑制现象
5、的权值,这类抑制性权值满足一定的分布关系,如距离近的抑制强,距离远的抑制弱。 这种权值(或说侧抑制关系)一般是固定的,训练过程中不需要调整,在各类自组织网络拓朴图中一般予以省略。(不省略时,也只看成抑制关系的表示,不作为网络权来训练)。,4.1.1.4 向量归一化,不同的向量有长短和方向区别,向量归一化的目的是将向量变成方向不变长度为1的单位向量。单位向量进行比较时,只需比较向量的夹角。,X向量的归一化:,4、1、2竞争学习原理(规则),竞争学习采用的规则是胜者为王,该算法可分为3个步骤。,得到 :,(1)向量归一化 将自组织网络中的当前输入模式向量X和竞争层中各神经元对应的内星权向量Wj(j
6、=1,2,m)全部进行归一化处理。,(2)寻找获胜神经元,此式看出,欲两单位向量的欧式距离最小,须使两向量的点积最大。即,因此,求最小欧式距离的问题就转化为按此式求最大点积的问题,而且权向量与输入向量的点积正是竞争层神经元的净输入。,(3)网络输出与权值调整,胜者为王竞争学习算法规定,获胜神经元输出为1,其余输出为零。即,只有获胜神经元才有权调整其权向量,调整后权向量为,式中 为学习章,一般其值随着学习的进展而减小。可以看出,当 时,对应神经无的权值得不到调整,其实质是“胜者”对它们进行了强测抑制,不允许它们兴奋。,应注意,归一化后的权向量经过调整后得到的新向量不再是单位向量,需要重新归一化。
7、步骤(3)完成后回到步骤(1)继续训练,直到学习率 衰减到零。,4.2自组织特征映射(SOM)神经网络,4.2.1SOM网络的生物学基础,生物学研究表明:人的大脑皮层中,存在许多不同功能的神经网络区域,每个功能区域完成各自的特定功能,如视觉、听觉、语言理解和运动控制等等。 当人脑通过感官接受外界的特定时空信息时,将引起大脑皮层的特定区域兴奋。每个区域有若干神经元组成,当该区域兴奋时,总是以某一个神经元(细胞)为兴奋中心,呈现出墨西哥帽(Mexican Hat)式兴奋分布。,1981年芬兰学者kohonen提出一个称为自组织特征映射(Self Organization Feature Map-S
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最新 组织 神经网络 PPT 文档
链接地址:https://www.31doc.com/p-1942224.html