《第7章人工神经网络.ppt》由会员分享,可在线阅读,更多相关《第7章人工神经网络.ppt(38页珍藏版)》请在三一文库上搜索。
1、第7章 人工神经网络,历史回顾 人工神经元 神经网络的学习 感知机 BP算法 实验介绍,什么是人工神经网络(ANN)?,利用计算机模拟人脑的工作方式 感知机是最简单的ANN 不严格定义(1987年,Simpson给出) ANN是一个非线性的有向图,图中含有可以通过改变权大小来存放模式的加权边,并且可以从不完整的或未知的输入找到模式。,7.1 历史回顾(五个时期),萌芽期 从人类开始研究自身智能1949年 来源于神经解剖学和神经生理学。 萌芽期两大标志 (1)1943年,心理学家McCulloch和数学家Pitts建立了阈值加权和模型,MP模型。 (2)1949年,心理学家D.O.Hebb提出神
2、经元突触联系可变假说。 Hebb学习律是ANN学习训练算法起点(里程碑)。,7.1 历史回顾(五个时期),第一高潮期(19501968) 重要成果:单级感知机及电子线路模拟 代表人物: Marvin Minsky、Frank Rosenblatt、Bernard Widrow,7.1 历史回顾(五个时期),反思期(19691982) 标志:1969年,MIT出版社发表感知机一书,无情否定。,反思期中曾有人提出了BP反传算法,但未受重视。,7.1 历史回顾(五个时期),第二高潮期(198290年代初) 标志:美国加州理工学院生物物理学家J. Hopfield于1982、1984年在美国科学院院刊
3、上发表两篇重要论文。 代表作: (1)1982年,Hopfield提出循环网络,将Lyapunov函数引入人工神经网络。 (2)1984年,Hopfield研制出被称为Hopfield网的电路。 (3)1985年,美国加州圣地亚哥分校(UCSD)的并行处理小组(PDP)在Hopfield网络中引入随机机制。,(4)1986年,PDP小组的Rumehart等重新独立提出了BP算法。,7.1 历史回顾(五个时期),第二高潮期(198290年代初) 国内首届神经网络大会于1990年12月在北京举行。 90年,863高技术研究计划批准了ANN的三项课题,自然科学基金与国防科技预研基金也把NN列入选题指
4、南。,7.1 历史回顾(五个时期),再认识与应用研究期 进入20世纪90年代后,发现还有很多问题,还无法对ANN工作机制严格解释。 目前研究: (1)开发现有模型应用,改造算法,提高速度和准确度。 (2)希望理论上的突破,建立新的专用/通用模型和算法。 (3)进一步对生物神经系统进行研究,不断丰富对人脑的认识。,7.2 人工神经元,生物神经元,树突,输入,细胞体,轴突,突触,输出,等效模型,7.2 人工神经元,树突,输入,细胞体,轴突,突触,输出,神经元,细胞体生存(信息处理),树突接收其它神经元信号,与其它神经末稍互联形成突触,轴突信息传输管道,神经元状态,兴奋,阈值约40mV,有输出,抑制
5、,无输出,7.2 人工神经元,激励函数为阈值函数情况,激励函数为S函数情况,7.2 人工神经元,f 函数的选取,Sigmoid函数,双极,无限可微,Sigmoid函数,单极,无限可微,阈值函数,7.2 人工神经元,神经元的学习算法 Hebb学习规则基本思想:如果一神经元接收来自另一神经元的输出,则当这两个神经元同时兴奋时,其连接权值得到加强。,7.3 感知器,前馈神经网络,有些文献不将输入层作为一层,7.3 感知器,感知器网络结构,双层神经网络,只能解决线性可分问题。,输出类别指示,输入样本,神经网络特点,分布式存储信息,用神经网络间连接权值的分布来表示特定的信息,当局部网络受损,仍能恢复原来
6、的信息。 对信息的处理具有并行性。每个神经元都可以根据接收到的信息作独立的运算和处理,然后将结果传输出去,体现了并行处理的概念。 对信息的处理具有自组织、自学习的特点。通过改变连接权值适应周围环境变化,称为神经元学习过程。,7.4 反向传播算法(BP法),一般为三层前馈神经网络 激励函数为Sigmoid函数,基本思想:根据样本希望输出与实际输出之间的平方误差最小,利用梯度下降法,从输出层开始,逐层修正权系数。,修正周期分两个阶段,前向传播阶段,反向传播阶段,7.4 反向传播算法(BP法),3层前馈神经网络,单个神经元节点,前向传播阶段,7.4 反向传播算法(BP法),反向传播阶段,梯度下降法令
7、误差函数最小,7.4 反向传播算法(BP法),反向一层传播,学习速率,搜索步长,7.4 反向传播算法(BP法),反向二层传播,某一隐层节点受所有输出层节点影响,BP算法若干问题讨论,BP采用S函数,输出不宜设为1或0,可设为0.9或0.1。 权系数初始化 不应将初始值设为相同,否则在学习过程中始终不变,可设为随机值。 步长的选择 应设为可变步长,以防止震荡。 局部最小问题 BP算法是非线性优化算法,初始值设置不当,可能陷入局部极小。 前馈网络结构 输入节点数为模式维数,输出节点数一般为类别数,隐层节点数尚无明确方法,实验确定。,BP算法若干问题讨论,前馈网络结构问题 Lippman1987认为
8、,两层隐层可构成任意复杂判别函数。,线性分类,与操作,或操作,BP算法若干问题讨论,前馈网络结构问题,隐节点,过多过拟和,减弱泛化能力,过少欠拟和,过拟和,也有人认为一层隐层即可逼近任意函数,至于隐节点数,无理论指导,需靠实验。,BP算法若干问题讨论,前馈网络隐层节点数经验公式,网络学习技巧,重新初始化权值分类结果不满意时 给权值加扰动有助于脱离局部极小 如-55加10%扰动,即-0.50.5随机数 在训练样本中适当加入噪声提高抗噪能力 学习可有允许误差加快学习速度 选择合适的网络规模 层数多靠近输入层传播误差不可靠 节点多影响泛化能力,学习时间太长,遥感图像的BP神经网络分类,1、学习样本的
9、获取 2、网络系统的确定 3、网络的训练 4、图像的分类 5、分类算法及结果,遥感图像的BP神经网络分类,学习样本的获取 类别:森林、峡谷、河流 学习样本:每个类别人工选取64个 特征向量:,遥感图像的BP神经网络分类,网络系统的确定 网络层数:一般取为3层 输入节点:与特征个数相同,取3 隐节点数量:根据经验公式取为5 输出节点:分为3类,取3,遥感图像的BP神经网络分类,隐层节点数的计算,向上取整,保证分类性能!,网络的训练,遥感图像的BP神经网络分类,BP采用S函数,输出不宜设为1或0,可设为0.9或0.1。,遥感图像的BP神经网络分类,网络的训练,注意:不应将初始值设为相同,否则在学习 过程中始终不变,可设为随机值。,遥感图像的BP神经网络分类,网络的训练,遥感图像的BP神经网络分类,网络的训练,遥感图像的BP神经网络分类,网络的训练,遥感图像的BP神经网络分类,遥感图像的BP神经网络分类,图像信息,图像变换与特征提取,特征数据规格化,分类判决,图像分类结果,神经网络图像分类过程,经过训练的神经网络,遥感图像的BP神经网络分类,神经网络分类结果,贝叶斯分类结果,样本集偏离假设的类条件概率密度情况下,神经网络分类结果好于贝叶斯分类,
链接地址:https://www.31doc.com/p-2980377.html