第五部分突触动力学Ⅱ有监督学习.ppt
《第五部分突触动力学Ⅱ有监督学习.ppt》由会员分享,可在线阅读,更多相关《第五部分突触动力学Ⅱ有监督学习.ppt(30页珍藏版)》请在三一文库上搜索。
1、第五章 突触动力学:有监督学习,神经网络的分类 按网络结构分为:反馈网络和前馈网络; 按学习方式分为:监督学习和非监督学习。 本章主要论述前馈网络的监督学习算法,包括感知器算法、最小均方误差算法和反向传播(BP) 算法。 本章论述了监督学习是对未知平均误差层的随机近似,即给定观察得到的随机矢量样本对:,要估计一个未知函数:f : xy,并且使期望误差函 数EJ最小。误差定义为期望特性与实际特性之差。,第五章 突触动力学:有监督学习,上图即为前馈神经网络的结构示意图。各神经元接 受前一级输入,并输出到下一级,无反馈。输入、 输出节点称为可见层,其他中间层称为隐层。,第五章 突触动力学:有监督学习
2、,当现有的先验知识不完全时,就需要学习。学习的方式取决于这一先验信息不完全的程度。在监督学习过程中,假设已知未来学习系统的期望响应,并且使用期望值与实际值的差值(即学习系统的误差)去修正系统的行为。而在非监督学习中是不了解学习系统的期望响应的。 神经网络通过向环境获取知识并改进自身性能。一般是按某种预定的度量调节自身的参数(如权值)随时间逐步达到的。,第五章 突触动力学:有监督学习,监督学习有时也叫有教师学习,“教师”在这里要对一组给定的输入提供应有的输出结果。这组已知的输入输出数据就称为训练样本集。学习系统如下图:,第五章 突触动力学:有监督学习,非监督学习不存在外部教师,学习系统完全按照
3、环境所提供数据的某些统计规律来调节自身参数或 结构(这是一种自组织过程),以表示外部输入的某 种固有特征,如聚类。 学习算法主要有: 1、Hebb学习算法:,2、竞争学习算法:,3、误差纠正学习算法,若神经元 j 获胜,若神经元 j 失败,第五章 突触动力学:有监督学习,1、有监督函数估计 神经网络引进的函数估计的概念为:已知随机样本矢量对,,要从这些样本中估计,出产生这些样本矢量对的函数 ,即:,下面从不同角度分析监督学习:,其中:,是输入空间,是输出空间,是要估计的泛函,所采用的方法为是使一个未知期望的误差函数,(也叫目标函数)最小化。,第五章 突触动力学:有监督学习,2、作为有效条件的有
4、监督学习 有效条件强化响应(Operant conditioning reinforce responses)。条件聚类强化了刺激,例如,一个生物 体学会了一刺激响应对:,,那么在条件刺激 S,中加一个条件,进行学习,即:,这样不断强化刺激,直到输入 B 时反应为 R。这样就 有:,也就是学会了一条规则。这样的例子如,巴普洛夫条件反射试验。,第五章 突触动力学:有监督学习,3、用已知的类隶属度作为随机模式学习的有监督学习 模式:定义为模式空间 的一个点;,时变模式:空间,中的一条轨迹线;,映射,定义了从时间区间,到模式,空间,中单点的映射。,概率密度,为模式 x 在,中的分布的一种描述,模式类
5、:为空间,的子集,现在的任务是用已知的样本,及模式类,,估计,第五章 突触动力学:有监督学习,定义,是集合,的指示函数:,指示函数指出了模式 x 的类隶属度。如果 S 是将,映射到,而不是,,那么 S 就是一个连续的,或者说多值的(模糊的)集合,即模式 x 以不同的程 度隶属于不同的类。 假设将模式样本空间,分为 k 个不相交的子集:,第五章 突触动力学:有监督学习,则类概率密度为:,为求期望值,且有:,有监督和无监督模式学习的区别依赖于已有的信息以 及学习系统如何利用它。在两种情况下系统都不知道,如果知道确定的类,并且学习系统利用了这些信息,那 么模式学习就是监督学习。如果不知道或没用类隶属
6、度 (指示函数),则模式学习就是非监督的。,第五章 突触动力学:有监督学习,监督随机竞争学习定律: 先看噪声随机竞争学习定律:,由于上式没有使用类成员信息校正突触矢量,所以是 非监督学习。,监督随机竞争学习定律为:,增强函数为:,奖励正确的模式分类1,惩罚错误的模式分类为1。,第五章 突触动力学:有监督学习,4、作为随机逼近的有监督学习 随机逼近用已知的随机梯度,来估计未知的梯度,,使用的方法是离散随机梯度下降迭代算法:,是网络第,次迭代的连接强度向量,,是与,有关的梯度。由于样本,是随机的,所以,是随,机的,,是随机的。,随机逼近表明,合适的有监督学习是渐进最优学习。当学习结束时,知道的仅是
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第五 部分 突触 动力学 监督 学习
链接地址:https://www.31doc.com/p-2571443.html