2018年最新210Boltzmann神经网络模型与学习算法-PPT文档-文档资料.ppt
《2018年最新210Boltzmann神经网络模型与学习算法-PPT文档-文档资料.ppt》由会员分享,可在线阅读,更多相关《2018年最新210Boltzmann神经网络模型与学习算法-PPT文档-文档资料.ppt(31页珍藏版)》请在三一文库上搜索。
1、概述,Ackley、Hinton等人以模拟退火思想为基础,对Hopfield模型引入了随机机制,提出了Boltzmann机。,Geoffrey Hinton,David H. Ackley,概述,Boltzmann机是第一个受统计力学启发的多层学习机,它是一类典型的随机神经网络,属于反馈神经网络类型 其命名来源于Boltzmann在统计热力学中的早期工作和网络本身的动态分布行为 Boltzmann机结合BP网络和Hopfield网络在网络结构、学习算法和动态运行机制的优点,是建立在Hopfield网基础上的,具有学习能力,能够通过一个模拟退火过程寻求解答。不过,其训练时间比BP网络要长。,2.
2、10.1 Boltzmann机的网络结构,Boltzmann机由输入部、输出部和中间部构成,2.10.1 Boltzmann机的网络结构,输入部和输出部神经元统称为显见神经元,是网络与外部环境进行信息交换的媒介,中间部的神经元称为隐见神经元,它们通过显见神经元与外界进行信息交换 每一对神经元之间的信息传递是双向对称的,即 而且自身无反馈,即 。 显见神经元将被外部环境“约束”在某一特定的状态,而中间部隐见神经元则不受外部环境约束。,2.10.1 Boltzmann机的网络结构,Boltzmann机神经元模型 每个神经元的兴奋或抑制具有随机性,其概率取决于神经元的输入 图中vj表示神经元 j 的
3、输出,2.10.1 Boltzmann机的网络结构,Boltzmann机神经元模型 每个神经元的兴奋或抑制具有随机性,其概率取决于神经元的输入 图中vi表示神经元i的输出,2.10.1 Boltzmann机的网络结构,神经元的全部输入信号的总和由下式给出 为神经元的阈值,并将其看作连接权值为1的输入,可以归并到总的加权和中去,即得到下式 神经元的输出依概率取1或0: 越大,则 取1的概率越大,而取0的概率越小,2.10.1 Boltzmann机的网络结构,神经元的全部输入信号的总和由下式给出 为神经元的阈值,并将其看作连接权值为1的输入,可以归并到总的加权和中去,即得到下式,2.10.1 Bo
4、ltzmann机的网络结构,ui 越大,则 vi 取1的概率越大,而取0的概率越小,神经元的输出依概率取1或0:,(1),(2),2.10.1 Boltzmann机的网络结构,温度T的作用 如图所示,T越高时,曲线越平滑,即使ui有很大变动,也不会对vi取1的概率变化造成很大的影响;反之,T越低时,曲线越陡峭,当uj有稍许变动时就会使概率有很大差异,当T趋向于0时,每个神经元不再具有随机特性,激励函数变为阶跃函数,这时Boltzmann机演变为Hopfield网络,横坐标表示神经元的输入总和,纵坐标表示概率,2.10.1 Boltzmann机的网络结构,温度T的作用 如图所示,T越高时,曲线越
5、平滑,即使uj有很大变动,也不会对vj取1的概率变化造成很大的影响;反之,T越低时,曲线越陡峭,当uj有稍许变动时就会使概率有很大差异,当T趋向于0时,每个神经元不再具有随机特性,激励函数变为阶跃函数,这时Boltzmann机演变为Hopfield网络,2.10.1 Boltzmann机的网络结构,横坐标表示神经元的输入总和,纵坐标表示概率,网络能量函数,与Hopfield神经网络一样, BM神经网络用能量函数作为描述网络状态的函数,能量函数采用与Hopfield网络相同形式,或,由上式可以看出,如果相应于具有相同状态的元vi和vj之间权值wij大多取正值,而具有相反状态wij大多取负值,E才
6、会具有最低的值;反之,E就相对较高。显然低能量的网络状态表达着网络的更加有序性,这与热力学系统是完全对应的,也是与Hebb规则相呼应的。E降至其全局最小点时,网络即达到其最佳状态,这就是我们要搜索的最优解。,2.10.2 Boltzmann机学习算法,算法原理 Boltzmann机可视为一动力系统,其能量函数的极小值对应系统的稳定平衡点 将待求解优化问题的目标函数与网络的能量函数相对应,神经网络的稳定状态就对应优化目标的极小值 算法分类 状态更新算法 用于解决优化组合问题 联想记忆算法 用于解决依照一定概率重现记忆的问题,BM网络状态演变的能量特征,为简化讨论,假设BM神经网络按异步方式运行,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2018 最新 210 Boltzmann 神经网络 模型 学习 算法 PPT 文档 资料
链接地址:https://www.31doc.com/p-1896010.html