DBN算法的基本知识解读.doc
《DBN算法的基本知识解读.doc》由会员分享,可在线阅读,更多相关《DBN算法的基本知识解读.doc(4页珍藏版)》请在三一文库上搜索。
1、DBN算法的基本知识解读2006年Hinton发表了一篇革命性的论文Hinton, G E, Osindero, S and Teh, Y,A fast learning algorithmfor deep belief netsNeural ComputaTIon 18:15271554, 2006,引领了DBN深度信念网络的研究,并突破了深度学习的架构。DBN深度置信网络是神经网络的一种,既可以用于非监督学习,类似于一个Autoencoder自编码机;也可以用于监督学习,作为分类器来使用。因此十分值得研究。DBN深度置信网络是一个概率生成模型,与传统的判别模型的神经网络相对,生成模型是建立
2、一个观察数据和标签之间的联合分布,对P(ObservaTIonLabel)和 P(LabelObservaTIon)都做了评估,而判别模型仅仅评估了后者P(LabelObservaTIon)。DBN算法概念:DBN深度置信网络(Deep BeliefNets)是一种生成模型,也是神经网络的一种,通过训练其神经元间的权重,可以让整个神经网络按照最大概率来生成训练数据。不仅可以使用DBN来识别特征、分类数据,还可以用它来生成数据。DBN由多层神经元构成,这些神经元又分为2种:显性神经元和隐性神经元。显性神经元用于接收输入,隐性神经元用于提取特征,因此隐性神经元也叫特征检测器(Feature Det
3、ectors)。最顶上的两层间的连接是无向的,组成联合内存(associative memory)。较低的其他层之间有连接上下的有向连接。最底层代表了数据向量(data vectors),每一个神经元代表数据向量的一维。DBN组成元件是RBM受限玻尔兹曼机。训练DBN的过程是一层一层地进行的。在每一层中,用数据向量来推断隐层,再把这一隐层当作下一层 (高一层)的数据向量。作为神经网络,神经元自然是其必不可少的组成部分。DBN由若干层神经元构成,组成元件是RBM受限玻尔兹曼机,DBN网络结构限制为两层:可视层和隐层,层与层之间存在连接,但层内的单元间不存在连接,隐层单元被训练去捕捉在可视层表现出
4、来的高阶数据的相关性。具体DBN网络结构如下图所示。DBN算法本质:从非监督学习来讲,其目的是尽可能地保留原始特征的特点,同时降低特征的维度。从监督学习来讲,其目的在于使得分类错误率尽可能地小。而不论是监督学习还是非监督学习,DBN算法本质都是Feature Learning的过程,即如何得到更好的特征表达。DBN训练过程:DBN 是由多层 RBM 组成的一个神经网络,它既可以被看作一个生成模型,也可以当作判别模型,其训练过程是:使用非监督贪婪逐层方法去预训练获得权值。DBN训练过程如下:1)充分训练第一个RBM;2)固定第一个RBM的权重和偏移量,然后使用其隐性神经元的状态,作为第二个RBM
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- DBN 算法 基本知识 解读
链接地址:https://www.31doc.com/p-3250953.html