多层分布式表征学习不仅有深度神经网络,同时还有决策树!.doc
《多层分布式表征学习不仅有深度神经网络,同时还有决策树!.doc》由会员分享,可在线阅读,更多相关《多层分布式表征学习不仅有深度神经网络,同时还有决策树!.doc(4页珍藏版)》请在三一文库上搜索。
1、多层分布式表征学习不仅有深度神经网络,同时还有决策树!自去年周志华等研究者提出了深度森林以后,这种新型的层级表征方式吸引了很多研究者的关注。今日,南京大学的冯霁、俞扬和周志华提出了多层梯度提升决策树模型,它通过堆叠多个回归 GBDT 层作为构建块,并探索了其学习层级表征的能力。此外,与层级表征的神经网络不同,他们提出的方法并不要求每一层都是可微,也不需要使用反向传播更新参数。因此,多层分布式表征学习不仅有深度神经网络,同时还有决策树!近十年来,深层神经网络的发展在机器学习领域取得了显著进展。通过构建分层或深层结构,该模型能够在有监督或无监督的环境下从原始数据中学习良好的表征,这被认为是其成功的
2、关键因素。成功的应用领域包括计算机视觉、语音识别、自然语言处理等 1。目前,几乎所有的深层神经网络都使用具有随机梯度下降的反向传播 2,3 作为训练过程中更新参数的幕后主力军。实际上,当模型由可微分量(例如,具有非线性激活函数的加权和)组成时,反向传播似乎仍是当前的最佳选择。其他一些方法如目标传播 4 已经被作为训练神经网络的替代方法被提出,但其效果和普及还处于早期阶段。例如,5_的研究表明,目标传播最多可达到和反向传播一样的效果,并且实际上常常需要额外的反向传播来进行微调。换句话说,老掉牙的反向传播仍然是训练神经网络等可微分学习系统的最好方法。另一方面,探索使用非可微模块来构建多层或深度模型
3、的可能性的需求不仅仅是学界的兴趣所在,其在现实应用上也有很大的潜力。例如,基于树的集成(例如随机森林 6 或梯度提升决策树(GBDT)7 仍然是多个领域中建模离散或表格数据的主要方式,为此在这类数据上使用树集成来获得分层分布式表征是个很有趣的研究方向。在这样的案例中,由于不能使用链式法则来传播误差,反向传播不再可行。这引发了两个基本的问题:首先,我们是否可以用非可微组件构建多层模型,从而中间层的输出可以被当作分布式表征?其次,如果是这样,如何在没有反向传播的帮助下,联合地训练这种模型?本文的目的就在于提供这种尝试。近期 Zhou 和 Feng 8 提出了深度森林框架,这是首次尝试使用树集成来构
4、建多层模型的工作。具体来说,通过引入细粒度的扫描和级联操作(cascading operation),该模型可以构建多层结构,该结构具备适应性模型复杂度,且能够在多种类型的任务上取得有竞争力的性能。8 提出的 gcForest 模型利用了集成学习多样性增强的各种策略,然而该方法仅适用于监督学习设置。同时,该论文仍然不清楚如何利用森林来构建多层模型,并明确地测试其表征学习能力。由于很多之前的研究者认为,多层分布式表征 9 可能是深度神经网络成功的关键,为此我们应该对表征学习进行这样的探索。该研究力求利用两个方面的优势:树集成的出色性能和分层分布式表征的表达能力(主要在神经网络中进行探索)。具体来
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多层 分布式 表征 学习 仅有 深度 神经网络 同时 还有 决策树
链接地址:https://www.31doc.com/p-3418906.html