ResNet本质上就干了一件事:降低数据中信息的冗余度。.doc
《ResNet本质上就干了一件事:降低数据中信息的冗余度。.doc》由会员分享,可在线阅读,更多相关《ResNet本质上就干了一件事:降低数据中信息的冗余度。.doc(3页珍藏版)》请在三一文库上搜索。
1、ResNet本质上就干了一件事:降低数据中信息的冗余度。本文作者重新审视了ResNet之所以工作的原因,得出结论:ResNet本质上就干了一件事:降低数据中信息的冗余度。最近在总结完成语义分割任务的轻量级神经网络时,看到了MobileNetV2中对于ReLU层的思考,于是我也回过头重新审视ResNet之所以work的本质原因。以下是一些个人的见解,如有错误,还望及时指正。在谈及ResNet之前,我们先聊聊故事的背景。我们知道,在神经网络中,非线性激活层可以为模型引入了非线性,让模型具有更强的拟合能力。如果只是单纯的线性操作层的叠加,则完全可以等价为一个线性层,这就浪费了深度神经网络的一身好本领
2、。所谓针无两头尖,那么非线性激活层会带来一些什么问题呢?我们以ReLU为例来进行说明,其他非线性激活层亦同理。首先,最直观的,从实验中我们可以注意到一个事实:ReLU 会造成的低维数据的坍塌(collapse)。顾名思义,即是说,低维度的feature在通过ReLU的时候,这个feature会像塌方了一样,有一部分被毁掉了,或者说失去了。能恢复吗?能,但是基本无法百分百还原了。具体表现出来就是:若是我们对一个feature,先通过一个给定的变换规则T,将它映射到它的embeddingspace中,再在该embeddingspace中,利用一个ReLU去处理该feature,最后再把这个feat
3、ure以同样的变换规则(逆方向)给映射回原始空间,我们会发现,这时,这个feature已经变得连亲妈都不认得了。如图图片来自MobileNetV2:InvertedResidualsandLinearBottlenecksReLU这个东西,其实就是一个滤波器,只不过这个滤波器的作用域不是信号处理中的频域,而是特征域。那么滤波器又有什么作用呢?维度压缩,俗话说就是降维啦:如果我们有m个feature被送入ReLU层,过滤剩下n个(n那么,我们应该怎么去规避数据的坍塌呢?非线性激活层到底是个什么样的东西?其实,对于一个数据,利用非线性激活层对其进行激活,其实是从该数据的信息中提取出其潜在的稀疏性,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- ResNet 本质上 一件 降低 数据 信息 冗余
链接地址:https://www.31doc.com/p-3272174.html