Keras实现:用部分卷积补全图像不规则缺损.doc
《Keras实现:用部分卷积补全图像不规则缺损.doc》由会员分享,可在线阅读,更多相关《Keras实现:用部分卷积补全图像不规则缺损.doc(4页珍藏版)》请在三一文库上搜索。
1、Keras实现:用部分卷积补全图像不规则缺损编者按:图像补全是一个热门研究领域,今年4月,NVIDIA发表了一篇精彩的论文:Image Inpainting for Irregular Holes Using Partial Convolutions。文章指出,以往图像补全技术都是用残缺位置周边的有效像素统计信息填充目标区域,这种做法虽然结果平滑,但存在效果不逼真、有伪像,且后期处理代价昂贵的缺点。因此他们用大量不规则掩膜图像训练了一个深度神经网络,它能为图像生成合理掩膜,再结合仅以有效像素为条件的部分卷积(Partial Convolutions),最终模型的图像补全效果远超前人的成果。而近
2、日,有网友复现了这篇论文,并在GitHub上公开了他的Keras实现,感兴趣的读者前去一看:github/MathiasGruber/PConv-KerasNVIDIA论文环境Python 3.6Keras 2.2.0Tensorflow 1.8如何使用这个reporepo中包含的PConv2Dkeras实现可以在libs/pconv_layer.py和libs/pconv_model.py中找到。除此之外,作者还提供了四个jupyter NoteBook,详细介绍了实现网络时经历的几个步骤,即:step 1:创建随机不规则掩膜step 2:实现和测试PConv2D层step 3:实现和测试采
3、用UNet架构的PConv2D层step 4:在ImageNet上训练和测试最终模型实现细节在设计图像补全算法时,研究人员首先要考虑两个因素:从哪里找到可利用的信息;怎么评判整体补全效果。无论是天然破损的图像,还是被人为打上马赛克的图像,这之中都涉及图像语义上的预测。这篇论文发表之前,学界在图像补全上的最先进方法之一是利用剩余图像的像素统计信息来填充残缺部分,这利用了同一幅图像素间的连接性,但缺点是只反映了统计上的联系,无法真正实现语义上的估计。后来也有人引入深度学习的方法,训练了一个深度神经网络,以端到端的方式学习语义先验和有意义的隐藏表示,但它仍局限于初始值,而且使用的是固定的替换值,效果
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Keras 实现 部分 卷积 图像 不规则 缺损
链接地址:https://www.31doc.com/p-3253443.html