基于语义布局的图像合成更逼真、效果更好.doc
《基于语义布局的图像合成更逼真、效果更好.doc》由会员分享,可在线阅读,更多相关《基于语义布局的图像合成更逼真、效果更好.doc(4页珍藏版)》请在三一文库上搜索。
1、基于语义布局的图像合成更逼真、效果更好编者按:去年,英特尔实验室视觉组主管Vladlen Koltun和斯坦福大学博士陈启峰发表论文Photographic Image Synthesis with Cascaded Refinement Networks,用级联优化网络生成照片。这种合成的图片是神经网络“凭空”生成的,也就是说,世界上根本找不到这样的场景。他们的算法可以看做一个渲染引擎,输入一张语义布局,告诉算法哪里有道路、哪里有车、交通灯、行人、树木,算法就能按照图中的布局输出一张逼真的图像,“好比机器想象出来的画面”。在这篇论文中,英特尔实验室和香港中文大学的研究人员共同创造了一种半参数
2、的图像合成方法,让基于语义布局的图像合成更逼真、效果更好。以下是论智对原论文的编译。在古罗马作家普林尼的作品自然史中记述了这样一则故事:“公元前五世纪,古希腊画家宙克西斯(Zeuxis)以日常绘画和对光影的利用而闻名。他画了一个小男孩举起葡萄的作品,葡萄非常自然、逼真,竟吸引鸟儿前来啄食。然而宙克西斯并不满意,因为画上的男孩举起葡萄的动作还不够逼真,没有吓跑鸟儿。”技术高超的画家想做出以假乱真的画已经很困难了,机器可以实现这个任务吗?用深度神经网络进行现实图像合成为模拟现实图像开辟了新方法。在现代数字艺术中,能合成非常逼真的图像的深层网络成为一种新工具。通过赋予它们一种视觉想象的形式,证明了它
3、们在AI创造中的有用性。最近的图像合成发展大多得益于基于参数的模型驱动,即能代表所有图像外观权重所有数据的深层网络。这与人类写实画家的做法完全不同,他们并不是依靠记忆作画,而是用外部参考当做材料来源,再现目标物体的外观细节。这也和之前图像合成的方法不同,传统的图像合成方法基于非参数技术,可以在测试时使用大规模数据集。从非参数方法转变为参数方法,研究人员发现,端到端的训练有着高度表达的模型。但它在测试时放弃了非参数技术优势。在这篇论文中,我们提出了一种半参数的方法(semi-parametric approach),从语义布局中合成近乎真实的图像,这种方法被称作“半参数图像合成(semi-par
4、ametric image synthesis,SIMS)”。半参数合成方法结合了参数和非参数技术各自的优势,在所提出的方法中,非参数部分是指一组与照片相对的语义布局训练集中绘制的分段数据库。这些片段用于图像合成的原始材料,它们通过深度网络应用在画布上,之后,画布会输出一张图像。Chen和Koltun的研究成果与我们的SIMS方法的成果对比。第一行是输入的语义布局实验概览我们的目标是基于语义布局L0, 1hwc合成一张逼真的图像,其中hw是图片尺寸,c是语义类别的数量。下图是图像合成第一阶段的大致过程:我们的模型在一对对图片和其对应的语义布局上进行训练,图片集是用于生成不同语义类别的图像片段存
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 语义 布局 图像 合成 逼真 效果 更好
链接地址:https://www.31doc.com/p-3418218.html