基于姿态信息生成全身的高分辨率图像的新框架.doc
《基于姿态信息生成全身的高分辨率图像的新框架.doc》由会员分享,可在线阅读,更多相关《基于姿态信息生成全身的高分辨率图像的新框架.doc(4页珍藏版)》请在三一文库上搜索。
1、基于姿态信息生成全身的高分辨率图像的新框架近日,和任天堂关系密切的日本网络服务公司DeNA发布了一篇颇为有趣的文章:Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks,即用PSGAN生成高分辨率的全身动画。据了解,DeNA的业务涵盖社交游戏、电子商务等领域,此前公司推出的手游忍者天下也在中国市场取得了骄人的成绩。昔日忍者化身换装暖暖,DeNA想用GAN做些什么呢?以下是论智对文章的编译。摘要本文提出了一种渐进结构条件生成
2、对抗网络(PSGAN),它是一个能基于姿态信息生成全身的高分辨率图像的新框架。近年来,许多人都研究过用深度生成模型自动生成图像和视频,这项技术对媒体创建工具来说很有帮助,它可以被用来进行图片编辑、动画制作甚至是电影制作。就动漫产业角度看,一个能自动生成动画角色的神经网络不仅能为创作者带来诸多灵感,它还能为整个产业节省作画上巨额开支。现在我们已经有了能生成人物脸部图像的GAN,但还没有能生成角色全身图的工具。而且就这些生成脸部图像的神经网络来说,它们的图像质量还达不到工业级作画标准。因此,开发一个既能生成全身图像,又能生成高质量姿态的GAN将对制作新角色、绘制新动漫大有裨益。但达成这个目标还有两
3、大难点:(1)生成高分辨率图像;(2)用特定的姿态序列生成图像。为了解决上述问题,我们引入PSGAN,它能根据结构信息,在训练过程中逐步提高生成图像的分辨率,以此细化图像在结构上的细节特征,如生成对象的全身图。同时,我们也在网络上添加了任意的潜在变量和结构条件,让它能基于目标姿势序列生成多样化和可控制的动作视频。在这篇文章中,我们用实验证明了PSGAN的有效性,如下文这个512x512的视频所示,视频中的动画角色展示了PSGAN生成的人物服装细节、身体姿态的整体调整。生成结果预览视频展示了由PSGAN生成的各种动漫角色和动画。首先,我们用随机潜在变量生成大量动画角色;其次,我们再对具体的动漫角
4、色进行潜在插值,以生成新的动画角色;最后,我们用连续的姿势序列制作出流畅的动画。换装PLAYPSGAN生成全新全身图的主要方式是插入不同的服饰,这是利用改变潜在变量实现的。需要注意的一点是,换装时人物的姿态是固定的。舞动人“身”下图展示了指定动画角色生成目标姿态的具体过程:和生成服饰相反,这里我们固定潜在变量,并给PSGAN提供连续的姿势序列。更具体地说,就是将指定动画角色的表示映射到潜在变量内它处于潜在空间诶,是PSGAN的输入向量然后用这个新的潜在变量做PSGAN的输入,以此做到在不改变外观的前提下改变姿态。渐进结构的条件GAN我们的主要想法是逐步学习具有结构条件的图像表示。我们参考了Ka
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 姿态 信息 生成 全身 高分辨率 图像 框架
链接地址:https://www.31doc.com/p-3417284.html