一种用机器学习进行3D实时渲染的新方法-用paGAN实现3D实时渲染.doc
《一种用机器学习进行3D实时渲染的新方法-用paGAN实现3D实时渲染.doc》由会员分享,可在线阅读,更多相关《一种用机器学习进行3D实时渲染的新方法-用paGAN实现3D实时渲染.doc(5页珍藏版)》请在三一文库上搜索。
1、一种用机器学习进行3D实时渲染的新方法:用paGAN实现3D实时渲染编者按:近日,影视后期特效网站FXGuide在文章中介绍了一种用机器学习进行3D实时渲染的新方法,在手机中安装相关软件后,用户可以实现脸部即时卡通化,或是把自己的动态表情转移到别人的脸上。这项技术来自AI创企Pinscreen,但不久前,它的首席执行官/联合创始人却陷入了一场颇为轰动的学术丑闻SIGGRAPH是计算图形学的年度顶级会议,发展至今,它已经成为全球最负盛名的的CG展示、学术研讨会除了论文展示环节,以电影、游戏为代表的工业界也会争相展示最新技术,比如今年与会的暴雪娱乐和皮克斯,可想而知,它的热闹程度完全不亚于任何大型
2、博览会。今年的SIGGRAPH将在8月12日召开,为期5天。作为计算图形学最重要的会议,随着近年来AI热度的不断上升,和计算机视觉一样,SIGGRAPH的机器学习论文占比也屡破新高,这片图形学的圣域大有“沦陷”趋势。而Pinscreen将在Real Time Live活动中展示的正是一项机器学习成果:paGAN。学术造假丑闻说到这家公司,就不得不提它的首席执行官/联合创始人黎颢。这是个在南加州大学任教的华人教授,他是SIGGRAPH的常客,也曾被微软学术搜索评为“过去5年计算机图形学领域十大影响力学者”,在业内有相当的知名度和威望。黎颢但二十几天前,他的前雇员Iman Sadeghi博士却向他
3、发起指控。在递交给法院的报告中,Iman Sadeghi列出了黎颢的几大罪状:1)用人工绘制图像假冒AI作品,并在SIGGRAPH上展示“成果”;2)用技术“成果”欺骗投资人;3)恶意解雇并殴打Sadeghi博士。这个消息立即在学界引起轩然大波,毕竟如此恶劣的学术不端行为还是很少见的。但随着舆论持续发酵,一些关于Sadeghi博士的负面消息也出现了:1)入职后基本不工作,老是不见人影;2)试图抢夺公司财产,删除重要数据;3)殴打劝阻的女员工。当然,以上只是他们的一面之词,最终结果还是要交给加州法院定夺。作为旁观者,我们无需也无法作出判断。综观此次Pinscreen的展示内容预告,我们发现它和诉
4、讼报告中提到的很不一样,所以觉得有介绍的必要。至于这个成果是不是“造假”得来的,还有待时间检验。用paGAN实现3D实时渲染在介绍技术前,我们先来看看paGAN的具体效果。下图的左侧是FXGuide编辑Mike Seymour用iPhone拍摄的源视频,右侧是实时渲染CGI。可以发现,Pinscreen的成果确实可以在同一源视频上进行数字化构图,为真实人脸生成3D数字掩模。除了混合边缘上的小调整,整个过程已经基本实现自动化。在渲染过程中,皱纹等细节的处理通常比较困难。如上图所示,虽然软件没能准确重现每一条皱纹及其深浅程度,但右图中的皱纹还是非常连贯,没有出现参差错落的情况。根据Pinscree
5、n的说法,这些都是自动生成的。上图是Sadeghi博士在诉讼报告中展示的学术造假示例。据网友实验,Pinscreen当前版本的APP在处理肩部以下头发时效果很差,对比Haley Dunphy那一头金发(这是2017年提交给SIGGRAPH的成果),因此很多人认为他提出的“头发为人工制作”的说法是可信的。但去年这个效果似乎和Mike Seymour的最新实验有很大差距,具体我们可以等新版软件发布再去验证。1. 用单张jpeg构建面部如果要生成卡通化的3D人脸,首先我们要构建3D模型。Pinscreen现在使用的技术是基于单张Jpeg图像构建3D脸部模型,具体方法是靠“猜”,也就是先制作合理的3D
6、网格,然后对输入图像和3D形状执行形状匹配和角度变换。事实上,除了Pinscreen,其他公司也用机器学习实现了这一技术,它们的商业模式也基于这种创新。但Pinscreen的优势是处理效果更好,目标更长远开发直接面向用户的端到端解决方案。2. 每秒1000帧的脸部跟踪获得模型后,下一步就是追踪人脸位置和细节状态,保证模型的实时更新。据介绍,目前Pinscreen开发的最强大的脸部追踪器是VGPT(Veli Goodo Pace Tracka),这也是他们即将在SIGGRAPH上实时演示的重要内容。VGPY是一个基于深度学习的轻量级网络,本身只有5M。不同于传统追踪器,它既不追踪特征,也不追踪标
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一种 机器 学习 进行 实时 渲染 新方法 paGAN 实现
链接地址:https://www.31doc.com/p-3364745.html