GANs领域值得深入研究的七个问题,让我们得以窥视GANs未来的发展走向.doc
《GANs领域值得深入研究的七个问题,让我们得以窥视GANs未来的发展走向.doc》由会员分享,可在线阅读,更多相关《GANs领域值得深入研究的七个问题,让我们得以窥视GANs未来的发展走向.doc(5页珍藏版)》请在三一文库上搜索。
1、GANs领域值得深入研究的七个问题,让我们得以窥视GANs未来的发展走向生成对抗网络GANs自从诞生以来就得到了各界的广泛关注,在图像领域的发展成果更是目不暇接,飞速的发展让人眼花缭乱。但我们从另一个角度来审视GAN会发现这一领域还有很多问题没有公认的理解,例如对如何评价GANs的表现人们还没有达成共识。最近,来自Google Brain的研究人员就GANs目前的研究状况进行了详细深入的梳理,提出了GANs领域值得深入研究的七个问题,让我们得以窥视GANs未来的发展走向。一、GANs与其他生成模型间的利弊权衡除了GANs外,目前还包括流模型FlowModels和自动回归模型Autoregres
2、siveModels两种主要的生成模型。简单来说,流模型主要讲一系列不可逆的变化转换为从先验中的采样,使模型可以计算精确的对数似然,而自回归模型则将观测的分布分解到了条件分布上,一次观测只处理其中的一个(对于图像来说,一次处理一个像素)。最近的研究表明这几种模型有着不同的表现特点和平衡方式,对这些平衡的特点及模型的内禀属性进行精确的研究是十分有意义的方向。下面将从计算量上来分析模型间的差异。流模型可以计算出精确的对数似然和推理,看起来会让GANs没有用武之地。训练GANs是一项复杂的工作,需要很大的努力,Flow模型的出现让我们不禁担心起GANs的发展,也许在训练中加入最大似然是不错的方法。但
3、计算量成为了一个无法回避的问题。对于流模型的代表Glow来说,训练一张256*256的图像生成器需要40个GPU耗时两个星期训练200M参数,而GANs训练1024*1024的生成器只需要在8GPU上用4天时间训练46M参数。这意味着流模型需要用17倍的时间才能训练出生成1/16大小的图像。那么是什么造成了流模型的低效呢?研究人员认为有两个主要的原因,其一是极大似然估计比对抗样本的训练更为复杂。如果样本中的元素被模型设置了0概率,那么惩罚将会变成无穷大!而GANs则通过间接的方式设置0概率,惩罚将会缓和的多。另一个方法来自于归一化流(normalizedflows),研究人员认为这是对于特定函
4、数的一种低效表达,但目前对于这一领域还没有深入的研究。讨论完流模型后我们再来看看自回归模型。有研究表明自回归模型可以被表示为非并行化的流模型。从流模型中采样必须是串行的过程,每次只能进行一次观测。同时也有研究表明,自回归模型比流模型具有更高的运行和参数效率。综上所述,GANs是并行高效的计算模型,但是不具有回溯性;流模型具有回溯性和并行性,但是效率很低;自回归模型虽然高效和回溯,但却无法并行化处理。到这里我们可以进一步总结第一个问题:GANs和其他生成模型间最基本的trade-offs到底是什么?我们能不能在这个领域建立起类似CAP利用的方法来描述可逆性、并行性和参数/时间效率呢?其中一个可能
5、的方向是研究更多的混合模型,但混合的流模型/GAN模型目前的研究还很少。研究人员认为极大似然训练比GAN训练更为困难,流模型参数的表达能力很很可能比任意编码器函数低,但需要一定的假设来进行证明。二、GANs可以为什么样的分布建模呢?目前绝大多数的GANs集中在图像领域,研究人员们常常在MNIST,CIFAR-10,STL-10,CelebA,和Imagenet上进行训练。通常来讲,MNIST和CelebA上的训练比Imagenet,CIFAR-10,STL-10上的训练更为容易,很多人都注意到类别数的上升是GANs难以训练ImageNet的原因。这也使得先进的网络在CelebA上的生成结果比I
6、mageNet上的结果更。然而我们需要对这些在大数据集上训练所观察到的结果进行科学的解释,研究人员希望在未来能够有一定的理论和标准来判断一个数据集是否适合用GANs训练。这一领域的研究已经开始,但未来还有广泛的发展空间。所以我们可以将第二个问题表示为下面的陈述:对于给定数据集,我们可以给出用GANs构建其分布的难以程度吗?那么一系列新的问题随之而来:为分布建模的定义是什么?我们需要的是一个下界表示还是真实的稠密模型?是不是存在GANs无法建模的分布?是不是存在一些可以学习但建模效率很低的分布?针对上述问题的答案,与其他生成模型相比GANs是不是具有独特的性质?针对上述问题,研究人员提出了两个策
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- GANs 领域 值得 深入 研究 七个 问题 让我们 得以 窥视 未来 发展 走向
链接地址:https://www.31doc.com/p-3252111.html