淘先锋技术网

首页 1 2 3 4 5 6 7

Conditional Generative Adversarial Nets(2014)

简述:
目前有两个问题,第一个是尽管监督神经网络(尤其是卷积网络)最近取得了许多成功,但要扩展此类模型以适应数量极其庞大的预测输出类别仍然具有挑战性。第二个问题是,迄今为止的大部分工作都集中在学习从输入到输出的一对一映射。然而,许多有趣的问题更自然地被认为是概率一对多的映射
解决第一个问题的一种方法是利用来自其他模式的额外信息。即使是从图像特征空间到单词表示空间的简单线性映射也可以提高分类性能。
解决第二个问题的一种方法是使用条件概率生成模型,将输入作为条件变量,将一对多映射实例化为条件预测分布。

问题or相关工作:
GAN网络调整G的参数以最小化log(1 - D(G(z)),调整D的参数以最小化logD(X),objective function:
在这里插入图片描述
GAN的优点是不需要马尔科夫链,只需要反向传播来获得梯度,学习过程中不需要推理,可以很容易地将各种因素和相互作用纳入模型。

模型:
C-GAN:
如果GAN中的G和D都以一些额外的信息y为条件,则生成对抗网可以扩展到条件模型。y可以是任何类型的辅助信息,例如类标签或来自其他模式的数据。我们可以通过输入y到G和D作为额外的输入层来实现条件设置。
在生成器G中,输入噪声pz(z)和y以联合隐式表示的形式组合,而对抗性训练框架允许在如何组合这种隐式表示时具有相当大的灵活性。
在鉴别器D中,x和y表示为输入,并表示为鉴别函数(在本例中再次由MLP表示)
objective function:
在这里插入图片描述
简单的C-GAN如下图:
在这里插入图片描述

成果:
基于Parzen窗口的MNIST日志可能性估计结果:
在这里插入图片描述
生成MNIST数字,每一行都在一个标签条件下生成的:
在这里插入图片描述
Future work:
希望在未来的工作中 ,希望提出更先进的模态,以及更详细和深入的分析,他们的性能和特点,同时使用多个标签(有效地将生成问题作为“集合生成”之一)
在这里插入图片描述