Direct Transformation#

所谓直接转换，是指直接 train 一个从 Domain X 到 Domain Y 的 Generator $G_{X \to Y}$，当然结果需要一个 Discriminator $D_Y$ 来评判，就像下面这样

不过这样虽然能够保证生成的图片是接近于 Domain Y 的，但如何保证能够保留原图的语义信息呢？

最简单的方法就是，什么都不管，当 $G_{x \to Y}$ 足够 Shallow 的情况下，那么原图并不会改变太多的

但……我们如果需要一个足够 Deep 的 $G_{X \to Y}$ 才能 work 的时候要怎么办呢？

方式一（添加约束项）：

Yaniv Taigman, et al. Unsupervised Cross-Domain Image Generation, ICLR, 2017

我们用一个 PreTrain 的 CNN backbone 来提取图片中的表示，然后让原图与生成图在表示空间内尽可能地一致

方式二（Circle GAN）：

Jun-Yan Zhu, et al. Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Network, ICCV, 2017

也就是，除去 $G_{X \to Y}$，再加一个 $G_{Y \to X}$，原图 $x$ 与 $G_{Y \to X}(G_{X \to Y}(x))$ 尽可能相同，以保证这个图片能顺利还原回来

另外，我们可以同时 train $Y \to X$ 的过程，构成一个 Circle

大功告成，完美～

但是 Circle GAN 虽然能够成功将 Domain X 变成 Domain Y，并再解回来，但 Domian Y 的结果可能并不一定能够保证是那么地接近与原图，因为神经网络可能在 Domain Y 图中“隐藏”某些肉眼看不到的信息再解回去，该问题尚待解决

Projection to Common Space#

那么我们能不能直接在表示空间中进行操作呢？将前面的 $G_{X \to Y}$ 拆开变成一个 $Encoder_X$ 和一个 $Decoder_Y$，那么中间的 embedding 就暴露出来了

可是，这个怎么 train？emmm，分成两个 auto-encoder（$Encoder_X \to Decoder_X$ 和 $Encoder_Y \to Decoder_Y$），各自在自己的 Domain 里 train……但 auto-encoder 的结果非常模糊呀，要如何解决？emmm，我们可以在这里加个 Discriminator

我们在最后加一个 Discriminator，这样就可以让图片足够清晰啦（这个结构和 VAE-GAN 一样）

emmmm，还有他们 train 出来的 embedding 完全没有关系啊，语义不一致啊，这要如何解决呢？

方式一（共享接近于表示那几层的参数）：

比较容易理解啦，这个 trick 在 Couple GAN（CoGAN） 中有使用，不过原论文图中 G（Decoder）在左面，D（Encoder）在右面，看起来就像是两侧的参数进行共享，但其实都一样啦，都是在接近特征空间进行 share

方式二（加一个对 embedding 的 Discirminator）：

在 embedding 加一个 Domain Discriminator，用于判断该 embedding 来自 Domain X 还是 Domain Y，而 $Encoder_X$ 和 $Encoder_Y$ 则致力于骗过 Domain Discriminator，让其分不清原图到底来自哪个 Domain

方式三（能够转一圈再回来的就是好 GAN）：

一个小 $x$ 的旅途：$x \to Encoder_X(x) \to Decoder_Y(Encoder_X(x)) \to Encoder_Y(Decoder_Y(Encoder_X(x))) \to Decoder_X(Encoder_Y(Decoder_Y(Encoder_X(x))))$ 然后我还要尽可能和我原来的样子一样……该方法被用于 ComboGAN

方式三（这次少跑一点就好）：

转 3/4 圈，然后要求在特征空间尽可能不变，有被用在 DTN 和 XGAN

Generator#

如果我们将已有数据看作一个 distribution 的，并将其记为 $P_{data}(x)$，那么我们所 train 的 G 生成的数据应当尽可能都在 $P_{data}$ 中，或者说 G 映射的目标 distribution $P_G$ 应当尽可能地贴近 $P_{data}$

如何让它们尽可能贴近？最大化 Likelihood，也即从 $P_{data}$ 里 sample 出来一些数据 $\{x^1, x^2, \cdots, x^m\}$，既然它们 Likelihood 相似，那么 $L = \prod \limits_{i=1}^m P_G(x_i; \theta)$ 也应当取得最大值，那么我们就要找到使得这个 Likelihood 最大的参数 $\theta^*$，也即

经过一点点推导，我们发现最大化这个 Likelihood 等价于最小化两个分布之间的 KL Divergence（还是蛮直觉的）

也即

那么如何计算这个 Divergence，我们的 G 是一个复杂的 network，它的分布并不能直接衡量，当然 $P_{data}$ 也不能直接衡量，emmm，那么第二个主角就该登场了

Discriminator#

我们训练一个 D 来告诉我们 Divergence 有多大，之前已经知道训练它是使用二分类的方法，此时相当于最大化下式

$V(G, D) = E_{x~P_{data}}[\log D(x)] + E_{x~P_G}[\log (1 - D(x))]$

其中 G 是 fixed 住的

也就是说

那么……为什么这样是可以的？

经过亿点推算，我们可以得到

其中，$JSD(P_{data}||P_G)$ 是指 $P_{data}$ 和 $P_G$ 之间的 JS Divergence，那么……我们是不是可以用 JS Divergence 替换之前的 KL Divergence？emmm，其实不能直接替换，JS Divergence 和 KL Divergence 是不同的衡量标准，但……它们确实也都是衡量标准，先换上试试看

也就是说，在每个 G 中，我们先找到 V(G, D) 的最大值 $V(G_i, D^*)$，然后从这些 G 中挑选出使得各自 $V(G_i, D^*)$最小的 $G^*$

从上图而言，就是各个 G 先找出最大值，然后再取这些值之中的最小值对应的 G

Algorithm#

那么为什么我们的 GAN 是用最开始那种算法的呢？我们的算法过程是在解 $G^* = arg\min\limits_G\max\limits_D V(G, D)$，也就是首先训练一个能够表征 JS Divergence 的 D，D 需要越精确越好，因此这个过程需要重复多次，尽可能收敛

• 在每个迭代中，更新 D，重复以下过程 k 次
  • 从 $P_{data}$ 中选取 $\{x^1, x^2, \cdots, x^m\}$
  • 从 $P_{prior}(z)$ 中选取 $\{z^1, z^2, \cdots, z^m\}$，喂给 $G$ 获得 $\{\tilde{x}^1, \tilde{x}^2, \cdots, \tilde{x}^m\}$，其中 $\tilde{x}^i = G(z^i)$
  • 更新 D 的参数 $\theta_d$
    • $\tilde{V} = \frac{1}{m} \sum\limits_{i=1}^m \log D(x^i) + \frac{1}{m} \log (1 - D(\tilde{x}^i))$
    • $\theta_d \leftarrow \theta_d + \eta \nabla \tilde{V}(\theta_d)$

那么，我们就认为这个 D 能够代表 JS Divergence，更新一下 G，但不能更新太多，当 G 过度更新时，$V(G, D)$ 也被更新，而 JS Divergence 是 $\max V(G, D)$，可能此时的 D 已经不能代表 JS Divergence 了，因此 G 的更新比较少，可能只有一次

• 在每个迭代中，更新 G，重复以下过程 1 次
  • 从 $P_{prior}(z)$ 中选取 $\{z^1, z^2, \cdots, z^m\}$
  • 更新 G 的参数 $\theta_g$
    • $\tilde{V} = \sout{\frac{1}{m} \sum\limits_{i=1}^m \log D(x^i) +} \frac{1}{m} \log (1 - D(G(z^i)))$
    • $\theta_g \leftarrow \theta_g - \eta \nabla \tilde{V}(\theta_g)$

Ian Goodfellow 在 G 的更新中使用 $\tilde{V} = \frac{1}{m} (- \log (D(x)))$ 替换了原式的 $\tilde{V} = \frac{1}{m} \log (1 - D(x))$，这样……在实际操作时就变得更加简单了，训练 G 时只需要将 G 生成的标签翻转改为 1 即可，G 和 D 可以直接使用同一个 Loss 函数

为了区分两者，Ian Goodfellow 将原始的式子 $\tilde{V} = \frac{1}{m} \log (1 - D(x))$ 称为 Minimax GAN（MMGAN），将修改后的 $\tilde{V} = \frac{1}{m} (- \log (D(x)))$ 称为 Non-saturating GAN（NSGAN）

LSGAN（Least Square GAN）#

LSGAN 从 D 的分类器角度来进行改进，它认为 D 最终使用的是 Sigmoid 进行激活，会导致两侧梯度较小，进而发生梯度消失的现象，因此……就直接改成线性的了

fgan: General Framework of GAN#

如果不想使用 JS Divergence 的话，fGAN 从理论上给出了其它各种 Divergence 在 GAN 中的使用方法

WGAN（Wasserstein GAN）#

WGAN 用了一种新的评估距离方式——Wasserstein 距离，由于它并不是 Divergence，因此 fGAN 中并没有该方式

该方式可以理解为将其中一个分布变成另一个分布所需最少移动次数，它能够表征两个无重叠分布之间的距离

那么，Wasserstein 距离到底要如何计算呢？emm，就像这样

$V(G, D) = \max\limits_{D \in 1-Lipschitz} \{ E_{x \sim P_{data}} [D(x)] - E_{x \sim P_G} [D(x)]\}$

这里 $1-Lipschitz$ 是约束 D 为一个光滑的函数，它不能变化地太快，那么……如何约束它呢

一是 WGAN 中提出的方法，Weight Clipping，也就是将 weights 截断在某个范围内，防止 weights 太大，从而保证函数不会变化太快

另一个是 WGAN-GP 中提出的方法，是从梯度的角度进行约束，因为 $1-Lipschitz$ 函数满足任意位置导数不大于 1，因此我们可以通过一点约束以使得 D 的导数不大于 1 即可

$V(G, D) = \max\limits_{D \in 1-Lipschitz} \{ E_{x \sim P_{data}} [D(x)] - E_{x \sim P_G} [D(x)] - \lambda \int_x \max(0, || \nabla_x D(x) || - 1) dx \}$

最后一项的补偿能够保证 D 不大于 1，但……最后一项的要求是对于全部 x 都满足才可以，事实上这也是不可能的，WGAN-GP 中提出只需要使得 $P_{penalty}$ 全部满足就好了，并将从 $P_{data}$ 和 $P_G$ 中 Sample 出来的样本之间连线上随机取样作为 $P_{penalty}$

$V(G, D) = \max\limits_{D \in 1-Lipschitz} \{ E_{x \sim P_{data}} [D(x)] - E_{x \sim P_G} [D(x)] - \lambda E_{x \sim P_{penalty}} \max(0, || \nabla_x D(x) || - 1) \}$

WGAN-GP 在实际应用中使用的是

$V(G, D) = \max\limits_{D \in 1-Lipschitz} \{ E_{x \sim P_{data}} [D(x)] - E_{x \sim P_G} [D(x)] - \lambda E_{x \sim P_{penalty}} (|| \nabla_x D(x) || - 1)^2 \}$

因为效果更好一些

算法：

• 在每个迭代

  • 更新 D，重复以下过程 k 次
    • 从 $P_{data}$ 中选取 $\{x^1, x^2, \cdots, x^m\}$
    • 从 $P_{prior}(z)$ 中选取 $\{z^1, z^2, \cdots, z^m\}$，喂给 $G$ 获得 $\{\tilde{x}^1, \tilde{x}^2, \cdots, \tilde{x}^m\}$，其中 $\tilde{x}^i = G(z^i)$
    • 更新 D 的参数 $\theta_d$
      • $\tilde{V} = \frac{1}{m} \sum\limits_{i=1}^m D(x^i) - \frac{1}{m} D(\tilde{x}^i)$
      • $\theta_d \leftarrow \theta_d + \eta \nabla \tilde{V}(\theta_d)$

  ---

  • 更新 G，重复以下过程 1 次
    • 从 $P_{prior}(z)$ 中选取 $\{z^1, z^2, \cdots, z^m\}$
    • 更新 G 的参数 $\theta_g$
      • $\tilde{V} = -\frac{1}{m} D(G(z^i))$
      • $\theta_g \leftarrow \theta_g - \eta \nabla \tilde{V}(\theta_g)$

  D 最后不要用 Sigmoid，直接输出即可 另外，记得使用 Weight clipping 或者 Gradient Penalty

Stack GAN#

Han Zhang, Tao Xu, Hongsheng Li, et al. StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks”, ICCV, 2017

直接 Generate 一个较为大的图往往是不容易的，StackGAN 将该过程分解为多步，先让 $G_1$ 生成一个较为小的图，然后再将这个小的图喂给 $G_2$，让 $G_2$ 据此生成一个较为大的图

Patch GAN#

D 有时不太容易直接判别图片是否为真实，但我们可以让 D 每次只判断图片的某一块

EBGAN（Energy-based GAN）#

使用 Auto Encoder 作为 D，这样使得 D 可以 pretrain，所以在训练之初就可以获得比较好的 G

Info GAN#

使 GAN 的输入 code 各个维度更加正交，将输入 code 分为两部分，一部分带有分类信息 $c$，这个分类信息要求后续 Classifier 能够还原出来，另外一部分就是噪声 $z'$

VAE-GAN#

VAE 与 GAN 的结合，D 需要能够分辨

• 从真实图片经过 VAE 重构后的图片
• 从噪声经过 G 生成的图片
• 真实图片

三者

BiGAN#

有一个 Encoder，输入图片，输出 code

有一个 Decoder，输入 code，输出图片

有一个 D，输入一对图片与 code，然后判断它们是经由 Encoder 生成还是经由 Decoder 生成

至于为什么有效，D 使得 Encoder 对应的 distribution $P(x, z)$ 与 Decoder 的 distribution $Q(x, z)$ 尽可能地接近

BiGAN 的训练类似于同时训练一个 Decoder $\to$ Encoder，与一个反向的 Encoder $\to$ Decoder，而 BiGAN 的效果会更好些