GAN & VAE

BicycleGAN（不是CycleGAN的升级版）

BicycleGAN结构

BycycleGAN主要融合了cVAE-GAN和cLR-GAN，形成了以及这双重循环。Loss主要是GAN_loss+L1 Loss+ KL_loss三种类别，生成器使用类似于U-net的结构，编码器E使用res_block的CNN。论文结果如下：

论文结果

AMT: Amazon Mechanical Turk test
LPIPS distance: Learned Perceptual Image Patch Similarity (LPIPS) metric computes distance in AlexNet feature space (conv1-5, pretrained on Imagenet, with linear weights to better match human perceptual judgments.

噪声输入方式： spatially replicate a Z-dimensional latent code z to an H� W � Z tensor and concatenate it with the H� W � 3 input imag

CyCADA（CycleGAN升级版）

CyCADA结构图

结果

有意思的结论

VQ-VAE & VQ-VAE-2

VQ-VAE

一般取即可

VQ-VAE-2

VQ-VAE-2相比于VQ-VAE-1类似于金字塔形式的训练方式有利于生成高分辨率图片。另外，至于基于pixelCNN变体的采样方式还没有完全看明白，需要再具体了解。另外，整个形式的数学推导，还有待明细，比如各种概率具体到图像上的对应关系。