Semantic Augmentation

1.Implicit Semantic Data Augmentation for Deep Networks_NIPS19

作者认为神经网络产生的深度特征总是线性化的（linearized），在深度特征空间有很多语义方向，修改这些语义方向可以作用到样本的某个特征，比如让不戴眼镜的人戴上眼镜。但语义方向的操作应该是一个自动过程，作者对于每个类学习一个协方差矩阵，包含丰富的语义信息，捕获这个类的各种样本的变化。同时在normal distribution中采样零均值的随机向量。我认为这里是在模拟输入数据的高斯分布，利用这两项就能采样出新的数据，再输入分类器训练，可以提高分类精度。
还有一个细节是，本文产生了M次增强的数据，所以损失函数（交叉熵）中含有未知量M，作者将其趋近无穷大作为上界，计算这个极限值的损失。数据点有C个class，a_i^k是增强后的向量。

2.Learning to compose domain specific transformations for data augmentation_NIPS17

gan+强化学习
针对指定域做数据增强，用强化学习学得和参数化不可微的transformation functions，作者提出增强后的图片分布可能变化，不应假定标签不变，所以提出了null class，优化目标是使得输入图片指向null class的概率变小。用gan来实现，判别器的目标是分配low values给转换的、脱离分布的数据点，high values给真实的服从分布的数据点，生成器的目标是产生transformation sequences，其作用在数据点上后，产生判别器无法区分的数据点。

3.A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation_NIPS18

gan实现的，直接上图。编码器E接收x_c生成语义表示z，损失由D_v和自编码器两部分确定，后者由生成x_c帽的synthesize损失和z_c与z分布距离组成。产生z后，拼接域语义表示v_c和v_c横，域语义应该是通过gan训练出来的，传递给生成器G，重构成x_c帽和x_c横帽（要了命了不知道怎么打这公式，只能一个是帽一个是横了，看图片能看出来），再给D_x判别，此处的判别有两个目标。
下面是各自的损失函数：

4.Unsupervised Domain Adaptation by Backpropagation_ICML15

域对齐，将生成模型得到的表示向量同时输入给一个类分类器和一个域分类器，当域分类器收敛后，说明源数据域和目标数据域已经对齐，不存在shift。就好比这张图片，A，B是两个域，当域分类器无法分辨出数据是A还是B的时候，说明生成模型找到了中间交集的部分，所以在A域训练的模型可以用来在B域上测试。

可以参考Unsupervised Domain Adaptation by Backpropagation阅读笔记
如果将表示向量分成两段，分别输入给类分类器和域分类器，当域分类器收敛后，说明输入给域分类器的向量段不存在域信息，可以视为只有类信息，而域信息在另一段里。参考李宏毅的2019课程之自编码器第二节。

5.Adversarial Zero-Shot Learning with Semantic Augmentation_AAAI18

利用gan，生成器的输入是数据点的语义表示和噪声，目标是产生semantic same和semantic compound两种样本，前者是和输入数据类相同的，为了丰富某类的多样性；后者是介于两个输入数据类之间的新类y_ij样本，为了使判别器能够区分出类间overlap的样本，也是以此实现零次学习。作者将图像特征和中间表示（作者说intermediate representation是实现零次学习的核心，通过它来将知识从见过的类中迁移出来，此处的中间表示是样本的label）都映射到一个common space，据称这样更易识别。作者还做了检索的实验。

6.DATA AUGMENTATION GENERATIVE ADVERSARIAL NETWORKS_2018未发表

本文preprint在了coRR上，源代码在github上传时间是在两年前。
题目很清楚，用GAN做DA，见下图。输入图片的语义表示和高斯分布中采样的噪声zi的线性变换做concat，输入解码器得到生成图片x_g，将(x_i,x_j)作为正样本对，(x_i,x_g)作为负样本，输入判别器，当判别器训练到无法分辨的时候，代表生成的图片可以乱真了。

7.Domain Agnostic Learning with Disentangled Representations_ICML19

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本