Domain Separation Networks（2016）

“低级”（low-level）差异：由于噪声，分辨率，照明和颜色引起的差异。
“高级”（high-level）差异：与分类的数量，对象的类型和几何变化（如3D位置和姿态（pose什么的））有关。
文章假设source domain和target domain的图像差异主要来自于低级差异，而在高级参数上有相似的分布且在同一个标签空间（标签一致，没有缺漏）内
论文作者提出了一种新颖的架构： Domain Separation Networks （DSN）来学习域不变特性（domain-invariance feature）。
之前的研究尝试寻找一个从source domain到target domain的一个映射，或者找出source domain和target domain上的共同的特征(representation)，但是作者认为这种方式学习得出的特征（representation）很容易收到与低级分布相关的噪声的污染。
引入了各自域内的private subspace来获取各自域内部的特征，比如背景和low level image statistics(低阶图像信息统计量）
引入shared subspace，通过使用autoencoders and explicit loss functions来获取各个子空间中共同的特征（shared subspace和private subspace 相互正交）

Xs：source domain里的数据（被标记的）
Xt：target domain里的数据（尚未被标记的）
Ec（ θc，X）：函数，论文中似乎也把它称为一个encoder。将X（数据）里共有的特征（source domain和target domain里）提取出来（shared subspace里的）作为隐藏特征hc（hidden representation，common）。参数为 θc和X
Ep（ θp，X）：函数，论文中似乎也把它称为一个encoder。与Ec类似。将X（数据）里私有的特征（分别是source domain和target domain里的）分别提取出来（private subspace里的）作为隐藏特征hp（hidden representation，private）。参数为 θp和X
D（h，θd）作为一个解码函数（decoder），将隐藏特征重建为图像。
G（h; θg）： task-specific function。利用隐藏特征作出预测（task-specific predictions）

网络结构
loss terms：
L task（分类损失）：（文章假设target domain是unlabeled）因为预测导致的损失。使用负对数似然法估计。因为只有source domain上有标签，所以：

是softmax预测，ys是个one-hot vector
Lrecon：对重建的图像和原图像使用scale-invariant mean squared error term（长度不变的均方损失）（并且两个域都有）。

其中，k是输入图像的像素个数，1k是input中一个长度为k的元素全为1的向量

均方误差可以惩罚图像重建任务（通过prediction），但scale-invariant mean squared error term可以惩罚每个像素对之间的不同。
Ldifference：鼓励Ep和Ec编码inputX中不同的部分。实现的方式是将两个私有子空间（private subspace）和共有空间（shared subspace）的soft subspace orthogonality constraint（？）加起来。这个loss鼓励private subspace和public subspace之间的正交性。

source domain的共有特征

target domain的共有特征

source domain的私有特征

target domain的私有特征

以上四个分别作为下面公式中对应矩阵的行

Forbenius范数，即矩阵里每个元素的平方和的开方，通常只用于希尔伯特空间

Lsimilarity：鼓励两个domain产生的shared presentation（即Hc）的相似性。
使用domain adversarial similarity。需要一些DANN（Domain–Adversarial Neural Networks）的知识
- GRL(Gradient Reversal Layer):对于某个函数f(u)，有：
- 定义一个domain classifier（域分类器）从GRL产生的结果中学习，即（Z）：
  
  d是预测的标签，{0,1}，这个特征究竟来自source domain还是target domain
- 使用GRL学习是对抗性的，因为优化θz可以提高domain classifier分类的精度，但是因为梯度的反转，更新θc（就是shared subspace那个encoder）会导致domain classifier分类的精度的下降
- 因此，我们在更新θz时最大化domain classfier的交叉熵损失函数（就是基于DANN的Lsimilarity），而在更新θc时最小化它：
使用基于核方法的Maximum Mean Discrepancy形式的损失函数
- 计算由source domain产生的shared presentation(hsc)和target domain产生的shared presentation(htc)之间的MMD的平方:
- 核函数使用高斯核：
  
  σn：标准差；ηn：the weight for our n th RBF kernel（径向基核函数，高斯核函数就是径向基的一种）