用于无监督域自适应的域共享组-稀疏字典学习

高级实训论文阅读报告

Domain-Shared Group-Sparse Dictionary Learning for Unsupervised Domain Adaptation

1. Main Algorithm

给定一个源数据集合(source data) $X^S$和标签$y^S$， 和一个没有标签数据的目标数据集合(target data) $X^T$目标是将联合分布$P_S(X^S,y^S)$和$P_T(X^T,y^T)$对齐以进行域适应。

具体而言，目标标签$y^T$在无监督域适应中是未知的。为此，提出的DsGsDL模型学习组稀疏表示(group-sparse representations)，其中条件分布(conditional distributions)和边缘分布(marginal distributions)在源域和目标域之间对齐。

Conditional Distribution Alignment

我们将条件分布与源域和目标域上的域共享组稀疏性约束对齐。我们首先考虑源域中的公式。

符号规定 source domain
记一个可以分成$K$个类的labeled source data为$X^S=[X_1^S,X_2^S,...,X_K^S]$, 且 $X_k^S\in {\mathbb{R}}^{p\times n_k}$ 是$X^S$的一个子集，分类为$k$, $p$是每个样本的特征维度 , $n_k$是类标为$k$的样本个数。

记源数据集的字典表示为$D^S=[D_1^S,D_2^S,...,D_K^S,D_r^S]$,且 $D_k^S\in {\mathbb{R}}^{p\times q_k}$ 是$D^S$的特定于类$k$的子字典，$D_r^S\in {\mathbb{R}}^{p\times q_r}$是来自源域所有类的剩余(remainder)稀疏系数字典。
$q_k$和$q_r$分别是$D_k^S$和$D_r^S$的数量。

设${\alpha }^S\in {\mathbb{R}}^{q\times n}$为源数据的系数。$q$是$D^S$的基数而$n$是源数据的总数。

对应$D^S$，源系数被划分为行向量的矩阵
${\alpha }^S=[{\alpha }_{1,:}^S;{\alpha }_{2,:}^S;...;{\alpha }_{K,:}^S;{\alpha }_{r,:}^S;]$.

另一方面，系数矩阵可以根据标签$y^S$由列向量写为
${\alpha }^S=[{\alpha }_{:,1}^S;{\alpha }_{:,2}^S;...;{\alpha }_{:,K}^S;]$.

通过最小化每个子字典(sub-dictionary)的重建错误(reconstruction error) 并限制来自不同类的样本响应不同的子字典来获得 source-domain group sparsity。使用$l_0$范数来进行group-sparseconstraint，学习 source group-sparse dictionary。

$$\underset{D^S,{\alpha }^S}{\min }\sum _{k=1}^K||X_k^S-D_k^S{\alpha }_{k,k}^S-D_r^S{\alpha }_{r,k}^S|{|}_F^2+\eta \sum _{y_i̸=y_j}^n||{\alpha }_{c,(i)}^S\circ {\alpha }_{c,(j)}^S|{|}_0+\lambda \sum _{i=1}^n|{\alpha }_{(i)}^S|$$

其中$\circ$表示Hadamard点乘。
对于两个矩阵$A,B$的相同维度$m\times n$，Hadamard乘积$A\circ B$是一个矩阵 与操作数相同的维度，由给定的元素
$(A\circ B{)}_{i，j}=(A{)}_{i,j}(B{)}_{i,j}$

${\alpha }_c^S=[{\alpha }_{1,:}^S;{\alpha }_{2,:}^S;...;{\alpha }_{K,:}^S]$ 是特定于类的系数。

${\alpha }_{c,(i)}^S$和${\alpha }_{c,(j)}^S$是${\alpha }_c^S$的第i列和第j列。

$y_i$和$y_j$代表第$i$-th和$j$-th的来自源域的样本标签。

${\alpha }_{(i)}^S$是源域第$i$-th样本的系数。

$\eta$和$\lambda$是系数稀疏程度的正则化参数。

符号规定 target domain
在目标域(target domain)，域共享组稀疏度的表述如下。

记一个没有标签数据的目标数据$X^T\in {\mathbb{R}}^{p\times m}$，$p$是特称维度，$m$是目标数据的数量。使目标字典和源字典有相同的结构。
$D^T=[D_1^T,D_2^T,...,D_K^T,D_r^T]$

相应的，目标域的系数表示为
${\alpha }^T=[{\alpha }_c^T;{\alpha }_r^T]$，目标的特定类的系数表示为
${\alpha }_c^T=[{\alpha }_{1,:}^T;{\alpha }_{2,:}^T;...;{\alpha }_{K,:}^T]$

由于分类任务在源域和目标域之间共享，因此，对于特定的子字典$D_k^S$接近目标域的子字典$D_k^T$。

利用此标准，源域和目标域中特定于类的组件${\alpha }_c^S$和${\alpha }_c^T$之间的距离对于跨域的相同类表示最小化:

$$\underset{D_c^S,D_c^T}{\min }||D_c^S-D_c^T|{|}_F^2$$

另一方面，两个域中相同类样本的系数需要共享相同的group sparsity以用于条件分布对齐。
为此，目标样本的系数被约束为排除代表两个不同类的两个子字典。

利用该标准，每个目标样本自动选择用于表示的最佳系数组，以便对齐源和目标组稀疏系数的条件分布。使用$l_0$范数来获得目标系数${\alpha }^T$的 group sparsity，其最小化

$$\underset{{\alpha }^T}{\min }\sum _{l_a̸=l_b}^{q_c}||{\alpha }_{(a),:}^T\circ {\alpha }_{(b),:}^T|{|}_0$$

其中，${\alpha }_{(a),:}^T$ 和 ${\alpha }_{(b),:}^T$ 分别是${\alpha }^T$的第a行和第b行。

$q_c={\sum }_{k=1}^K{q}_k$是特定类的基数。

$l_a$和$l_b$分别代表${\alpha }_{(a),:}^T$和${\alpha }_{(b),:}^T$对应的子词典类。

Marginal Distribution Alignment

除了条件分布对齐外，我们进一步最小化联合分布对齐分布差异。最大平均差异(MMD)用于测量域共享组稀疏系数${\alpha }_c^S$ 和 ${\alpha }_c^T$

$$\underset{{\alpha }_c}{\min }tr({\alpha }_{c}M{\alpha }_c^{\prime })$$

其中，${\alpha }_c=[{\alpha }_c^S;{\alpha }_c^T]$

$M$是MMD矩阵，

$$M_{ij}=\{\begin{array}{r}\frac{1}{n^2},i,j\le n\\ \frac{1}{m^2},i,j>n\\ 1/m/n,otherwise\end{array}$$

Joint Distribution Alignment Objective

将条件分布目标函数与边际分布对准目标函数和目标重建误差相结合，对齐联合分布的优化问题：

$$\underset{D^S,D^T,{\alpha }^S,{\alpha }^T}{\min }=\sum _{k=1}^K||X_k^S-D_k^S{\alpha }_{k,k}^S-D_r^S{\alpha }_{r,k}^S|{|}_F^2$$
$$+||X^T-D^T{\alpha }^T|{|}_F^2$$
$$+\eta \sum _{y_i̸=y_j}^n||{\alpha }_{c,(i)}^S\circ {\alpha }_{c,(j)}^S|{|}_0$$
$$+\delta \sum _{l_a̸=l_b}^{q_c}||{\alpha }_{(a),:}^T\circ {\alpha }_{(b),:}^T|{|}_0$$
$$+\beta ||D_c^S-D_c^T|{|}_F^2+\mu tr({\alpha }_{c}M{\alpha }_c^{\prime })$$
$$+\lambda \sum _{i=1}^{n+m}|{\alpha }_{(i)}|$$

其中，
${\alpha }_{(i)}$是$\alpha =[{\alpha }^S,{\alpha }^T]$ 的第i列。

$\mu ,\beta ,\eta ,\lambda ,\delta$是用于平衡重建术语与其他约束之间的权衡的参数。

Optimization

首先固定coefficients ${\alpha }^S,{\alpha }^T$，更新dictionary $D^S,D^T$

2. Contribution

• 为无监督域自适应中的条件分布对齐推导了域共享组稀疏约束的充分必要条件。

• 提出了一个域共享的组稀疏字典学习模型来对齐跨域的联合分布。

• 开发了一个特定于目标类的分类器(target-specific classifier)，它利用了域共享和特定于目标的信息(domain-shared and target-specific information)。

3. Motivation

尽管在分类和识别的挑战性任务中已经报道了许多令人鼓舞的结果，特别是随着卷积神经网络(CNN)的发展，最近的研究表明数据集偏差问题仍未解决。即使CNN学习了更多生成特性(more generative features)，也很难确保source domain和target domain的数据分布完全相同。要在target domain中使用source labels,需要对齐source data 和target data的联合分布。要做到这一点，关键的研究问题是在没有unlabelled target data的情况下跨域对齐条件分布(align conditional distributions)。虽然可以使用target labeled data，来改进目标域的source classifier, 但是在实际应用中注释目标数据是非常昂贵且耗时的。所以，无监督自适应而不是收集目标标签，是可以解决在目标标签不可用的情况下分布不匹配的问题。

4. Summary

无监督域适应已被证明是解决数据集偏差问题的可研究方法之一。要在target domain中使用source labels,需要对齐源数据和目标数据的联合分布，本文研究的关键问题是在没有目标数据标签的情况下跨域对齐条件分布。
在本文中，作者提出了一个domain-shared group-sparsity 条件，它是数据集条件分布对齐的等价条件。并详细论述了其充分性和必要性。作者开发了domain-shared group-sparsity dictionary learning 方法，设计了conditional distribution alignment 和marginal distribution alignment 的联合对齐目标函数，阐述了目标函数交叉优化的方法。
并使用domain-shared group-sparse coefficients和来自目标数据的target-specific information来训练目标域的分类器。domain-shared group-sparse coefficients在跨域人脸识别任务中取得了良好的效果，通过结合目标特定信息来训练目标域的分类器，进一步提高了性能。

5. My Idea

对构建目标函数的理解:

求解source-domain的字典和稀疏表示：
$$\underset{X^S,{\alpha }^S}{\min }\sum _{k=1}^K||X_k^S-D_k^S{\alpha }_{k,k}^S-D_r^S{\alpha }_{r,k}^S||+\eta \sum _{y_i̸=y_j}^n||{\alpha }_{c,(i)}^S\circ {\alpha }_{c,(j)}^S|{|}_0+\lambda \sum _{i=1}^n|{\alpha }_{(i)}|$$
是稀疏表示与字典学习的经典目标函数构成，只是结合和特定的类(special-class)和剩余(remainder)重写该函数。
第一项解释为最小化重构误差。第二项使每个目标样本自动选择用于表示的最佳系数组，使用$l_0$范数针对特定的类约束${\alpha }^S$的稀疏程度。第三项是正则化项，提高模型的泛化能力。

源域和目标域中特定于类的组件${\alpha }_c^S$和${\alpha }_c^T$之间的距离对于跨域的相同类表示最小化
$$\underset{{\alpha }^S}{\min }\eta \sum _{y_i̸=y_j}^n||{\alpha }_{c,(i)}^S\circ {\alpha }_{c,(j)}^S|{|}_0$$
$$\underset{{\alpha }^T}{\min }\delta \sum _{l_a̸=l_b}^{q_c}||{\alpha }_{(a),:}^T\circ {\alpha }_{(b),:}^T|{|}_0$$

同理，求解target-domain的字典和稀疏表示：

$$\underset{X^T,{\alpha }^T}{\min }||X^T-D^T{\alpha }^T|{|}_F^2+\delta \sum _{l_a̸=l_b}^{q_c}||{\alpha }_{(a),:}^T\circ {\alpha }_{(b),:}^T|{|}_0+\lambda \sum _{i=1}^m|{\alpha }_{(i)}|$$

假设我们用一个$M\times N$的矩阵表示数据集$X$，每一行代表一个sample，每一列代表样本的一个feature，一般而言，该矩阵$X$是稠密的，即大多数元素不为0。 稀疏表示的含义是，寻找一个系数矩阵 $\alpha \in {\mathbb{R}}^{n\times k}$以及一个字典矩阵$B\in {\mathbb{R}}^{k\times m}$,使得 $B\alpha$ 尽可能的还原$X$，且 $\alpha$ 尽可能的稀疏。$\alpha$ 便是$X$的稀疏表示，$B$是$X$的字典。

为普通稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表达形式，从而使学习任务得以简化，模型复杂度得以降低，通常称为字典学习(dictionary learning),亦称稀疏编码(sparse coding)

这有点矩阵分解的意思。
表达为优化问题的话，字典学习的最简单形式为:

$$\underset{B,{\alpha }_i}{\min }\sum _{i=1}^m||x_i-B{\alpha }_i|{|}_F^2+\lambda \sum _{i=1}^m||{\alpha }_i|{|}_0$$

其中 $x_i$ 为第 $i$ 个样本，$B$为字典矩阵，${\alpha }_i$为$x_i$的稀疏表示，$\lambda$为大于0的正则化参数。

第一个累加项说明了字典学习的第一个目标是字典矩阵与稀疏表示的线性组合尽可能的还原样本；第二个累加项说明了 ${\alpha }_i$ 应该尽可能的稀疏。

我认为本文的关键点就是域共享的存在。即

源域字典表示：$D^S=[D_1^S,D_2^S,...,D_K^S,D_r^S]$
目标域字典表示：$D^T=[D_1^T,D_2^T,...,D_K^T,D_r^T]$

源域的系数表示为
${\alpha }^S=[{\alpha }_{1,:}^S;{\alpha }_{2,:}^S;...;{\alpha }_{K,:}^S;{\alpha }_{r,:}^S;]$.
源域的特定类的系数表示为：${\alpha }_c^S=[{\alpha }_{1,:}^S;{\alpha }_{2,:}^S;...;{\alpha }_{K,:}^S]$

相应的，目标域的系数表示为
${\alpha }^T=[{\alpha }_c^T;{\alpha }_r^T]$
目标的特定类的系数表示为：${\alpha }_c^T=[{\alpha }_{1,:}^T;{\alpha }_{2,:}^T;...;{\alpha }_{K,:}^T]$

由于分类任务在源域和目标域之间共享，因此，对于特定的子字典$D_k^S$接近目标域的子字典$D_k^T$。

$$\underset{D_c^S,D_c^T}{\min }||D_c^S-D_c^T|{|}_F^2$$

除了条件分布对齐外，我们进一步最小化联合分布对齐分布差异。最大平均差异(MMD)用于测量域共享组稀疏系数${\alpha }_c^S$ 和 ${\alpha }_c^T$

$$\underset{{\alpha }_c}{\min }tr({\alpha }_{c}M{\alpha }_c^{\prime })$$

其中，${\alpha }_c=[{\alpha }_c^S;{\alpha }_c^T]$

$M$是MMD矩阵，

$$M_{ij}=\{\begin{array}{r}\frac{1}{n^2},i,j\le n\\ \frac{1}{m^2},i,j>n\\ 1/m/n,otherwise\end{array}$$

MMD用于双样本的检测（two-sample test）问题，用于判断两个分布p和q是否相同。它的基本假设是：如果对于所有以分布生成的样本空间为输入的函数f，如果两个分布生成的足够多的样本在f上的对应的像的均值都相等，那么那么可以认为这两个分布是同一个分布。现在一般用于度量两个分布之间的相似性。如果这个值足够小，就认为两个分布相同，否则就认为它们不相同。

基于两个分布的样本，通过寻找在样本空间上的映射函数K，求不同分布的样本在K上的函数值的均值，通过把两个均值作差可以得到两个分布对应于K的mean discrepancy。寻找一个K使得这个mean discrepancy有最大值，就得到了MMD。最后取MMD作为检验统计量（test statistic），从而判断两个分布是否相同。如果这个值足够小，就认为两个分布相同，否则就认为它们不相同。更加简单的理解就是：求两堆数据在高维空间中的均值的距离。

MMD越来越多地应用在迁移学习中。在迁移学习环境下训练集和测试集分别取样自分布p和q，两类样本集不同但相关。使用各种方法来做特征空间的变换，直到变换后的特征分布相匹配，这个过程可以是source domain一直变换直到匹配target domain。匹配的度量方式就是MMD。

由于每一个部分的设计都是最小化(即${\min }_{D^S,D^T,{\alpha }^S,{\alpha }^T}$)

min(源域的字典学习+目标域的字典学习+源域和目标域字典共享相同分类任务而接近+源域和目标域稀疏表示分布接近)=0

这就是本文的关键点：域共享组-稀疏字典学习方法。

6. My Experience

Dictionary Learning for Unsupervised Domain

字典学习是重要的特征表示之一,在人脸识别等方面有着广泛的研究，特别适合解决姿态变化下的人脸识别问题。为了有效的增强字典判别能力，研究者结合领域知识和抗噪等策略提出大量的字典学习模型，但这些方法侧重考虑样本中特定类的信息，未能有效的考虑训练样本间的共享信息。实验结果表明所提方法在表情变化下的人脸识别具有很强的鲁棒性，并对光照起到了抑制作用，尤其适合解决光照、表情变化下的小样本问题．

利用group-sparse representations的class-independent property来提取特定于类的信息。
通过跨域共享特定于类的信息(sharing the class-specific information across domains)，可以通过约束源和目标域共享相同的组稀疏度来建模条件分布的对齐。

首先试试看，把图像分片，都剪裁成相同的大小，便于统一维度，输入模型。然后做稀疏字典学习

source domain 和 target domain 是我根据图片编号随机划分的，4:1的划分比例
源数据集，label为1，2，3，4

目标数据集，加入的样本不止源数据集的样本，这样可以造成源数据集和目标数据集分布不一样的情况，从而产生数据集偏置的情况。

源数据集是有类标的数据，目标数据集是没有类标的数据。

稀疏字典学习结束后，直接使用学习的结果，输入无监督聚类模型
无监督聚类结果：1~4为源数据集确定的类标，remainder为分不出的样本

CNN

上述dictionary-learning本质上更像是降维，是复杂的数据变得简单，易于输入模型。作者设计目标函数对齐源数据集与目标数据集的联合分布，有效的解决了数据集分布不同，数据集偏置的问题。CNN虽然在抓取特征方面有优势，但是依旧在有偏置的数据集上表现太好。

神经网络方法在人脸识别上的应用比起稀疏字典学习方法有一定的优势，因为对人脸识别的许多规律或规则进行显性的描述是相当困难的，而神经网络方法则可以通过学习的过程获得对这些规律和规则的隐性表达，它的适应性更强，一般也比较容易实现。因此人工神经网络识别速度快，但识别率低 。也不能适应本文表述的 dataset bias，即数据集偏置的问题。