论文阅读《TRANSITIVE TRANSFER SPARSE CODING FOR DISTANT DOMAIN》

八月啦！小李月更来了！
时间过得好快 好像一个夏天就要过了！这个夏天因为留校 感觉压力比以往来得多 也经历了比以往更苦的事 只希望努力不会白费 都值得！

论文名称：
《TRANSITIVE TRANSFER SPARSE CODING FOR DISTANT DOMAIN》
论文地址：https://ieeexplore.ieee.org/document/9415021
论文参考阅读：https://blog.csdn.net/qq_39751437/article/details/106290640

Background

The transfer learning between the source and target domain has already achieved significant success in machine learning areas.
However, the existing methods can not achieve satisfactory result when solving the two distant domains transfer learning problem.
In the worst case, it could lead to the negative transfer.
源域和目标域之间的迁移学习已经在机器学习领域取得了重大成功。
然而，现有的方法在解决两个远域迁移学习问题时，并不能得到令人满意的结果。
在最坏的情况下，它可能会导致负转移。
此篇文章就是针对距离较远的域 跨域迁移学习的问题展开研究。
补充：
迁移学习指利用数据和领域之间存在的相似性关系，把之前学习到的知识，应用于新的未知领域。
负迁移是指迁移学习中这个相似性不合理，，即两个领域之间不存在相似性，或者基本不相似，那么，就会大大损害迁移学习的效果。

Work

In this paper, we propose a novel framework to solve the DDTL problem called transitive transfer sparse coding (TTSC).
First, TTSC can utilize three domains to learn a high-level dictionary and to simultaneously obtain three sparse representations.
Second, TTSC can achieve valid instances selection and can transfer useful
knowledge between the two distant domains.
Finally, TTSC can help build a precise classifier for the target domain.
我们提出了一个新的框架来解决远距离迁移学习即传递转移稀疏编码(TTSC)
首先，TTSC可以利用三个领域来学习一个高级字典，并同时获得三个稀疏表示。
其次，TTSC可以实现有效的实例选择，并可以在两个遥远域之间传输有用的知识。
最后，TTSC可以帮助为目标域构建一个精确的分类器。

Method

问题定义：

远距离的迁移学习包括源域 中间域 目标域
源域和中间域具有一些相似的特征，中间域和目标域具有一些相似的特征，但源域和目标域的特征不相似或基本不相同。
这边补充一下 传递式迁移学习（相当于利用中间域迁移学习 直接放图更详细一点）

The first goal is to construct a robust and high-level dictionary based on three domains and to simultaneously obtain three good sparse representations.
The second goal is to transfer useful instances from the source domain to the target domain based on the robust dictionary and sparse representations.
TTSC两个目标：
1.构建一个强大的基于三个域的高级词典同时获得三个良好的稀疏表示。
2实现有用的实例选择策略基于健壮的字典和稀疏表示从源域到目标选择有用的实例

针对第一个目标，本文方法修改了图正则化稀疏编码方法，
它可以获得一组基向量，并捕获跨三个领域的内在几何信息。
这样一来，TTSC就可以提取三个域提取稀疏表示，并通过中间域构建高级字典。
tr(·) denotes the trace of the input matrices. B and L represent dictionary matrix and graph-laplacian matrix
针对第一个目标，本文设计了三种不同的样本选择策略模型。但对于这三种模型，源域的选择策略是相同的

TTSC-A模型：利用源域标记的信息和源域的重建错误来选择有用的源域实例。
TTSC-B模型：从源域和中间领域转移有价值的知识。对于每个中间域实例，利用源域构造伪标签
TTSC-C模型：仍然从中间域和源域中选择有用的实例。但与TTSC-B模型不同的是，使用TTSC-B模型得到的中间域伪标签作为中间域真标签，然后计算重构误差来选择中间域样本

目标函数优化

具体优化可以看原文这边不展开

Experiment

Dataset

其实原来看这篇文章 最想看的是在远距离跨域上 是如何构造中间域 结果看到数据集这边才一笔带过了 失策失策…哈哈哈哈

论文整体是从改善稀疏表示和学习三个域的特征(包括中间域当做桥梁传递）出发的，结果如上图。

---

ENDING

八月加油！