清华实验室情况：

·高光谱图像超分、数据融合

·目标检测与识别

·图像修复与重构

·图像理解与分割

·图像信息表征

科研启发：

·了解传统方法，理解问题本质

·多看代码，理解论文内容

·善于辩证分析实验结果

·调研遥感图像超分情况

阶段学习报告：

CVPR2017 best paper：

该论文提出了SimGan模型，提升合成图像的质量，模型思想遵循生成对抗网络（Gan），其模型结构如下：

包括三部分：模拟器（Simulator）和精制器（Refiner），然后再加上一个判别器（Discriminator）。

模拟器合成图像，再用精制器优化，最后喂给判别器训练。

论文内容：

1、数据：The gaze estimation dataset from eye gaze synthesizer UnityEyes and 214K real images from the MPIIGaze dataset

2、模型结构：

refiner网络结构

discriminator网络结构

3、损失函数Loss：

discriminator损失函数

refiner损失函数

其训练方法：

training procedure in Algorithm 1

论文亮点总结：

1、Local Adversarial Loss：discriminator不再仅仅只判断整张图片的真假，而是将图像提取成每个patch，需判断每个patch的真假，对抗损失函数是局部 patch 的交叉熵损失之和。

局部对抗损失

2、Updating Discriminator using a History of Refined Images ：利用上一轮的生成图像，结合该轮的生成图像，共同训练判别器，提升训练效果。

判别器D历史中的mini-batch

字典学习：

1、基本介绍：

假设我们用一个M*N的矩阵表示数据集X，每一行代表一个样本，每一列代表样本的一个属性，一般而言，该矩阵是稠密的，即大多数元素不为0。稀疏表示的含义是，寻找一个系数矩阵X（K*N）以及一个字典矩阵D（M*K），使得D*X尽可能的还原Y，且X尽可能的稀疏。X便是Y的稀疏表示。

“为普通稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表达形式，从而使学习任务得以简化，模型复杂度得以降低，通常称为‘字典学习’（dictionary learning），亦称‘稀疏编码’（sparse coding）”块内容

从矩阵分解角度，看字典学习过程：给定样本数据集Y，Y的每一列表示一个样本；字典学习的目标是把Y矩阵分解成D、X矩阵：

同时满足约束条件：X尽可能稀疏，同时D的每一列是一个归一化向量。

D称之为字典，D的每一列称之为原子；X称之为编码矢量、特征、系数矩阵；字典学习可以有三种目标函数形式

(1)第一种形式：

这种形式因为L0难以求解，所以很多时候用L1正则项替代近似。

(2)第二种形式：

ε是重构误差所允许的最大值。

(3)第三种形式：

L是一个常数，稀疏度约束参数，上面三种形式相互等价。

2、字典学习求解

求解上述最优化问题的总体策略是，对字典D以及样本稀疏表示X交替迭代优化。即先初始化字典D，1.固定字典D对X进行优化。2.固定X对字典D进行优化。重复上述两步，求得最终D以及Y的稀疏表示X。

其中第一步可采用与LASSO正则化相似的方法（如Proximal Gradient Desent法）进行求解，第二步可采用KSVD方法进行求解。

遥感图像初步调研：

遥感图像种类：RGB、高光谱、多光谱、红外光谱

RGB遥感特点：1、高度复杂稀疏分布，做目标检测与超分辨率时强调高层次的特征提取与良好的数据表征；

2、图像中目标物体与背景相互关联。

深度学习做超分的小成果：

大致解释：通过skip connection学习残差高频信息，并通过联合不同层次的特征学习图像的Local—Global信息。

2017.9.9