Deep-Learned Regularization and Proximal Operator for Image Compressive Sensing

Deep-Learned Regularization and Proximal Operator for Image Compressive Sensing

摘要

CS重建问题：正则化项(残差网络引入)和近端算子

残差网络：测量有噪图像与干净图像之间的距离。

为什么不用现成的距离来计算？

处理近端算子：扩展残余通道注意网络

近端算子能将扭曲的图像映射到干净的图像集中。

自适应近邻选择策略网络是干嘛的？

提高CS恢复性能：提出了一种自集成策略

图像压缩：$y=\Phi x$，其中y的维数小于x的维数，所以图像压缩是一种降维

不适定逆问题的优化：
$$x=arg\underset{x}{\min }F(x)+\lambda G(x),$$
其中$F(x)$和$G(x)$分别是置信度项和正则化项。正则化项也是惩罚因子，用来解决过拟合。

对于hand-crafted 正则化，BM3D-CS和NLR-CS因为高性能，所以常视为基准方法。

近端梯度下降

近端梯度下降：通过在投影步长和梯度下降步长之间交替解耦置信度项和正则化项。从$x^0$开始，步长为$\alpha$，PGD的过程如下：
$$v^k=▽F(x^k),$$

$$x^{k+1}=\mathbf{Prox}(x^k-\alpha v^k),$$

$\mathbf{Prox}(\tilde{x})(\tilde{x}\in C)$使得$\Vert \tilde{x}-\bar{x}\Vert$是最小的。$F(\cdot )$的梯度在点$x^k$处表示为
$$▽F(x^k)={\Phi }^T(\Phi x^k-y).$$

近端动量梯度下降(PMGD)

有
$$v^k={\gamma }^{k-1}{v}^{k-1}+▽F(x^k),$$

$$x^{k+1}=\mathbf{Prox}(x^k-\alpha v^k).$$

散度项估计(快速蒙特卡洛近似方法)：
$$\begin{gathered} ▽\mathbf{Prox}(\tilde{x})={ϵ}^T(\mathbf{Prox}(\tilde{x}+ϵ)-\mathbf{Prox}(\tilde{x})), \\ (ϵ\sim N(0,1)是一个标准正态随机向量) \end{gathered}$$

自适应近端算子选择

根据$G(\cdot )$估计的失真距离将二维图像空间划分为多个子空间。在PMGD中，根据中间图像$(x^k-\alpha v^k)$所属的子空间选择相应的近端算子$\mathbf{Prox}(\cdot )$。也就是说，$G(\cdot )$获得的失真距离$\hat{\sigma }$决定了近端算子的权重，即$\mathbf{Prox}(\cdot )=P_{\hat{\sigma }}(\cdot )$。

故使用训练有素的残差回归网络，来确定畸变距离$\sigma$。学习的近端算子类似于一个去噪器，用于removes aliasing artifacts。

学习正则化的RRN

正则化项是噪声level，并用残差回归网络来测量受损图像的噪声level ${\sigma }^k$。假设原始图像$x_0$位于集合$C$中，可以直观地将其视为原始图像的流形。考虑到集合$C$之外的任何损坏图像$\tilde{x}$，将测量出$\tilde{x}$和原始图像集合$C$之间的某种失真距离。(这个和最优传输里面那个好像，完了去看看！)

噪声level 估计网络分为残差运算和回归运算。$w,h$和$c$分别是输入图像的宽度、高度和通道，则噪声level 估计网络可以表示为
$${\hat{\sigma }}^k=R_1(R_2((x^k-\alpha v^k))-(x^k-\alpha v^k)).$$
$R_2(\cdot )$表示提取$w\times h\times 64\times 64$大小特征的两个叠加残差块，$R_1(\cdot )$指通过步长为$2$的$6$个卷积、一个平均pooling ，以及一个最终全连接层将提取的特征映射到正则化值。(Fig.4(a))

下图说明了噪声level估计器的精度，其中底面真值残差系数由$x_0-(x^k-\alpha v^k)$计算，ground-truth密度由$\sqrt{\Vert x_0-(x^k-\alpha x^k)\Vert /n}$计算，估计密度由$G(x^k-\alpha v^k)$计算。通过比较直方图可以看出，我们估计的密度很好的拟合了ground-truth剩余密度。

学习近端算子的DRCAN

PMGD的核心功能是将失真图像映射到原始图像集$C$。基于噪声level估计器$G$，可以学习一个投影函数$P$，它将损坏图像映射到原始图像集$C$。

在设计中采用了信道注意力机制、扩展卷积和多跳连接。Fig.4(b)中说明了近端算子的拟议网络结构，该网络主要由$16$个堆叠扩张信道注意层(扩张CAL)和多个跳跃连接组成。（CAL就是信道注意层）

在卷积层中，每个通道方面的特征代表由相应滤波器提取的信号的不同成分。一些通道侧重于平面区域，而一些通道则更侧重于纹理或边缘区域。一种直观的策略是自适应地调整通道特征的权重，而不是对它们一视同仁。信道注意机制允许网络有效利用特征渠道之间的相互依赖性。如果将$f_i$表示为第$i$个CAL的输入特征，则CAL操作可以表示为
$$f_{i+1}=f_i+(R_i\circ C_i)(f_i)\cdot C_i(f_i),$$
其中$C_i$表示叠加的扩展卷积层，以提取中间特征，$R_i$表示一系列降采样操作，以提取信道重缩放因子。CAL可以抑制一些类似噪声的结构。因此，我们使用信道注意机制来增强网络的特征提取能力。

此外，八个扩张的CAL被分成一个扩张的残余通道注意块(DRCAB)，其中扩张CAL的相对扩张因子被设置为1、2、3、4、4、3、2和1。扩张卷积可以扩大receptive field的容量，而不会增加滤镜权重的数量。每个扩展的CAL中都有一个短的跳跃连接，每个扩展的RCAB中有一个中等的跳跃连接以及从整个网络的开始到结束的长的跳跃连接。这种递归剩余连接设计允许信息通过多条路径流动。

下图展示了设计的DRCAN的有效性。可以看出，使用$P_{{\hat{\sigma }}^k}(\cdot )$后，正则化项G的值降到了一个较小的值，即符合近端算子的功能。

自集成策略(Self-Ensemble Strategy)

自集成策略为了增强模型的潜在CS重建性能，该策略广泛用于单图像超分辨率。我们在图像上应用旋转和翻转，以生成额外的七个增强输入$T_i(x_t)$，其中，$T_i$表示几何变换，如下图所示。然后，我们在每个$T_i(x_t)$上应用深度网络$P_{{\hat{\sigma }}^k}(\cdot )$，以获得八个相应的输出。然后，我们对八个去噪输出应用逆变换$T^{-1}(\cdot )$，并将逆变换输出求平均，得到最终的自集成结果。因此，如果在PGMD中采用自集成策略，则应将相关公式$v^k=▽F(x^k)$、$x^{k+1}=\mathbf{Prox}(x^k-\alpha v^k)$修改为
$$x^{k+1}=\frac{1}{8}\sum _8^{i=1}(T_i^{-1}\circ P_{{\hat{\sigma }}^k}\circ T_i)(x^k-\alpha v^k).$$

自集成策略简单来说就是用一张照片生成八种不同的角度，进行近端算子训练，然后再逆变换回原始图像，求平均值即可。

训练策略

在模型中，图像空间被划分为多个子空间，每个子空间都有自己的学习近端算子。首先训练正则化$G(\cdot )$估计噪声水平，然后每个子空间训练学习近端算子。通过添加不同的噪声级范围$\sigma$，以及采用均方误差(MSE)损失来破坏训练集$C$中的原始干净图像$x_0$
$$\begin{gathered} G=arg\underset{G}{\min }{E}_{(x_0,ϵ,\tilde{\sigma })}\Vert \tilde{\sigma }-G(x_0+\tilde{\sigma }ϵ){\Vert }^2, \\ {P}_{\sigma }=\arg \underset{P_{\sigma }}{\min }{E}_{(x_0,ϵ)}\Vert x_0-P_{\sigma }(x_0+\sigma ϵ){\Vert }^2 \end{gathered}$$
利用上式来训练$G(\cdot )$和$P_{\sigma }(\cdot )$。其中$x_0\in C$，$ϵ\sim N(0,1)$，$\tilde{\sigma }\sim U(0,600)$。下图显示了为不同数量的子空间设计的噪声范围σ，其中噪声范围随着子空间数量的增加而逐渐细化。在训练近端算子的过程中，我们使用训练良好的网络权值为相对粗糙的噪声范围初始化精细噪声范围的网络权数。

性能分析总述

将设计的DRCAN作为近端算子，利用设计的RRN自适应的选择近端算子，则式子
$$\begin{gathered} v^k={\gamma }^{k-1}{v}^{k-1}+▽F(x^k), \\ {x}^{k+1}=\mathbf{Prox}(x^k-\alpha v^k) \end{gathered}$$
中表示的PGMD递归过程可以表示为
$$\begin{gathered} v^k={\gamma }^{k-1}{v}^{k-1}+▽F(x^k), \\ {\hat{\sigma }}^k=G(x^k-\alpha v^k), \\ {x}^{k+1}=P_{{\hat{\sigma }}^k}(x^k-\alpha v^k). \end{gathered}$$
这样可以知道最终的重构性能主要受$G(\cdot )$和近端算子$P_{\sigma }(\cdot )$的影响，这两个操作也是深度网络模拟的组件。

状态演变(公式没看懂)

利用状态演变(SE)来描述PGMD递归过程的动态行为。取$x_0$为原始图像，定义第k次迭代结果的误差为
$$\begin{gathered} q^k=x^k-x_0, \\ {h}^k=x^k+v^k-x_0, \end{gathered}$$
故能得到公式表示的误差递归
$$\begin{gathered} h^k=(I-\Phi {\Phi }^T)q^k+{\gamma }^{k-1}(h^{k-1}-q^{k-1}), \\ {\hat{\sigma }}^k=G(x_0+h^k), \\ {q}^{k+1}=P_{{\hat{\sigma }}^k}(x_0+h^k)-x_0, \end{gathered}$$
这为中间MSE的分析提供了一种方便的手段。设${\theta }^k$和${\sigma }^k$分别为$q^k$和$h^k$的标准差。那么如果$\Phi$有先验知识，$m,n\to \infty$，则SE表示递归过程，
$$\begin{gathered} ({\sigma }^k{)}^2=\frac{n}{m}({\theta }^{k-1}{)}^2, \\ {\hat{\sigma }}^k=G(x_0+{\sigma }^kϵ), \\ ({\theta }^k{)}^2=\frac{1}{n}{E}_{ϵ}\{\Vert P_{{\hat{\sigma }}^k}(x_0+{\sigma }^kϵ)-x_0{\Vert }^2\}, \end{gathered}$$
其中$ϵ\sim N(0,1)$与$x_0$无关。在这些研究中，the empirical intermediate MSE可以用SE[27]估计，即
$$\frac{1}{n}\Vert P_{{\hat{\sigma }}^k}(x_0+h^k)-x_0\Vert \approx \frac{1}{n}{E}_{ϵ}\{\Vert P_{{\hat{\sigma }}^k}(x_0+{\sigma }^kϵ)-x_0{\Vert }^2\}.$$

具有理想噪声level 的SE

对于一定噪音level $\sigma$，我们定义了降噪器$P_{{\hat{\sigma }}^k}(\cdot )$的降噪水平$\mu (P_{\hat{\sigma }},\sigma )$如下：
$$\underset{x_0\in C}{\sup }\frac{E_{ϵ}\Vert P_{\hat{\sigma }}(x_0+\sigma ϵ)-x_0{\Vert }^2}{n{\sigma }^2}=\mu (P_{\hat{\sigma }},\sigma )$$
其中$C$是自然图像的集合。

假设我们可以通过立理想噪声level 估计器获得中间结果$(x_0+h^k)$的ground-truth值${\sigma }^k$，并且我们可以根据${\sigma }_k$调整降噪器的参数。然后根据
$$\begin{gathered} ({\theta }^k{)}^2=\frac{1}{n}{E}_{ϵ}\{\Vert P_{{\hat{\sigma }}^k}(x_0+{\sigma }^kϵ)-x_0{\Vert }^2\}, \\ \underset{x_0\in C}{\sup }\frac{E_{ϵ}\Vert P_{\hat{\sigma }}(x_0+\sigma ϵ)-x_0{\Vert }^2}{n{\sigma }^2}=\mu (P_{\hat{\sigma }},\sigma ) \end{gathered}$$
我们有
$${\left({\theta }^k\right)}^2\le \frac{n}{m}{\mu }^k\cdot {\left({\theta }^{k-1}\right)}^2\le {\left(\frac{n}{m}\right)}^2\left({\mu }^k\cdot {\mu }^{k-1}\right)\cdot {\left({\theta }^{k-2}\right)}^2.$$
其中${\mu }^k=\mu (P_{{\sigma }^k},{\sigma }^k)$是对于噪音等级${\sigma }_k$的去噪器$P_{{\sigma }_k}(\cdot )$的去噪水平。将
$$({\sigma }^k{)}^2=\frac{n}{m}({\theta }^{k-1}{)}^2$$
带入到
$${\left({\theta }^k\right)}^2\le \frac{n}{m}{\mu }^k\cdot {\left({\theta }^{k-1}\right)}^2\le {\left(\frac{n}{m}\right)}^2\left({\mu }^k\cdot {\mu }^{k-1}\right)\cdot {\left({\theta }^{k-2}\right)}^2.$$
中，我们有
$${\left({\theta }^k\right)}^2\le \frac{n}{m}{\mu }^k\cdot {\left({\theta }^{k-1}\right)}^2\le {\left(\frac{n}{m}\right)}^2\left({\mu }^k\cdot {\mu }^{k-1}\right)\cdot {\left({\theta }^{k-2}\right)}^2,$$
则
$${\left({\theta }^k\right)}^2\le {\left(\frac{n}{m}\right)}^k\left(\prod _{i=0}^k{\mu }^i\right){\left({\sigma }^0\right)}^2={\left(\frac{n}{m}\right)}^k\left(\prod _{i=0}^k{\mu }^i\right){\Vert {\Phi }^{\mathrm{T}}y\Vert }^2,$$
如果$x^0$初始化为一个零向量。从上式，我们知道在重构的$MSE$上，更小的去噪level ${\mu }^i$可以导致更小的上界，保证最终重建结果的准确性。

Conclusion

开发了一个新的框架，用于基于学习正则化和近端算子的图像CS重建。该框架利用PMGD算法解决CS优化问题，利用残差回归网络和扩展的残差通道注意网分别模拟正则项和近端算子。

将图像划分为多个子空间，其中每个子空间都有自己的近端算子。将子空间中包含的图像映射到干净的子空间中。

引入了自集成策略来提高CS重建的性能。

状态演化分析表明了所设计网络的有效性。

准确性。