使用张量进行去噪的理解

什么是张量

  张量是多维数组的泛概念。一维数组我们通常称之为向量，二维数组我们通常称之为矩阵，但其实这些都是张量的一种。以此类推，我们也会有三维张量、四维张量以及五维张量。那么零维张量是什么呢？其实零维张量就是一个数。

张量的基本操作

两个张量的内积

$$<\chi ,y>=\sum _{i_1=1}^{I_1}\sum _{i_2=1}^{I_2}...\sum _{i_N=1}^{I_N}{x}_{i_1{i}_2...i_N}{y}_{i_1{i}_2...i_N}$$

介绍

$$observation[I]=image[I_{clean}]+noise[\eta ]$$

算法描述

张量简介

高阶奇异值分解（HOSVD）

什么是奇异值分解

  奇异值分解最早是Beltrami与1873年对实正方矩阵提出来的。Beltrami从双线性函数：
$$f(x,y)=x^{T}Ay,A\in {\mathbb{R}}^{n\times n}$$

出发，通过引入线性变换$x=U\xi$，$y=V\eta$，将双线性函数变为$f(x,y)={\xi }^{T}S\eta$，其中：
$$S=U^{T}AV$$

矩阵的奇异值分解
  令$A\in {\mathbb{R}}^{m\times n}$，则存在正交矩阵$U\in {\mathbb{R}}^{m\times m}$和$V\in {\mathbb{R}}^{n\times n}$使得：
$$A=U\Sigma V^T$$
式中$\Sigma =\left[\begin{array}{cc}{\Sigma }_1& o\\ o& o\end{array}\right]$，且${\Sigma }_1=diag({\sigma }_1,{\sigma }_2,\cdot \cdot \cdot ,{\sigma }_r)$，其对角元素按照顺序
$${\sigma }_1⩾{\sigma }_2⩾\cdot \cdot \cdot {\sigma }_r>0,r=rank(A)$$

排序。
酉矩阵 设$A\in C^{n\times n}$，若A满足$A^{H}A=I$，则称A为酉矩阵。
奇异值分解的理论证明
  设$A\in C_r^{m\times n}(r>0)$，则存在m阶酉矩阵U和n阶酉矩阵V使得：
$$U^{H}AV=\left(\begin{array}{cc}\Sigma & o\\ o& o\end{array}\right)$$

式中：$\Sigma =diag({\sigma }_1,{\sigma }_2,\cdot \cdot \cdot ,{\sigma }_r),{\sigma }_i$为A的非零奇异值。而：
$$A=U\left(\begin{array}{cc}\Sigma & o\\ o& o\end{array}\right)V^H$$

称为A的奇异值分解。
证明：由于$A^{H}A$为Hermite阵，则存在n阶酉矩阵V使得：
$$V^H{A}^{H}AV=diag({\lambda }_1,{\lambda }_2,\cdot \cdot \cdot ,{\lambda }_n)=\left(\begin{array}{cc}{\Sigma }^2& o\\ o& o\end{array}\right)$$

将V分块为：
$$V=(V_1,V_2)(V_1\in C^{n\times r},V_2\in C^{n\times (n-r)})$$

得：
$$V_1^H{A}^{H}A{V}_1={\Sigma }^2,V_2^H{A}^{H}A{V}_2=0$$

于是：
$${\Sigma }^{-1}{V}_1^H{A}^{H}A{V}_1{\Sigma }^{-1}=I_r,(A{V}_2{)}^{H}A{V}_2=0$$

从而$A{V}_2=0$。又记$U_1=A{V}_1{\Sigma }^{-1}$，则$U_1^H{U}_1=I$，即$U_1$的r个列是两两正交的单位向量。取$U_2\in C^{m\times (m-r)}$使$U=(U_1,U_2)$为m阶酉矩阵，即$U_2^H{U}_1=0,U_2^H{U}_2=I_{m-r}$。则有：
$$U^{H}AV=\left(\begin{array}{c}{U}_1^H\\ \\ U_2^H\end{array}\right)A\left(\begin{array}{c}{V}_1,V_2\end{array}\right)=\left(\begin{array}{cc}{U}_1^{H}A{V}_1& U_1^{H}A{V}_2\\ & \\ U_2^{H}A{V}_1& U_2^{H}A{V}_2\end{array}\right)=\left(\begin{array}{cc}{U}_1^H(U_1\Sigma )& 0\\ & \\ U_2^H(U_1\Sigma )& 0\end{array}\right)=\left(\begin{array}{cc}\Sigma & 0\\ & \\ 0& 0\end{array}\right)$$

奇异值分解的应用计算
求矩阵$A=\left(\begin{array}{ccc}1& 0& 1\\ 1& 1& 0\end{array}\right)$的奇异值分解。
解：因为：
$$A^{T}A=\left(\begin{array}{ccc}2& 1& 1\\ 1& 1& 0\\ 1& 0& 1\end{array}\right)$$

所以$A^{T}A$的特征值为${\lambda }_1=3,{\lambda }_2=1,{\lambda }_3=0,$对应的特征向量为：
$$p_1=\left(\begin{array}{c}2\\ 1\\ 1\end{array}\right),p_2=\left(\begin{array}{c}0\\ -1\\ 1\end{array}\right),p_3=\left(\begin{array}{c}-1\\ 1\\ 1\end{array}\right)$$

标准化得：
$$V=\left(\begin{array}{ccc}\frac{2}{\sqrt{6}}& 0& -\frac{1}{\sqrt{3}}\\ & & \\ \frac{1}{\sqrt{6}}& -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\\ & & \\ \frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\end{array}\right)$$

使得：
$$V^H{A}^{H}AV=\left(\begin{array}{ccc}3& & \\ & 1& \\ & & 0\end{array}\right)=\left(\begin{array}{cc}{\Sigma }^2& \\ & 0\end{array}\right)$$

计算：
$$U_1=A{V}_1{\Sigma }^{-1}=\left(\begin{array}{ccc}1& 0& 1\\ & & \\ 1& 1& 0\end{array}\right)\left(\begin{array}{cc}\frac{2}{\sqrt{6}}& 0\\ & \\ \frac{1}{\sqrt{6}}& -\frac{1}{\sqrt{2}}\\ & \\ \frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}\end{array}\right)\left(\begin{array}{cc}\frac{1}{\sqrt{3}}& 0\\ & \\ 0& 1\end{array}\right)=\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ & \\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right)$$

则$U=U_1$是酉矩阵。故$A$的奇异值分解为：
$$A=U(\Sigma 0)V^H=\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ & \\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right)\left(\begin{array}{ccc}\sqrt{3}& 0& 0\\ & & \\ 0& 1& 0\end{array}\right)\left(\begin{array}{ccc}\frac{2}{\sqrt{6}}& \frac{1}{\sqrt{6}}& \frac{1}{\sqrt{6}}\\ & & \\ 0& -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ & & \\ -\frac{1}{\sqrt{3}}& \frac{1}{\sqrt{3}}& \frac{1}{\sqrt{3}}\end{array}\right)$$

什么是高阶奇异值分解

  Tucker分解，又称高阶奇异值分解(higher-order SVD)。
  Tucker分解与Tucker算子密切相关，而Tucker算子是张量与矩阵的多模态乘法的一种有效表示。
定义 令$g\in {\mathbb{K}}^{J_1\times J_2\times \cdot \cdot \cdot \times J_N}$，矩阵$U^{(n)}\in {\mathbb{K}}^{I_n\times J_n}$，其中$n\in \{1,\cdot \cdot \cdot N\}$，则Tucker算子定义为：

$$[[g;U^{(1)},U^{(2)},\cdot \cdot \cdot ,U^{(N)}]]=g{\times }_1{U}^{(1)}{\times }_2{U}^{(2)}\cdot \cdot \cdot {\times }_N{U}^{(N)}$$

其结果是一个$N$阶$I_1\times I_2\times \cdot \cdot \cdot \times I_N$张量。

N阶奇异值分解 每一个$I_1\times I_2\times \cdot \cdot \cdot \times I_N$实张量$\chi$均可以分解为n-模式积：

$$\chi =g{\times }_1{U}^{(1)}{\times }_2{U}^{(2)}\cdot \cdot \cdot {\times }_N{U}^{(N)}=[[g;U^{(1)},U^{(2)},\cdot \cdot \cdot ,U^{(N)}]]$$

或

$$x_{i_1{i}_2\cdot \cdot \cdot i_N}=\sum _{j_1=1}^{J_1}\sum _{j_2=1}^{J_2}\cdot \cdot \cdot \sum _{j_N=1}^{J_N}{g}_{i_1{i}_2\cdot \cdot \cdot i_N}{u}_{i_1{j}_1}^{(1)}{u}_{i_2{j}_2}^{(2)}\cdot \cdot \cdot u_{i_N{j}_N}^{(N)}$$

其中
  (1)$U^{(n)}=[u_1^{(n)},\cdot \cdot \cdot ,u_{J_n}^{(n)}]$是一个$I_n\times J_n$半正交矩阵，即$U^{(n)T}{U}^{(n)}=I_{J_n}$，且$J_n⩽I_n$。
（知识补充：实矩阵$Q_{m\times n}$，它只满足$Q{Q}^T=I_m$或者$Q^{T}Q=I_m$，Q被称为半正交矩阵）
  (2)核心张量$g$是一个$J_1\times J_2\times \cdot \cdot \cdot \times J_N$张量，其子张量$g_{j_n=\alpha }$是固定指标$j_n=\alpha$不变所得到的张量$\chi$。子张量具有以下两个性质：
全正交性 $\alpha \ne \beta$的两个子核心张量$g_{j_n=\alpha }$和$g_{j_n=\beta }$正交

$$⟨g_{j_n=\alpha }{g}_{j_n=\beta }⟩=0，\forall \alpha \ne \beta ，n=1,\cdot \cdot \cdot ,N$$

排序
$$\parallel g_{i_n=1}{\parallel }_F\ge \parallel g_{i_n=2}{\parallel }_F\ge \cdot \cdot \cdot \ge \parallel g_{i_n=N}{\parallel }_F$$

高阶奇异值分解的具体计算过程

  N阶张量的Tucker分解可以写成一个统一的数学模型：

$$\chi =f(U^{(1)},U^{(2)},\cdot \cdot \cdot ,U^{(N)})+\epsilon$$

式中$U^{(n)},n=1,\cdot \cdot \cdot ,N$为分解的因子或分量矩阵，$\epsilon$为N阶噪声或误差张量。因此，因子矩阵可以通过下列优化问题求得：

$$({\hat{U}}^{(1)},\cdot \cdot \cdot ,{\hat{U}}^{(N)})=\underset{U^{(1)},\cdot \cdot \cdot ,U^{(N)}}{\mathrm{argmin}}\parallel \chi -f(U^{(1)},U^{(2)},\cdot \cdot \cdot ,U^{(N)}){\parallel }_2^2$$

这是一个N个变元耦合在一起的优化问题。求解这类耦合优化问题的有效方法是交替最小二乘(ALS)算法。

Tucker分解得交替最小二乘算法的基本思想

  在第k+1次迭代中，利用在k+1次迭代中已更新的因子矩阵$U_{k+1}^{(1)},\cdot \cdot \cdot ,U_{k+1}^{(i-1)}$和在k此更新过的因子矩阵$U_{k+1}^{(i+1)},\cdot \cdot \cdot ,U_{k+1}^{(N)}$，求因子矩阵$U^{(1)}$的最小二乘解：

$${\hat{U}}_{k+1}^{(i)}=\underset{U^{(i)}}{\mathrm{argmin}}\parallel \chi -f(U_{k+1}^{(1)},\cdot \cdot \cdot ,U_{k+1}^{(i-1)},U^{(i)},U_{k+1}^{(i+1)},\cdot \cdot \cdot ,U_{k+1}^{(N)}){\parallel }_2^2$$

其中$i=1,\cdot \cdot \cdot ,N$。对$k=1,2,\cdot \cdot \cdot$，交替使用最小二乘法，直至所有因子矩阵收敛。
  下面以张量的矩阵化的水平展开为对象，讨论Tucker3分解的优化问题的求解

$$\underset{A,B,C,G^{(P\times QR)}}{\min }\parallel X^{(I\times JK)}-A{G}^{(P\times QR)}(C\otimes B{)}^T{\parallel }_2^2$$

根据交替最小二乘的原理，假定模式-2矩阵B、模式-3矩阵C和核心张量g的水平展开均固定，则上述优化问题就解耦为仅含模式-1矩阵A的优化问题：

$$\underset{A}{\min }\parallel X^{(I\times JK)}-A{G}^{(P\times QR)}(C\otimes B{)}^T{\parallel }_2^2$$

相当于求解矩阵$X^{(I\times JK)}=A{G}^{(P\times QR)}(C\otimes B{)}^T$的最小二乘解。在矩阵方程的两边右乘矩阵$(C\otimes B)$，得：

$$X^{(I\times JK)}(C\otimes B)=A{G}^{(P\times QR)}(C\otimes B{)}^T(C\otimes B)$$

  若对上式左边得矩阵进行奇异值分解$X^{(I\times JK)}(C\otimes B)=U_1{S}_1{V}_1^T$，则可取前P个左奇异向量作为矩阵A得估计结果$\hat{A}=U_1(:,1:P)$。这一运算可以简洁表示为$[A,S,T]=SVD[X^{(I\times JK)}(C\otimes B),P]$。

交替最小二乘算法(alternating least square,ALS)

  交替最小二乘方法最早由 Paatero与 Tapper用于非负矩阵分解。由于这种方法约束矩阵是非负的，所以现在习惯称为交替非负最小二乘算法。
  非负矩阵分解$X_{I\times J}=A_{I\times K}{S}_{K\times J}$的优化问题：

$$\underset{A,S}{\min }\frac{1}{2}\parallel X-AS{\parallel }_F^{2}subjecttoA,S\ge 0$$

可以分解为两个交替非负最小二乘子问题：

$$\begin{gathered} ANLS1\underset{S\ge 0}{\min }{f}_1(S)=\frac{1}{2}\parallel AS-X{\parallel }_F^2(A固定) \\ ANLS2\underset{A\ge 0}{\min }{f}_1(A^T)=\frac{1}{2}\parallel S^T{A}^T-X^T{\parallel }_F^2（S固定） \end{gathered}$$

这两个交替非负最小二乘子问题相当于使用最小二乘方法交替求解矩阵方程$AS=X$和$S^T{A}^T=X^T$，其最小二乘解分别为：

$$\begin{gathered} S=P_{+}((A^{T}A{)}^{†}{A}^{T}X) \\ {A}^T=P_{+}((S{S}^T{)}^{†}S{X}^T) \end{gathered}$$

当A或S在迭代过程中奇异时，算法将无法收敛。

约束非负矩阵分解（constrained nonnegative matrix factorization,CNMF）

$$CNMF\underset{A,S}{\min }\frac{1}{2}(\parallel X-AS{\parallel }_F^2+\alpha \parallel A{\parallel }_F^2+\beta \parallel S{\parallel }_F^2)subjecttoA,S\ge 0$$

式中，$\alpha \ge 0$和$\beta \ge 0$是两个正则化参数，分别起到压制$\parallel A{\parallel }_F^2$和$\parallel S{\parallel }_F^2$的作用。

正则化非负矩阵分解问题可以分解为两个交替正则化非负最小二乘（ARNLS）问题：

$$\begin{gathered} ARNLS1\underset{S\in {\mathbb{R}}_{+}^{J\times K}}{\min }{J}_1(S)=\frac{1}{2}\parallel AS-X{\parallel }_F^2+\frac{1}{2}\beta \parallel S{\parallel }_F^2(A固定) \\ ARNLS2\underset{A\in {\mathbb{R}}_{+}^{I\times J}}{\min }{J}_2(A^T)=\frac{1}{2}\parallel S^T{A}^T-X^T{\parallel }_F^2+\frac{1}{2}\alpha \parallel A{\parallel }_F^2(S固定) \end{gathered}$$

由矩阵微分
$$\begin{gathered} d{J}_1(S)=\frac{1}{2}d(tr[(AS-X{)}^T(AS-X)]+\beta tr(S^{T}S)) \\ =tr((S^T{A}^{T}A-X^{T}A+\beta S^T)dS) \\ d{J}_2(A^T)=\frac{1}{2}d(tr[(AS-X)(AS-X{)}^T]+\alpha tr(A^{T}A)) \\ =tr((AS{S}^T-X{S}^T+\alpha A)d{A}^T) \end{gathered}$$

由此得梯度矩阵：
$$\begin{gathered} \frac{\partial J_1(S)}{\partial S}=-A^{T}X+A^{T}AS+\beta S \\ \frac{\partial J_2(A^T)}{\partial A}=-S{X}^T+S{S}^T{A}^T+\alpha A^T \end{gathered}$$

由$\frac{\partial J_1(S)}{\partial S}=0$和$\frac{\partial J_2(A^T)}{\partial A}=0$分别得到两个正则化最小二乘子问题得解为：

$$\begin{gathered} (A^{T}A+\beta I_J)S=A^{T}X或S=(A^{T}A+\beta I_J{)}^{-1}{A}^{T}X \\ (S{S}^T+\alpha I_J)A^T=S{X}^T或A^T=(S{S}^T+\alpha I_J{)}^{-1}S{X}^T \end{gathered}$$

高阶奇异值分解在去噪的方面的优势？

均方误差MSE(Mean Squared Error)

峰值信噪比PSNR(Peak Signal to Noise Ratio)

3D 块匹配BM(Block-matching)

图1 由高斯白噪声（标准差为15，均值为0）破坏自然图像的噪声中的分组块插图。 每个片段都显示一个标有"R"的参考图块，以及与之匹配的几个图块。

高斯白噪声

https://blog.csdn.net/qq_26309711/article/details/103157812

基于高阶奇异值分解的去噪算法

$${\hat{c}}_n=c_n\frac{\hat{c}}{\hat{c}+{\sigma }^2}$$

${\hat{c}}_n$：是过滤核
$\hat{c}$：是第一个通道的图像核心
$c_n$：是在第一个通道的输出上使用块匹配来生成噪声图像的核心

算法流程

$kHard$：patch size
$chnls$：the number of channels
$nS{x}_r$：the number of similar patches to the patch at (i,j)