2012-IJCV - Non-uniform deblurring for shaken images

项目地址：https://www.di.ens.fr/willow/research/deblurring/
作者：Oliver Whyte

• 非一致性模糊
• 针对相机转动提出新的模糊模型
• 将新模型代替卷积模型代入两种去模糊算法框架:Fergus et al. (2006,VB) and Cho and Lee (2009,MAP)

平移vs.转动

文章首先说明了相机转动比平移更容易造成图像模糊，因此本文只考虑了相机转动影响，忽略了相机平移。如下图：

当造成$\delta$大小的模糊时（像平面上的像素偏移距离），相机需要平移的大小为：$X=\frac{\delta }{F}D$，需要转动的角度为：$\theta ={\tan }^{-1}\frac{\delta }{F}$, 代入实际数据时，当目标距离相机1米时，需要平移1cm，仅需要转动$0.6°$!所以模糊更有可能是由相机转动造成的。

转动还可以分为in-plane 与 out-of-plane。
in-plane 指围绕Z轴的旋转，相比out-of-plane，像素偏移路径在整个图像中变化更大。

新模型

其中$\mathbf{x}$表示观测图像$g$中的齐次坐标，$f$为潜在图像，$\epsilon$表示观测噪声，T表示相机曝光时间，${\mathbf{H}}_t$为t时刻的单应矩阵。

单应矩阵$\mathbf{H}$可以写成:

$\mathbf{R}$为相机旋转矩阵，$\mathbf{K}$为标定矩阵（calibration matrix）。传送门：相机标定及内参外参

一般来说，模糊的图像没有相关的时间信息T，因此改为对角度的积分（相机不同时刻都会对应一个角度，每个角度也会对应一个单应矩阵）：

$w(\mathbf{\theta })\in {\mathbb{R}}^{N_x\times N_y\times N_z}$是一个三维权重矩阵，$\mathbf{\theta }=({\theta }_x,{\theta }_y,{\theta }_z)$。即广义上的“模糊核”。

进一步地，将单应变换写成矩阵乘法：

展开后，

其中$\mathbf{C}$是一个非常稀疏的矩阵，上式对于$\mathbf{w}$和$\mathbf{f}$都为线性（双线性），

因此可以直接代入一致性去模糊算法（卷积运算也是双线性的）。
需要注意的是，卷积运算可以通过傅里叶变换加速，而该模型中的双线性形式是不可以的。

接着文章介绍了两种框架：VB-based和MAP-based

VB-based

R. Fergus, B. Singh, A. Hertzmann, S. T. Roweis, and W. T. Freeman.
Removing camera shake from a single photograph. ACM Trans.
Graphics (Proc. SIGGRAPH 2006), 25(3):787–794, 2006.

MAP-based

S. Cho and S. Lee. Fast motion deblurring. ACM Trans. Graphics
(Proc. SIGGRAPH Asia 2009), 28(5):145:1–145:8, 2009.

能量函数如下：

文章发现原文中对于模糊核2范数先验效果并不好，所以改成了1范数：

非盲去模糊

文章采用了两种：
一种是使用了超拉普拉斯先验的；

D. Krishnan and R. Fergus. Fast image deconvolution using hyperlaplacian
priors. In NIPS, 2009.

另一种是RL算法，文章也简单介绍了，并发现对于包含饱和区域的图像 (由于过大像素值被裁剪，线性模型不再有效)，RL算法结果更好。