Reflection Separation Using Patch-Wise Sparse and Low-Rank Decomposition

---

摘要：

从一系列相关的图像中找到相同区域的patch，那么这些patch都存在一个非常低维的子空间，那么这些patch聚类后，就能得到一个低秩矩阵(low-rank matrix)，这样的好处是可以使用ALM-ADM策略来解决图像还原问题

本文提出一种衡量patch与transmission layer之间相似性的matric，基于图像强度和梯度。

不需要依据梯度进行reconstruction，所以color shift问题可以被极大改善，更多的图像细节得以被保留

---

introduction

把reflection removal的问题看成 a sparse and low-rank matrix decomposition problem

图一

• SIFT-flow 对齐图片 选出一张参考图
• 利用滑动窗口在其他的图片上选取对应的patch
• 从pixel intensity和gradients两个角度衡量每组patch的相似性，然后被组合成一个matrix，最后这个matrix被分解成一个low-rank part（transmission layer）和一个sparse part（reflection layer）by nuclear norm 和 L1 norm
• 利用ALM(augmented Lagrange multiplier) 和 ADM(alternating direction minimizing)求解问题

---

Motivation

这些图片中的R可能相差很大，但是T几乎是保持不变的，所以当K张图被warp到同一坐标系中时，被向量化的T层可以很自然的被建模成低秩矩阵（理想情况下是秩为一的矩阵）

- image alignment

SIFT-flow 对齐图片

- patch searching

图二

绿框表示参考图中的某一个patch，然后在其余K-1张图中搜索2(K-1)张最相似的patch，由于已经做过图像对齐，所以搜索范围可大概确定在黄色方框中，因此可以大大加速搜索过程。

以往通常现在梯度领域对图像做处理，然后在用柏松积分重建，但是会造成color shift和blur，本文在patch similarity measure使用图像梯度，效果比较好

• 反射层通常比较平滑，且强度较低，所以一些明显的边缘极大可能都是属于传输层的
• 不同图像之间的反射层差别很大，所以反射层的边缘几乎不可能存在于同样的像素位置
  于是我们可以大致估计参考图transmission层的梯度：
  

通过光强度和梯度，我们可以定义一个用来衡量两个patch之间相似性的公式：

其中表示第k个对齐图像中的第i个patch

- Sparse and Low-Rank Decomposition

把2(k-1)个patch连同参考图的的patch组成一个大的matrix I，然后把I分解成一个低秩的矩阵T（transmission layer）和一个稀疏矩阵R（reflection）

目标函数：

augmented Lagrange function optimization problem：

ALM

T,Y,R更新

- patch fusion

在对每个patch作处理后，会产生棋盘效应，此时选取一个滑动窗口W，以步长D进行滑动，，利用均值来消除边界，可以从图中看到效果

图三

---

Experiment

图四 数据合成

图五 合成图对比效果

图六 真实图对比效果