项目的复习和回忆记录

1、图像颜色转换与梯度保持

         源图像src

参考图像ref

使用kmeans聚类算法 得到：S集合R集合

使用EMD算法去做一个S集合与R集合中元素的一一匹配

使用均值方差去计算颜色新值p_i:= m2 -- (p_i – m1) * s2/s1，另外的说法是基于概率的颜色新值计算，均值和方差代表的是全局的属性，这样可以让具有相似的分布。

最后得到的结果，已经有了新的颜色新值了，但是由于只是考虑了全局的属性信息，所以在图片的细节上往往会出现一些瑕疵，特别是在边缘的地方。因为边缘处往往有多种颜色，容易出现过渡不自然的情况，因此在得到的结果上还需要一步优化。

这步优化就是基于梯度保持的转换。将上一步得到的结果当成中间结果，联合输入的源图像。我们提取中间结果的颜色信息和源图像的梯度信息，来建立一个优化方程，并求解优化方程的最优解，从而得到一副图像，这幅图像拥有中间结果的颜色特性，并且由于加入了梯度这一局部信息，从而修正了中间图像在细节上的一些瑕疵，实验的结果也证明了这一点。

这个算法思想比较简单，实现这个算法的过程算是我从本科学习向研究生图像处理学习的一个转折点。学会去模仿论文上的处理图像的方式去建立优化方程，去实现求解。

 

2、泊松算法的应用

         这个其实是一个课堂上的小作业。讲的是关于无缝克隆的问题。从一副图像选择一块区域，然后复制粘贴到目标图像上。类似于ps上的抠图。主要的求解方法就是建立优化方程，因为不考虑无缝那么就直接复制粘贴过来就好了，但是这样造成的结构就是边缘的过渡不自然，甚至于一看就不行。

泊松方程也就是所要建立的优化方程。

而这个算法难点主要是怎么去求解这个方程。按照方程所要求的点，每一个像素点其实都与他的上下左右四个像素相关。改变其中一个像素，那么都会对附近的像素造成影响。因此需要建立一个当前像素与它附近像素相关的方程。

当然这样有很多个未知数，要求解方程则需要一些已知条件。首先我们要抠选一个区域，那么这个区域的梯度信息我们可以知道。然后我们还有目标图像，我们要把这个区域放到一个目标图像上去，因此我们还知道一些边界的信息。那么按照泊松扩散的概念。我们有了一个梯度信息所代表的向量场，还有一个边界信息，那么可以从边界扩散进去，使得整个区域得到新的颜色值。这样做的好处是在保留原有的梯度信息的基础上，使得过渡自然。这是这个算法的基本思想。

学习玩这个思想之后，我完成了关于梯度计算这一块。这一块首先分边缘像素点与内部像素点，区别在于边缘像素点的周围没有四个点。然后比如上边界的点没有上方向的点，这个点是目标图像的像素，是一个已知条件，需要将对应关系弄好。接着这个算法在最初的学习时限制了只可以规则的矩形选区。然后我改成了不规则的选区，并且效果与课堂上讲的例子一致。

 

 

3、基于patch的图像重构

         这个算法只是做了简单的了解。相关的改进由于暑假去了实习就没有做了。这个算法的思想可简单的概括成拼图。把一块图拆成片，然后让算法去重新拼起来。这是基本的思路。也是最基本的应用，这个算法思想最后也可以用在图像重构，图像缩小，目标重定位上面。因此，算法开始有一个输入图像，然后用户操作。输入图像可以提供一个局部证据项。就是说有时候我们只移动图像中某个物体比如人的位置，那么我们当然希望背景的树啊，或者其他的屋子能不变，因此输入图像就提供了这些信息。然后用户操作就提供一个硬性的约束。比如我把这个人移动到另外一个位置，那么在最后的结果上，这个人就必须在这里。好了，然后完成这些之后，我们就有了一些已知的信息。

         用户的操作规定了某些片放在哪些位置，然后比如我们移动了这个人，那么带来了两个问题，第一个显而易见的问题是原本这个人的位置空了出来，需要补上去，怎么补呢，我们使用原有的片来补，由图像的自相似性来支持这一想法。第二个问题就是这个人移动过去了，那么边缘的过渡不自然怎么办，我们还是使用原有的片来补。然后这个问题就变成了怎么去选择较好的片来补。因此我们需要定义一个片与片之间的兼容性。

         基于自然图像的一些先验知识，将片与片的兼容性用高斯混合模型建模，考虑了片的亮度分量以及颜色分量来计算这个兼容性。然后根据马尔科夫随机场的思想，当前片受到上下左右四个片影响，因此每个片我们还需要计算四个方向的概率。还有，根据输入图像，这些片本来的位置上的上下左右那些片的概率应该较大，因此作为一个考虑因素加进入。

         有了兼容性之后，根据已经定下位置的片来计算其他位置的片的概率，然后选择一个最优的方案，得到最后的结果。

         这个方案首先是基于自然场景的先验来定义兼容性的，因此存在一定的瑕疵，最后的结果如果只是选择了一部分物体，那么很有可能其他不部位的物体过不去。这里我尝试过加了显著度图进去，这样可以对物体做一个初步的检测，可以保证基本整个物体移动过去。但是这由得需要一个比较好的显著度的图。然后还有自相似性，如果图片本身纹理比较多，那么效果也会比较差，这个改进还做，后来去了中科院实习，这个项目就暂停了。

 

4、去雨算法的学习要点总结

1）物理特性

大小0.1mm-3.5mm，速度200sqrt(a)，形状球状。

2）动态特性

该帧有雨(1)，那么在delta时间内，某个位置也应该有雨

3）成像特性：

a反射角165度，比较大的角，因此比背景要亮，而且受背景影响小

b一个像素不会一直被雨滴覆盖，而且亮度的变化与背景成线性相关，线性区别于移动的物体

4）时间特性：

受雨滴影响的像素的直方图会有两个主峰，而且较高的峰值可视为雨，较低的亮度为背景。从未被雨滴影响的图像只有一个峰值。

5）色彩特性：

         RGB分量的变化与背景相关，由于雨滴受背景影响较小，因此rgb分量的变化相似。

 

颜色新值的计算：

1、使用相邻帧数的背景颜色的均值来代替雨。

2、a-bending方法，C = αCb + (1-α)Cr