论文解读： Learning to AutoFocus (二)

论文解读： Learning to AutoFocus (二)

前面介绍了 Learning to AutoFocus 这篇文章，这篇文章主要是基于深度学习的方式来实现自动对焦算法的，不过这篇文章的补充材料里面，也介绍了很多传统算法的自动对焦算法，总得来说，是基于反差的对焦技术和基于相位检测的对焦技术。

Contrast-Based Baseline Algorithms

基于反差的对焦算法，就是给定一组 $n$ 张不同对焦距离下的图，$I_k,k\in \{1,2,...n\}$，这样一组图像称为 focal stack，比较这组图像中，每幅图像的 contrast score $\varphi$，选择其中值最大的那个 focal slice 作为我们的目标，从而得到最佳的对焦距离，这篇文章列举了很多的评估 contrast score 的方法，刚好可以学习学习基于反差的对焦算法都有哪些评价方式：

Intensity Variance

最常用的一个指标是方差信息，很明显，如果对焦不清晰的话，图像会比较模糊，这个时候的方差会比较小，反之，如果图像比较清晰，那么方差会比较大：

$$\varphi =Var(I)$$

Intensity Coefficient of Variation

这个指标，也是考虑对焦区域的变化程度，用标准差除以图像的均值：

$$\varphi =\frac{\sqrt{Var(I)}}{\mu (I)}$$

Total Variation (L1)

这个 TV 项简单来说，就是看图像的梯度的绝对值，梯度越大，对焦越清晰：

$$\varphi =\sum _{x,y}\Vert I[x+1,y]-I[x,y]\Vert +\Vert I[x,y+1]-I[x,y]\Vert$$

Total Variation (L2)

这个是 TV 项的 L2 范数，就是梯度的平方和：

$$\varphi =\sum _{x,y}(I[x+1,y]-I[x,y]{)}^2+(I[x,y+1]-I[x,y]{)}^2$$

Energy of Laplacian

这个评价方法就是利用拉普拉斯算子对图像做卷积，然后再求平方和。

$$\varphi =\sum _{x,y}\Delta [x,y{]}^2,\Delta =I\ast \left[\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right]$$

Laplacian Variance

这个评价方法是对拉普拉斯卷积后的图像求方差：

$$\varphi =Var(\Delta [x,y]),\Delta =I\ast \left[\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right]$$

Sum of Modified Laplacian

这个也是基于拉普拉斯算子的：

$$\varphi =\sum _{x,y}\Delta [x,y],\Delta =|I\ast L_x|+|I\ast L_y|$$

$$L_x=\left[\begin{array}{ccc}0& 0& 0\\ 1& -2& 1\\ 0& 0& 0\end{array}\right]，L_y=L_x^T$$

Diagonal Laplacian

$$\varphi =\sum _{x,y}\Delta [x,y]$$

$$\Delta =|I\ast L_x|+|I\ast L_y|+|I\ast L_{xy}|+|I\ast L_{yx}|$$

$$L_{xy}=\frac{1}{\sqrt{2}}\left[\begin{array}{ccc}0& 0& 1\\ 0& -2& 0\\ 1& 0& 0\end{array}\right],L_{yx}=L_{xy}^T$$

Mean Gradient Magnitude

这个利用 sobel 算子计算图像的梯度，然后再求平方和：

$$\varphi =\frac{1}{n}\sum _{x,y}\sqrt{{\nabla }_x[x,y{]}^2+{\nabla }_y[x,y{]}^2}$$

$${\nabla }_x=I\ast \left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],{\nabla }_y=I\ast \left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$$

Gradient Count

这个评估方式是统计梯度值大于某一阈值的个数：

$$\varphi =\frac{1}{n}\sum _{x,y}[|{\nabla }_x[x,y]|>t]+[|{\nabla }_y[x,y]|>t]$$

Gradient Magnitude Variance

$$\varphi =Var(\sqrt{{\nabla }_x[x,y{]}^2+{\nabla }_y[x,y{]}^2})$$

Percentile Range

$$\varphi =Percentile(I,100-p)-Percentile(I,p)$$

Histogram Entropy

$$\varphi =\sum _i{n}_{i}log(n_i)$$

$n_i$ 表示图像的直方图分布

DCT Energy Ratio

$$\varphi =\frac{({\sum }_{u,v}D[u,v{]}^2)-D[0,0{]}^2}{D[0,0{]}^2},D=DCT(I)$$

DCT Reduced Energy Ratio

$$\varphi =\frac{D[0,1{]}^2+D[1,0{]}^2+D[0,2{]}^2+D[2,0{]}^2+D[1,1{]}^2}{D[0,0{]}^2}$$

Modified DCT

$$\varphi =\sum _{x,y}\left(I\ast \left[\begin{array}{cccc}1& 1& -1& -1\\ 1& 1& -1& -1\\ -1& -1& 1& 1\\ -1& -1& 1& 1\end{array}\right]\right)[x,y]$$

Wavelet Sum

$$\varphi =\sum _{x,y}|W_{LH}^{(l)}[x,y]|+|W_{HL}^{(l)}[x,y]|+|W_{HH}^{(l)}[x,y]|$$

$$\left(W_{LL}^{(l)},W_{LH}^{(l)},W_{HL}^{(l)},W_{HH}^{(l)}\right)=CDF9/7(I,l)$$

Wavelet Variance

$$\varphi =Var\left(W_{LH}^{(l)}[x,y]\right)+Var\left(W_{HL}^{(l)}[x,y]\right)+Var\left(W_{HH}^{(l)}[x,y]\right)$$

Wavelet Ratio

$$\varphi =\frac{{\sum }_{x,y}{W}_{LH}^{(l)}[x,y{]}^2+W_{HL}^{(l)}[x,y{]}^2+W_{HH}^{(l)}[x,y{]}^2}{{\sum }_{x,y}{W}_{LL}^{(l)}[x,y{]}^2}$$

Mean Wavelet Log-Ratio

$$\varphi =\frac{1}{n}\sum _{x,y}\log \left(\frac{W_{LH}^{(l)}[x,y{]}^2+W_{HL}^{(l)}[x,y{]}^2+W_{HH}^{(l)}[x,y{]}^2}{W_{LL}^{(l)}[x,y{]}^2+1}\right)$$

Dual-Pixel / Stereo Baseline Algorithms

基于 dual pixel 的方法，就是计算左右两幅视图的视差，视差的计算主要基于图像的匹配，图像的匹配，就是寻找两幅图像中相似的地方，可以利用统计信息，或者图像的特征，为了让左右两幅图像匹配的时候，不受亮度的影响，可以先对左右两幅图像的亮度做一个校正：

$$\hat{L}=\frac{L-\mu (L)}{Var(L)},\hat{R}=\frac{R-\mu (R)}{Var(R)}$$

亮度校正之后，可以对左右两幅图像计算视差，也是基于不同的评价准则，几种典型的计算方式如下：

Census Transform (Hamming)

$$f=\sum _{x,y}||Census(L)[x,y]-Census(R)[x,y]|{|}_0$$

$$Census(I)[x,y]=\left[I[x+{\Delta }_x,y+{\Delta }_y]>I[x,y]|{\Delta }_x\in [-1,0,1],{\Delta }_y\in [-1,0,1],{\Delta }_x\ne {\Delta }_y\ne 0\right]$$

Normalized Cross-Correlation

$$f=-⟨\hat{L},\hat{R}⟩$$

Normalized SAD

$$f=\sum _{x,y}|\hat{L}[x,y]-\hat{R}[x,y]|$$