【SIFT】LoG 与 DoG

1、拉普拉斯变换

拉普拉斯变换的定义为：$$Laplacian=\frac{{\partial }^{2}f}{\partial x^2}+\frac{{\partial }^{2}f}{\partial y^2}$$

就是对原图像的 x方向 和 y方向，分别做 2阶偏导数，然后相加。

以上的拉普拉斯变换公式，应用在连续的函数中，我们应该都会求解，但是在图像这个离散的二维环境中，怎么做拉普拉斯变化呢，具体怎么计算呢？我们往下看：

我们知道连续的一阶导函数公式如下：

$$f^{\prime }(x_0)=li{m}_{\Delta x\to 0}\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$

那么，离散的一阶导函数公式为：

$$f^{\prime }(x_0)=li{m}_{\Delta x\to 1}\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}=f(x_0+1)-f(x_0)$$

所以，图像在 $x,y$ 两个方向上的一阶偏导数分别为：
$$\begin{gathered} \frac{\partial f}{\partial x}=f(x+1,y)-f(x,y) \\ \frac{\partial f}{\partial y}=f(x,y+1)-f(x,y) \end{gathered}$$

然后，在一阶偏导函数的基础上，求二阶偏导函数。因为在求一阶偏导函数的时候，我们是通过 x+1 的形式来近似求 x点 的偏导的，直观上来讲，有点偏右了，所以在求二阶导函数的时候，我们让 $x=x-1$ 来近似 $x$ 点，更为恰当，所以，在 $x,y$ 方向上的二阶偏导数分别为：
$$\begin{array}{rl}\frac{{\partial }^{2}f}{\partial x^2}& =\frac{\partial [f(x+1,y)-f(x,y)]}{\partial x}\\ & \\ & =\frac{\partial f(x+1,y)}{\partial x}-\frac{f(x,y)}{\partial x}\\ & \\ & =[f(x+1,y)-f(x,y)]-[f(x,y)-f(x-1,y)]\\ & \\ & =f(x-1,y)+f(x+1,y)-2f(x,y)\\ & \\ \frac{{\partial }^{2}f}{\partial y^2}& =\frac{\partial [f(x,y+1)-f(x,y)]}{\partial y}\\ & \\ & =\frac{\partial f(x,y+1)}{\partial y}-\frac{f(x,y)}{\partial y}\\ & \\ & =[f(x,y+1)-f(x,y)]-[f(x,y)-f(x,y-1)]\\ & \\ & =f(x,y-1)+f(x,y+1)-2f(x,y)\end{array}$$

再由拉普拉斯算子的定义，把上面的两个式子求和，就得到了：
$$Laplacian=f(x-1,y)+f(x+1,y)+f(x,y-1)+f(x,y+1)-4f(x,y)$$

上面的式子，用在图像里，可以看作是 上、下、左、右点的求和，减去中心点的4倍。所以，对图像做拉普拉斯变换，可以看作是 用原图像 与下面的模板做卷积运算，下面的这个模版（mask / filter）也就是拉普拉斯算子了。

---

2、拉普拉斯算子（Laplacian 算子）

Laplacian 算子 （拉普拉斯算子）是一种二阶导数算子，其具有旋转不变性，可以满足不同方向的边缘锐化。

计算像素点P5的近似二阶导数值入下： $P{5}_{lap}=(P2+P4+P6+P8)-4\cdot P5$

上面介绍的默认的拉普拉斯算子 只考虑了上下左右的情况，并没有考虑斜对角线方向的情况，如果连斜对角线的情况也考虑进来的话，我们就有了 拓展版的拉普拉斯算子：

默认的拉普拉斯算子只在 90度方向上存在旋转不变性，而拓展模版则在45度方向上也具有旋转不变性。

---

3、LoG：Laplacian of Gaussian

上面我们知道了 Laplacian 变换是一个二阶导数变换，而二阶导数对噪声又特别敏感，所以在做Laplacian 变换操作之前，会先对原图像做一次 Gaussian 模糊。根据 卷积操作的结合性质，可以先对 Gaussian 模版做 Laplacian 变换操作，然后再将结果与原图像做卷积。

Laplacian of a Gaussian (LoG) is just another linear filter which is a combination of Gaussian followed by the Laplacian filter on an image. Since the $2^{nd}$ derivative is very sensitive to noice. It is always a good idea to remove noice by smoothing the image before applying the Laplacian to ensure that noise is not aggravated.Because of the associative property of convolution it can be thought of as taking the $2^{nd}$ derivative(Laplacian) of the Gaussian filter and then applying the resulting(combined) filter onto the image hence the name LoG.

对图像先做 Gaussian模糊，再做 Laplacian 变换 ，就等于对图像做LoG运算：
$${\nabla }^2(G_{(x,y,\sigma )}\ast I_{(x,y)})={\nabla }^2{G}_{(x,y,\sigma )}\ast I_{(x,y)}$$

• $I_{(x,y)}$ 是原图像
• $G_{(x,y,\sigma )}$ 是高斯核
• 符号 $\ast$ 表示卷积运算
• ${\nabla }^2$表示Laplacian运算

所以，LoG 的定义就是：对高斯核(Gaussian kernel) 做 Laplacian 运算
$$LoG={\nabla }^2{G}_{(x,y,\sigma )}$$

---

4、用 DoG 近似 LoG

DoG：Difference of Gaussian
LoG：Laplacian of Gaussian

用两个不同尺度的 Gaussian 的差值（DoG）可以近似 LoG 的值，这样有效的减小运算量。

LoG can be efficiently approximated by using a difference of two Gaussians(DoG) at different scales.

下面我们来推导 LoG 与 DoG 的近似关系 （怕公式乱七八糟的，下面我按照几个部分模块写）

首先，我们先写出二维高斯核函数(1)，以及其对 x 和 y 的二阶偏导数 (2)和(3)

$$G_{\sigma }(x,y)=\frac{1}{2\pi {\sigma }^2}{e}^{-\frac{x^2+y^2}{2{\sigma }^2}}\text{\hspace{1em}(1)}$$

$$\frac{{\partial }^2{G}_{\sigma }(x,y)}{\partial x^2}=\frac{1}{2\pi {\sigma }^4}{e}^{-\frac{x^2+y^2}{2{\sigma }^2}}(\frac{x^2}{{\sigma }^2}-1)\text{\hspace{1em}(2)}$$

$$\frac{{\partial }^2{G}_{\sigma }(x,y)}{\partial y^2}=\frac{1}{2\pi {\sigma }^4}{e}^{-\frac{x^2+y^2}{2{\sigma }^2}}(\frac{y^2}{{\sigma }^2}-1)\text{\hspace{1em}(3)}$$

将（2）和（3）带入如下计算，得到 LoG 的公式（4）：

$$\begin{array}{rl}LoG(x,y)& ={\nabla }^2{G}_{\sigma }(x,y)\\ & \\ & =\frac{{\partial }^2{G}_{\sigma }(x,y)}{\partial x^2}+\frac{{\partial }^2{G}_{\sigma }(x,y)}{\partial y^2}\\ & \\ & =\frac{1}{2\pi {\sigma }^4}{e}^{-\frac{x^2+y^2}{2{\sigma }^2}}(\frac{x^2}{{\sigma }^2}-1)+\frac{1}{2\pi {\sigma }^4}{e}^{-\frac{x^2+y^2}{2{\sigma }^2}}(\frac{y^2}{{\sigma }^2}-1)\\ & \\ & =\frac{1}{2\pi {\sigma }^4}{e}^{-\frac{x^2+y^2}{2{\sigma }^2}}[(\frac{x^2}{{\sigma }^2}-1)+(\frac{y^2}{{\sigma }^2}-1)]\\ & \\ & =\frac{1}{2\pi {\sigma }^4}{e}^{-\frac{x^2+y^2}{2{\sigma }^2}}(\frac{x^2+y^2}{{\sigma }^2}-2)\\ & \\ & =\frac{x^2+y^2-2{\sigma }^2}{2\pi {\sigma }^6}{e}^{-\frac{x^2+y^2}{2{\sigma }^2}}\end{array}\text{\hspace{1em}(4)}$$

然后计算高斯核函数 $G_{(x,y,\sigma )}$ 对 $\sigma$的一阶导数，这个大家自己算下吧，我这里不写详细的计算过程了, 直接给出结果
$$\frac{\partial G}{\partial \sigma }=\frac{x^2+y^2-2{\sigma }^2}{2\pi {\sigma }^5}{e}^{-\frac{x^2+y^2}{2{\sigma }^2}}\text{\hspace{1em}(5)}$$

查看公式 （4）和（5），可以得出：
$$\frac{\partial G}{\partial \sigma }=\sigma {\nabla }^{2}G\text{\hspace{1em}(6)}$$

由导数定义， 并且令 $k\sigma =\sigma +\Delta \sigma$：
$$\begin{array}{rl}\frac{\partial G}{\partial \sigma }& =li{m}_{\Delta \sigma \to 0}\frac{G(x,y,\sigma +\Delta \sigma )-G(x,y,\sigma )}{\Delta \sigma }\\ & \\ & \approx \frac{G(x,y,k\sigma )-G(x,y,\sigma )}{k\sigma -\sigma }\end{array}\text{\hspace{1em}(7)}$$

由（6）和（7），得：
$$\sigma {\nabla }^{2}G=\frac{G(x,y,k\sigma )-G(x,y,\sigma )}{k\sigma -\sigma }$$
变形得：
$${\sigma }^2(k-1){\nabla }^{2}G=G(x,y,k\sigma )-G(x,y,\sigma )\text{\hspace{1em}(8)}$$

又因为

$$\begin{gathered} DoG=G(x,y,k\sigma )-G(x,y,\sigma ) \\ LoG={\nabla }^{2}G \end{gathered}$$

所以，（8）换个写法就是： $${\sigma }^2(k-1)LoG=DoG$$

至此，得证 （累死我了）

---

以上是代数层面的计算证明，然后我们也从几何图形角度来看看。

import numpy as np
import matplotlib.pyplot as plt

# --------- LoG ---------
sigma = 1.2
imput = []

output_LoG = []
a = -1 / (np.pi * sigma**4)
for x in np.arange(-6, 7, 0.1):
    b = (x**2) / (2 * sigma ** 2)
    result = a * np.exp(-b) * (1-b)
    imput.append(x)
    output_LoG.append(result)

# --------- DoG ---------
sigma1 = sigma / np.sqrt(2)
sigma2 = sigma * np.sqrt(2)

output_DoG = []
output_gaussian1 = []
output_gaussian2 = []
a1 = 1 / (2 * np.pi * sigma1**2)
a2 = 1 / (2 * np.pi * sigma2**2)
for x in np.arange(-6, 7, 0.1):
    gaussian1 = a1 * np.exp(- (x**2)/(2 * sigma1**2))
    gaussian2 = a2 * np.exp(- (x**2)/(2 * sigma2**2))
    output_gaussian1.append(gaussian1)
    output_gaussian2.append(gaussian2)
    output_DoG.append(gaussian2 - gaussian1)

plt.plot(imput, output_gaussian1, label='gaussian1')
plt.plot(imput, output_gaussian2, label='gaussian2')
# plt.plot(imput, output_LoG, label='LOG')
# plt.plot(imput, output_DoG, label='DOG')
plt.legend()
plt.show()

print(sigma2 / sigma1)

顺便提一嘴，我看到好多地方都在使用下面这张图，有一点没搞明白 （或许是作者没在意写错了？？）

按照左边的公式 ${\nabla }^2{G}_{\sigma }=G(x,y,k\sigma )-G(x,y,\sigma )$，得到右边的图的情况下

• $G_{\sigma 1}$ 是绿色那条线
• $G_{\sigma 2}$ 是红色的

这时候，${\sigma }_1>{\sigma }_2$

但是右边又说最相似的时候，是当 ${\sigma }_1=\frac{\sigma }{\sqrt{2}}，{\sigma }_2=\sqrt{2}\sigma$ 的时候，这时 ${\sigma }_1<{\sigma }_2$

所以，是写错了 ？？