python+OpenCv笔记（十六）：边缘检测原理（Sobel算子原理、Laplacian算子原理、Canny边缘检测原理）
目录
一、边缘检测原理
二、Sobel检测算子原理
三、Laplacian算子原理
四、Canny边缘检测
1.噪声去除（高斯滤波）
2.计算图像的梯度与梯度方向
3.非极大值抑制NMS
4.双阈值筛选边界
五、边缘检测示例及代码编写（跳转）
一、边缘检测原理
目的：
边缘检测是图像处理和计算机视觉中的基本问题，边缘检测的目的是标识数字图像中亮度变化明显的点。
表现形式：
图像属性中的显著变化通常反映了属性的重要事件和变化。边缘的表现形式如下图所示:
图像边缘检测大幅度地减少了数据量，并且剔除了可以认为不相关的信息，保留了图像重要的结构属性。
分类：
有许多方法用于边缘检测，他们的绝大部分可以划分为两类：基于搜索和基于零穿越。
基于搜索∶通过寻找图像一阶导数中的最大值来检测边界，然后利用计算结果估计边缘的局部方向，通常采用梯度的方向，并利用此方向找到局部梯度模的最大值，代表算法是Sobel算子和Scharr算子。
（如若求图一中的边缘，这对图一曲线进行求导，得到图二的求导后曲线，图二中导数最大值的地方即为边界。）
基于零穿越:通过寻找图像二阶导数零穿越来寻找边界，代表算法是Laplacian算子。
二、Sobel检测算子原理
本质：
Sobel算子是图像检测的重要算子之一，其本质是梯度运算。
那什么情况下会产生梯度呢？
例如，对于一张二维图像，
当我们将卷积核放在图像中时，有三种位置关系，如图：
当卷积核放在纯黑或者纯白的图像上时，是没有梯度产生的，只有放在黑白交界处才会产生梯度，比如白色的灰度值为255，黑色的灰度值为0，那么从白色到黑色的梯度即为0-255=-255，当梯度值的大小超过一个阈值后，我们就认为此处为边缘，sobel算子的算法与其类似。（此处为理解，sobel算子算法相对更加复杂）。
原理：
对于不连续的函数，一阶导数可以写做
或
所以有
假设要处理的图像为 I ，在两个方向求导：
- 水平方向：将图像 I 与奇数大小的模板进行卷积，结果为,比如，模板大小为3时，有
- 垂直方向：将图像 I 与奇数大小的模板进行卷积，结果为,比如，模板大小为3时，有
那么在图像的每一点处，结合以上两个结果可以求出：
可以简化为：
统计极大值的位置，就是图像的边缘。
具体步骤：
1.
例如，原图像为5*6的矩阵
我们拿固定的3*3的sobel算子卷积核与原图像矩阵进行运算（5*5同理，但必须为奇数）
2.
将卷积核在原始图像上进行遍历
第一次为：
第二次为：
最后一次为：
遍历完毕之后，我们看卷积核的核心，它在原图像矩阵上的覆盖范围为：
可以看出，在原图像中，橙色区域都可以经过与卷积核运算而得到相应的梯度值，而周围的白色区域则不能计算出梯度值，在OpenCv中目前不知道是如何处理的，但在深度学习中是这样处理的：我们将原图像的周围再扩展一圈，并填充值为0，如图：
这时，我们再与卷积核运算，就可以将原图像的全部区域都计算出梯度值，如图：
3.
那么在每一次的遍历之中，sobel算子算法是如何求得梯度值的呢？
首先，对于水平方向的梯度，根据上面的计算公式有：
P5点x方向的梯度值为：
在这儿，我们可以理解一下为什么卷积核会有1和2这两个值，1和2代表的是权值，因为对于中心点P5来说，离得越近，对其影响越大，反之越小，所以P4、P6赋予权值为2，其余点赋权值为1。
那么，我们根据梯度计算式可以看出， 是由右边一列减去左边一列（相应列乘以相应的权值）得出的，当左右两列差别特别大的时候，目标点的值会很大，说明该点为边界点。
同理有：
4.
如果目标像素点求得的值小于0或者大于255怎么办呢？
因为原图像的灰度值是8位无符号数，即0-255。OpenCv默认的是截断操作，即小于0按0算，大于255按255算，这样显然是不合理的，比如-240是不能简单看做0来算的。
在python-OpenCv中，我们可以使用16位有符号的数据类型（cv2.CV_16S）,处理完图像后，再使用cv2.convertScaleAbs()函数将其转回原来的uint8格式。
最终的处理结果是，对于小于0的数，取绝对值，对于大于255的数，取255。
5.
总梯度：
简化梯度：
参考：
https://www.bilibili.com/video/BV11341127pe?from=search&seid=11602454197720109774&spm_id_from=333.337.0.0
https://www.bilibili.com/video/BV11341127pe?from=search&seid=11602454197720109774&spm_id_from=333.337.0.0
三、Laplacian算子原理
原理：
Laplacian是利用二阶导数来检测边缘，因为图像是二维的，我们需要在两个方向上求导，如下式所示：
在图像中，将该方程表示为离散的形式，
一维情况：
二维情况：
所以由方程可以得出，laplacian算子使用的卷积核为：
具体步骤：
（具体步骤与Sobel算子基本相似，可参考上文的Sobel算子原理步骤）
这里给出卷积核与图像的运算过程：
例如，分别有卷积核与原图像矩阵：
则P5点的梯度值为：
四、Canny边缘检测
Canny边缘检测主要由四步组成：
- 噪声去除（高斯滤波）
- 计算图像的梯度与梯度方向
- 非极大值抑制
- 双阈值筛选边界
1.噪声去除（高斯滤波）
由于边缘检测容易受到噪声的影响，所以首先使用5*5高斯滤波器去除噪声。
高斯滤波原理详见文章：
python+OpenCv笔记（十）：高斯滤波https://blog.csdn.net/qq_45832961/article/details/122351534
2.计算图像的梯度与梯度方向
对高斯滤波平滑后的图像使用Sobel算子计算水平和竖直方向的一阶导数（和),根据得到的和找到边界的梯度和方向，公式如下：
Sobel算子原理详见本文的第二篇：Sobel检测算子原理
如果某个像素点是边缘，则其梯度方向总与边缘垂直，。
梯度方向被分为四类：垂直、水平和两个对角线方向。
3.非极大值抑制NMS
在获得梯度的大小和方向之后，对整幅图像进行扫描，去除那些非边界上的点。
即对每一个像素进行检查，看这个点的梯度在周围具有相同梯度方向的点中是不是最大的
如图：
A点位于图像的边缘，在其梯度变化方向，选择像素点B和C，用来检验A点的梯度是否为极大值，若为极大值，则进行保留，否则A点被抑制，最终的结果是具有“细边”的二进制图像。
（即我们第二步求得的边界可能是ABC，边缘较粗，这时如果A的梯度值均大于B、C，我们进行非极大值抑制后就只剩下了A，从而达到了边缘细化的效果。）
当然，梯度方向被分为四类：垂直、水平和两个对角线方向，我们将其梯度方向近似为以下值中的一个(0,45,90,135,180,225,270,315)，例如30度近似为45度。
例如，当一个像素点的梯度方向为45度时，我们就在45度与225度（正反方向）两个方向上进行比较，从而决定保留还是抑制。
4.双阈值筛选边界
现在要确定真正的边界。我们设置两个阈值: 阈值下界（minVal）和 阈值上界（maxVal）。当图像的灰度梯度高于maxVal时被认为是真的边界（强边界），低于minVal的边界必然不是边界，会被抛弃。如果介于两者之间的话，我们称其为弱边界，和强边界相连的弱边界认为是边界，其他的弱边界则被抑制。如下图:
五、边缘检测示例及代码编写（跳转）
- Sobel算子
python+OpenCv笔记（十三）：边缘检测——Sobel检测算子https://blog.csdn.net/qq_45832961/article/details/122396761 - Laplacian算子
python+OpenCv笔记（十四）：边缘检测——laplacian算子https://blog.csdn.net/qq_45832961/article/details/122429117 - Canny边缘检测
python+OpenCv笔记（十五）：边缘检测——Canny边缘检测https://blog.csdn.net/qq_45832961/article/details/122441575