Datawhale 组队学习OpenCV -task6 边缘检测
6.1 简介
6.1.1 什么是边缘？
边缘是图像强度函数快速变化的地方
6.1.2 如何检测边缘？
为了检测边缘，我们需要检测图像中的不连续性，可以使用导数来检测不连续性。但是，导数也会受到噪声的影响，因此建议在求导数之前先对图像进行平滑处理。 然后我们可以使用遮罩使用卷积来检测边缘。
6.2 算法理论介绍与推荐
6.2.1 Sobel算子
使用 3 × 3 3 \times 3 3×3 的卷积核来进行图像求导：
KaTeX parse error: Undefined control sequence: \mbox at position 109: …hbf {I} \quad {\̲m̲b̲o̲x̲{和}}\quad \math…
其中$ \mathbf {I} 表 示 原 图 片 ， 表示原图片， 表示原图片，\mathbf {G}’{x} 和 和 和\mathbf {G}’{y} 分 别 表 示 沿 图 片 水 平 和 竖 直 方 向 上 的 变 化 ， 分别表示沿图片水平和竖直方向上的变化， 分别表示沿图片水平和竖直方向上的变化， * $表示卷积操作
【例1】下面以Sobel算子为例讲述如何计算梯度
x和y方向的Sobel算子分别为：
KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲G_{x}=\left[\be…
若图像 G \mathbf {G} G中一个3x3的窗口为A，要计算梯度的像素点为e，则和Sobel算子进行卷积之后，像素点e在x和y方向的梯度值分别为：
KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲\begin{aligned}…
其中“ * ” 为卷积符号，sum表示矩阵中所有元素相加求和。
6.4.2 Canny边缘检测
anny边缘检测是从不同视觉对象中提取有用的结构信息并大大减少要处理的数据量的一种技术，目前已广泛应用于各种计算机视觉系统。Canny发现，在不同视觉系统上对边缘检测的要求较为类似，因此，可以实现一种具有广泛应用意义的边缘检测技术。边缘检测的一般标准包括：
- 以低的错误率检测边缘，也即意味着需要尽可能准确的捕获图像中尽可能多的边缘。
- 检测到的边缘应精确定位在真实边缘的中心。
- 图像中给定的边缘应只被标记一次，并且在可能的情况下，图像的噪声不应产生假的边缘。
为了满足这些要求，Canny使用了变分法。Canny检测器中的最优函数使用四个指数项的和来描述，它可以由高斯函数的一阶导数来近似。
在目前常用的边缘检测方法中，Canny边缘检测算法是具有严格定义的，可以提供良好可靠检测的方法之一。由于它具有满足边缘检测的三个标准和实现过程简单的优势，成为边缘检测最流行的算法之一。
完成一个Canny边缘检测算法可以分为以下四步：
| 高斯滤波 | 目的 |
|---|---|
| 1.高斯滤波 | 去噪声降低错误率 |
| 2.计算梯度幅值和方向 | 估计每一点处的边缘强度和方向 |
| 3.非极大值抑制（NMS） | 对Sobel、Prewitt等算子的结果进一步细化 |
| 4.应用双阈值（Double-Threshold）检测 | 确定真实的和可能的边缘 |
1. 高斯滤波
边缘检测结果容易受到图像噪声的影响，图片中一些噪声会大大影像边缘检测。因此为了使图像平滑，可以用高斯滤波器内核与图像进行卷积。 此步骤将使图像稍微平滑，以减少边缘检测器上明显噪声的影响。
大小为 （ 2 k + 1 ） × （ 2 k + 1 ） （2k + 1）×（2k + 1） （2k+1）×（2k+1）的高斯滤波器核的方程式为：
H i j = 1 2 π σ 2 exp ( − ( i − ( k + 1 ) ) 2 + ( j − ( k + 1 ) ) 2 2 σ 2 ) ; 1 ≤ i , j ≤ ( 2 k + 1 ) {\displaystyle H_{ij}={\frac {1}{2\pi \sigma ^{2}}}\exp \left(-{\frac {(i-(k+1))^{2}+(j-(k+1))^{2}}{2\sigma ^{2}}}\right);1\leq i,j\leq (2k+1)} Hij=2πσ21exp(−2σ2(i−(k+1))2+(j−(k+1))2);1≤i,j≤(2k+1)
2. 计算梯度强度和方向
进行高斯滤波后，图像中的边缘可以指向各个方向，接下来使用四个算子来检测图像中的水平、垂直和对角边缘。边缘检测的算子（如Roberts，Prewitt，Sobel等）返回水平 G x G_x Gx和垂直 G y G_y Gy方向的一阶导数值，由此便可以确定像素点的梯度 G G G和方向 θ \theta θ 。
G = G x 2 + G y 2 (1) \mathbf {G} ={\sqrt {{\mathbf {G} _{x}}^{2}+{\mathbf {G} _{y}}^{2}}} \tag{1} G=Gx2+Gy2(1)
θ = arctan ( G y / G x ) (2) \mathbf {\theta } =\operatorname {arctan} \left(\mathbf {G} _{y}/\mathbf {G} _{x}\right) \tag{2} θ=arctan(Gy/Gx)(2)
其中 G \mathbf {G} G为梯度强度， θ \theta θ表示梯度方向， arctan \operatorname {arctan} arctan为反正切函数。通过上式我们可以得到一个梯度矩阵 G \mathbf {G} G和方向矩阵 θ \theta θ。
3. 非极大值抑制（NMS）
在每一点上，邻域中心与沿着其对应的梯度方向的两个像素相比，若中心像素为最大值，则保留，否则中心置0，这样可以抑制非极大值，保留局部梯度最大的点，以得到细化的边缘。
对图像进行梯度计算后，仅仅基于梯度值提取的边缘仍然很模糊。对边缘有且应当只有一个准确的响应。而非极大值抑制则可以帮助将局部最大值之外的所有梯度值抑制为0。非极大值抑制是一种边缘稀疏技术，非极大值抑制的作用在于“瘦”边。直观上地看，对第二步得到的图片，边缘由粗变细了。
4. 用双阈值算法检测和连接边缘
双阈值法非常简单，我们假设两类边缘：经过非极大值抑制之后的边缘点中，梯度值超过TH的称为强边缘，梯度值小于TH大于TL的称为弱边缘，梯度小于TL的不是边缘。
可以肯定的是，强边缘必然是边缘点，因此必须将T1设置的足够高，以要求像素点的梯度值足够大（变化足够剧烈），而弱边缘可能是边缘，也可能是噪声，如何判断呢？当弱边缘的周围8邻域有强边缘点存在时，就将该弱边缘点变成强边缘点，以此来实现对强边缘的补充。实际中人们发现T1:T2=2:1的比例效果比较好，其中T1可以人为指定，也可以设计算法来自适应的指定，比如定义梯度直方图的前30%的分界线为T1。检查8邻域的方法叫边缘滞后跟踪，连接边缘的办法还有区域生长法等等。
6.3 参考资料
Datawhale：https://github.com/datawhalechina/team-learning/blob/master/%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89%E5%9F%BA%E7%A1%80%EF%BC%9A%E5%9B%BE%E5%83%8F%E5%A4%84%E7%90%86%EF%BC%88%E4%B8%8A%EF%BC%89/Task06%20%E8%BE%B9%E7%BC%98%E6%A3%80%E6%B5%8B.md
关于Datawhale：
Datawhale是一个专注于数据科学与AI领域的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员。Datawhale以“for the learner，和学习者一起成长”为愿景，鼓励真实地展现自我、开放包容、互信互助、敢于试错和勇于担当。同时Datawhale 用开源的理念去探索开源内容、开源学习和开源方案，赋能人才培养，助力人才成长，建立起人与人，人与知识，人与企业和人与未来的联结。