Canny边缘检测，Opencv源码解析
Canny边缘检测原理
Canny 算法的步骤：
1、 使用高斯滤波器进行卷积降噪。这一步opencv源码中无，可先对灰度图像进行高斯滤波， 然后进行canny边缘检测 。
2、 使用Sobel算子计算梯度x,y幅值和方向(角度)
具体计算如下：
Gx = [f(x+1,y-1) + 2f(x+1,y) + f(x+1,y+1)] - [f(x-1,y-1) + 2f(x-1,y) + f(x-1,y+1)]
Gy = [f(x-1,y-1)+ 2f(x,y-1) + f(x+1,y-1)] - [f(x-1, y+1) + 2f(x,y+1) + f(x+1,y+1)]
其中f(a,b), 表示图像(a,b)点的灰度值；
3、 图像的每个像素横向及纵向梯度值通过以下公式结合，计算出该点梯度为：
通常使用不开平方的近似值，可提高效率 ：
计算梯度方向：
4、 非极大值抑制 + 滞后阈值
非极大值抑制是一种去除非极大值的算法，可以将sobel计算的边界变细。
注意：梯度方向是边的垂直方向，只保留梯度方向变化率最大的点，即使边界变细。
一、Canny算法应用双阀值，即一个高阀值和一个低阀值来区分边缘像素。
如果边缘像素点梯度值大于高阀值，则被认为是强边缘点。
如果边缘梯度值小于高阀值，大于低阀值，则标记为弱边缘点。
小于低阀值的点则被抑制掉。
二、 对于弱边缘像素，将会有一些争论，因为这些像素可以从真实边缘提取也可以是因噪声或颜色变化引起的。为了获得准确的结果，应该抑制由后者引起的弱边缘。
若一定为边缘需要满足 ①当前值要大于低阈值。②当前值得soble梯度方向下，要大于两边soble梯度方向的点的值 。③ 若当前值还大于最大阈值，且图像上前一个和上一个点没有入栈，则入栈。置为2，其他的置为0；（0可能为边缘，1 一定不是边缘，2 一定为边缘。）
5、 边缘跟踪
在栈中的点一定为边缘，从栈不断中取出点，判断点的8个方向上，是否存在可能为边缘的点，若存在，就认定，这个可能为边缘的点置为一定为边缘，加入栈中。
注：在OpenCV的canny源码中，没有进行高斯滤波，需要使用者自行滤波；有些资料将非极大值抑制和滞后阈值视为两个步骤也是可行的，但是在源码中非极大值抑制 和滞后阈值是同时进行的。
Opencv源码解析
void cv::Canny( InputArray _src, OutputArray _dst,
double low_thresh, double high_thresh,
int aperture_size, bool L2gradient )
{
Mat src = _src.getMat(); //输入图像，必须为单通道灰度图
CV_Assert( src.depth() == CV_8U ); // 8位无符号
_dst.create(src.size(), CV_8U); //根据src的大小构造目标矩阵dst
Mat dst = _dst.getMat(); //输出图像，为单通道黑白图
// low_thresh 表示低阈值， high_thresh表示高阈值
// aperture_size 表示算子大小，默认为3
// L2gradient计算梯度幅值的标识，默认为false
// 如果L2gradient为false 并且 apeture_size的值为-1（-1的二进制标识为：1111 1111）
// L2gradient为false 则计算sobel导数时，用G = |Gx|+|Gy|
// L2gradient为true 则计算sobel导数时，用G = Math.sqrt((Gx)^2 + (Gy)^2) 根号下 开平方
if (!L2gradient && (aperture_size & CV_CANNY_L2_GRADIENT) == CV_CANNY_L2_GRADIENT)
{
// CV_CANNY_L2_GRADIENT 宏定义其值为： Value = (1<<31) 1左移31位 即2147483648
//backward compatibility
// ~标识按位取反
aperture_size &= ~CV_CANNY_L2_GRADIENT;//相当于aperture_size取绝对值
L2gradient = true;
}
// 判别条件1：aperture_size是奇数
// 判别条件2: aperture_size的范围应当是[3,7], 默认值3
if ((aperture_size & 1) == 0 || (aperture_size != -1 && (aperture_size < 3 || aperture_size > 7)))
CV_Error(CV_StsBadFlag, ""); // 报错
if (low_thresh > high_thresh) // 如果低阈值 > 高阈值
std::swap(low_thresh, high_thresh); // 则交换低阈值和高阈值
#ifdef HAVE_TEGRA_OPTIMIZATION
if (tegra::canny(src, dst, low_thresh, high_thresh, aperture_size, L2gradient))
return;
#endif
#ifdef USE_IPP_CANNY
if( aperture_size == 3 && !L2gradient &&
ippCanny(src, dst, (float)low_thresh, (float)high_thresh) )
return;
#endif
const int cn = src.channels(); // cn为输入图像的通道数
Mat dx(src.rows, src.cols, CV_16SC(cn)); // 存储 x方向 方向导数的矩阵，CV_16SC(cn)：16位有符号cn通道
Mat dy(src.rows, src.cols, CV_16SC(cn)); // 存储 y方向 方向导数的矩阵，CV_16SC(cn)：16位有符号cn通道
/*Sobel参数说明：(参考cvSobel)
cvSobel(
const CvArr* src, // 输入图像
CvArr* dst, // 输入图像
int xorder， // x方向求导的阶数
int yorder， // y方向求导的阶数
int aperture_size = 3 // 滤波器的宽和高 必须是奇数
);
*/
// BORDER_REPLICATE 表示当卷积点在图像的边界时，原始图像边缘的像素会被复制，并用复制的像素扩展原始图的尺寸
// 计算x方向的sobel方向导数，计算结果存在dx中
Sobel(src, dx, CV_16S, 1, 0, aperture_size, 1, 0, cv::BORDER_REPLICATE);
// 计算y方向的sobel方向导数，计算结果存在dy中
Sobel(src, dy, CV_16S, 0, 1, aperture_size, 1, 0, cv::BORDER_REPLICATE);
//L2gradient为true时， 表示需要根号下开平方运算，阈值也需要平方
if (L2gradient)
{
low_thresh = std::min(32767.0, low_thresh); //有符号16位(2 个字节)的数值形式,其范围为 -32,768 到 32,767 之间
high_thresh = std::min(32767.0, high_thresh);
if (low_thresh > 0) low_thresh *= low_thresh; //低阈值平方运算
if (high_thresh > 0) high_thresh *= high_thresh; //高阈值平方运算
}
int low = cvFloor(low_thresh); // cvFloor返回不大于参数的最大整数值, 相当于取整
int high = cvFloor(high_thresh);
// ptrdiff_t 是C/C++标准库中定义的一个数据类型，signed类型，通常用于存储两个指针的差（距离），可以是负数
//减法运算的值为两个指针在内存中的距离（以数组元素的长度为单位，而非字节），因为可以减法运算的结果将除以数组元素类型的长度
// mapstep 用于存放
ptrdiff_t mapstep = src.cols + 2; // +2 表示左右各扩展一条边
// AutoBuffer 会自动分配一定大小的内存，并且指定内存中的数据类型是uchar
// 列数 +2 表示图像左右各自扩展一条边 （用于复制边缘像素，扩大原始图像）
// 行数 +2 表示图像上下各自扩展一条边
AutoBuffer<uchar> buffer((src.cols+2)*(src.rows+2) + cn * mapstep * 3 * sizeof(int));
int* mag_buf[3]; //定义一个大小为3的int型指针数组，
mag_buf[0] = (int*)(uchar*)buffer;
mag_buf[1] = mag_buf[0] + mapstep*cn;
mag_buf[2] = mag_buf[1] + mapstep*cn;
memset(mag_buf[0], 0, /* cn* */mapstep*sizeof(int));
uchar* map = (uchar*)(mag_buf[2] + mapstep*cn);
memset(map, 1, mapstep);
memset(map + mapstep*(src.rows + 1), 1, mapstep);
int maxsize = std::max(1 << 10, src.cols * src.rows / 10); // 2的10次幂 1024
std::vector<uchar*> stack(maxsize); // 定义指针类型向量，用于存地址
uchar **stack_top = &stack[0]; // 栈顶指针（指向指针的指针），指向stack[0], stack[0]也是一个指针
uchar **stack_bottom = &stack[0]; // 栈底指针 ，初始时 栈底指针 == 栈顶指针
// 梯度的方向被近似到四个角度之一 (0, 45, 90, 135 四选一)
/* sector numbers
(Top-Left Origin)
1 2 3
* * *
* * *
0*******0
* * *
* * *
3 2 1
*/
// define 定义函数块
// CANNY_PUSH(d) 是入栈函数， 参数d表示地址指针，让该指针指向的内容为2（int型强制转换成uchar型），并入栈，栈顶指针+1
// 2表示 像素属于某条边缘 可以看下方的注释
// CANNY_POP(d) 是出栈函数， 栈顶指针-1，然后将-1后的栈顶指针指向的值，赋给d
#define CANNY_PUSH(d) *(d) = uchar(2), *stack_top++ = (d)
#define CANNY_POP(d) (d) = *--stack_top
// calculate magnitude and angle of gradient, perform non-maxima suppression.
// fill the map with one of the following values:
// 0 - the pixel might belong to an edge 可能属于边缘
// 1 - the pixel can not belong to an edge 不属于边缘
// 2 - the pixel does belong to an edge 一定属于边缘
// for内进行非极大值抑制 + 滞后阈值处理
for (int i = 0; i <= src.rows; i++) // i 表示第i行
{
// i == 0 时，_norm 指向 mag_buf[1]
// i > 0 时， _norm 指向 mag_buf[2]
// +1 表示跳过每行的第一个元素，因为是后扩展的边，不可能是边缘
int* _norm = mag_buf[(i > 0) + 1] + 1;
if (i < src.rows)
{
short* _dx = dx.ptr<short>(i); // _dx指向dx矩阵的第i行
short* _dy = dy.ptr<short>(i); // _dy指向dy矩阵的第i行
if (!L2gradient) // 如果 L2gradient为false
{
for (int j = 0; j < src.cols*cn; j++) // 对第i行里的每一个值都进行计算
_norm[j] = std::abs(int(_dx[j])) + std::abs(int(_dy[j])); // 用||+||计算
}
else
{
for (int j = 0; j < src.cols*cn; j++)
//用平方计算,当 L2gradient为 true时，高低阈值都被平方了，所以此处_norm[j]无需开平方
_norm[j] = int(_dx[j])*_dx[j] + int(_dy[j])*_dy[j]; //
}
if (cn > 1) // 如果不是单通道
{
for(int j = 0, jn = 0; j < src.cols; ++j, jn += cn)
{
int maxIdx = jn;
for(int k = 1; k < cn; ++k)
if(_norm[jn + k] > _norm[maxIdx]) maxIdx = jn + k;
_norm[j] = _norm[maxIdx];
_dx[j] = _dx[maxIdx];
_dy[j] = _dy[maxIdx];
}
}
_norm[-1] = _norm[src.cols] = 0; // 最后一列和第一列的梯度幅值设置为0
//-1代表_norm内存地址的前一块，_norm指向的位置为mag_buf[(i > 0) + 1]位置后 + 1，因此_norm[-1]即为mag_buf[(i > 0) + 1]位置第一列
}
// 当i == src.rows （最后一行）时，申请空间并且每个空间的值初始化为0, 存储在mag_buf[2]中
else
memset(_norm-1, 0, /* cn* */mapstep*sizeof(int));
// at the very beginning we do not have a complete ring
// buffer of 3 magnitude rows for non-maxima suppression
if (i == 0)
continue;
uchar* _map = map + mapstep*i + 1; // _map 指向第 i+1 行，+1表示跳过该行第一个元素
_map[-1] = _map[src.cols] = 1; // 第一列和最后一列不是边缘，所以设置为1
int* _mag = mag_buf[1] + 1; // take the central row 中间那一行
ptrdiff_t magstep1 = mag_buf[2] - mag_buf[1];
ptrdiff_t magstep2 = mag_buf[0] - mag_buf[1];
const short* _x = dx.ptr<short>(i-1);
const short* _y = dy.ptr<short>(i-1);
// 如果栈的大小不够，则重新为栈分配内存（相当于扩大容量）
if ((stack_top - stack_bottom) + src.cols > maxsize)
{
int sz = (int)(stack_top - stack_bottom);
maxsize = maxsize * 3/2;
stack.resize(maxsize);
stack_bottom = &stack[0];
stack_top = stack_bottom + sz;
}
int prev_flag = 0; //前一个像素点 0：非边缘点 ；1：边缘点
//非极大值抑制(其实就是判断该坐标是否为最大值，当然要记得考虑方向)
//在每一点上，领域中心 x 与沿着其对应的梯度方向(左右、上下、对角线)的两个像素相比，
//若中心像素为最大值，则保留，否则中心置0，这样可以抑制非极大值，保留局部梯度最大的点，以得到细化的边缘。
for (int j = 0; j < src.cols; j++) // 第 j 列
{
#define CANNY_SHIFT 15
// tan22.5,,在后面的非极大值抑制中判断梯度方向 0.414...是（根号2 -1）=tan22.5的大小
const int TG22 = (int)(0.4142135623730950488016887242097*(1<<CANNY_SHIFT) + 0.5);
//如果梯度响应(即上面计算出来的norm)大于低阈值，则判断该坐标位置是否为最大梯度响应,否则直接标记为1，不是边缘.
int m = _mag[j];
if (m > low) // 如果大于低阈值
{
int xs = _x[j]; // dx中 第i-1行 第j列
int ys = _y[j]; // dy中 第i-1行 第j列
int x = std::abs(xs);
int y = std::abs(ys) << CANNY_SHIFT;
int tg22x = x * TG22;
//四个方向极大值判断，如果是极大值则进入__ocv_canny_push，进一步判断该点是边缘(标记为2)或者可能是边缘(标记为0)
if (y < tg22x) //角度小于22.5 用区间表示：[0, 22.5)
{
// 与左右两点的梯度幅值比较，如果比左右都大（此时当前点是左右邻域内的极大值），则 goto __ocv_canny_push 执行入栈操作
if (m > _mag[j-1] && m >= _mag[j+1]) goto __ocv_canny_push;
}
else //角度大于22.5
{
int tg67x = tg22x + (x << (CANNY_SHIFT+1)); //tan67.5=(根号2+1)=tan22.5+2
if (y > tg67x) //(67.5, 90)
{
//与上下两点的梯度幅值比较，如果比上下都大（此时当前点是左右邻域内的极大值），则 goto __ocv_canny_push 执行入栈操作
if (m > _mag[j+magstep2] && m >= _mag[j+magstep1]) goto __ocv_canny_push;
}
else //[22.5, 67.5]
{
// ^ 按位异或 如果xs与ys异号 则取-1 否则取1
int s = (xs ^ ys) < 0 ? -1 : 1;
//比较对角线邻域
if (m > _mag[j+magstep2-s] && m > _mag[j+magstep1+s]) goto __ocv_canny_push;
}
}
}
//比当前的梯度幅值低阈值还低，直接被确定为非边缘
prev_flag = 0;
_map[j] = uchar(1); // 1 表示不属于边缘
continue;
//梯度响应大于大阈值，且左侧和上侧都不是已确定的边缘(标记为2)时，才确定为边缘否则标记为可能边缘-0
__ocv_canny_push:
// 前一个点不是边缘点 并且 当前点的幅值大于高阈值（大于高阈值被视为边缘像素） 并且 正上方的点不是边缘点
if (!prev_flag && m > high && _map[j-mapstep] != 2)
{
//将当前点的地址入栈，入栈前，会将该点地址指向的值设置为2（查看上面的宏定义函数块里）
CANNY_PUSH(_map + j);
prev_flag = 1;
}
else
_map[j] = 0;
}
// scroll the ring buffer
// 交换指针指向的位置，向上覆盖，把mag_[1]的内容覆盖到mag_buf[0]上
// 把mag_[2]的内容覆盖到mag_buf[1]上
// 最后 让mag_buf[2]指向_mag指向的那一行
_mag = mag_buf[0];
mag_buf[0] = mag_buf[1];
mag_buf[1] = mag_buf[2];
mag_buf[2] = _mag;
}
// now track the edges (hysteresis thresholding)
// 通过上面的for循环，确定了各个邻域内的极大值点为边缘点（标记为2）
// 现在，在这些边缘点的8邻域内（上下左右+4个对角）,将可能的边缘点（标记为0）确定为边缘
//三.边缘跟踪
//可简单理解为：在已确定为边缘点(标记为2)的8个邻域上，将可能是边缘的点(标记为0)，判断为边缘(0->2).
while (stack_top > stack_bottom)
{
uchar* m;
if ((stack_top - stack_bottom) + 8 > maxsize)
{
int sz = (int)(stack_top - stack_bottom);
maxsize = maxsize * 3/2;
stack.resize(maxsize);
stack_bottom = &stack[0];
stack_top = stack_bottom + sz;
}
CANNY_POP(m); // 出栈
//如果该边缘点8个邻域上的点是可能边缘(标记为0)，则判断其为边缘，重新标记为2.
if (!m[-1]) CANNY_PUSH(m - 1);
if (!m[1]) CANNY_PUSH(m + 1);
if (!m[-mapstep-1]) CANNY_PUSH(m - mapstep - 1);
if (!m[-mapstep]) CANNY_PUSH(m - mapstep);
if (!m[-mapstep+1]) CANNY_PUSH(m - mapstep + 1);
if (!m[mapstep-1]) CANNY_PUSH(m + mapstep - 1);
if (!m[mapstep]) CANNY_PUSH(m + mapstep);
if (!m[mapstep+1]) CANNY_PUSH(m + mapstep + 1);
}
//四.根据标记值0,1,2生成边缘。生成边缘图
const uchar* pmap = map + mapstep + 1;
uchar* pdst = dst.ptr();
for (int i = 0; i < src.rows; i++, pmap += mapstep, pdst += dst.step)
{
//标记0: (uchar)-(0>>1)等于0
//标记1：(uchar)-(1>>1)也等于0
//标记2：(uchar)-(2>>1)=uchar(-1)=255
//边缘像素值全部是255，非边缘全部是
for (int j = 0; j < src.cols; j++)
pdst[j] = (uchar)-(pmap[j] >> 1);
}
}
参考链接: http://www.opencv.org.cn/opencvdoc/2.3.2/html/doc/tutorials/imgproc/imgtrans/canny_detector/canny_detector.html
https://blog.csdn.net/piaoxuezhong/article/details/62217443