Android实验室CV培训

OpenCV

傅里叶变换（空间域 -> 频率域）

什么是傅里叶变换？

维基百科：

傅里叶变换（法语：Transformation de Fourier、英语：Fourier transform）是一种线性积分变换，用于信号在时域（或空域）和频域之间的变换，在物理学和工程学中有许多应用。因其基本思想首先由法国学者约瑟夫·傅里叶系统地提出，所以以其名字来命名以示纪念。实际上傅里叶变换就像化学分析，确定物质的基本成分；信号来自自然界，也可对其进行分析，确定其基本成分。

通俗的讲就是可以将任何具有周期性变换的函数分解为诸多个不同频率的三角函数的叠加

傅里叶变换

从频率的方向观察整个分解的三角函数

变换结果

傅里叶变换在图像处理中有什么作用？

1.图像增强与图像去噪

绝大部分噪音都是图像的高频分量，通过低通滤波器来滤除高频——噪声; 边缘也是图像的高频分量，可以通过添加高频分量来增强原始图像的边缘；

2.图像分割之边缘检测

提取图像高频分量

3.图像特征提取：

形状特征：傅里叶描述
纹理特征：直接通过傅里叶系数来计算纹理特征
其他特征：将提取的特征值进行傅里叶变换来使特征具有平移、伸缩、旋转不变性

4.图像压缩

可以直接通过傅里叶系数来压缩数据；常用的离散余弦变换是傅立叶变换的实变换；

垂直边缘检测

边缘是图像中灰度发生急剧变化的区域边界。图像当中存在有像素的跃变，而边缘检测的目的就是找到这些像素点。数字图像中求导是利用差分近似微分来进行的.

垂直边缘检测I.=png

首先要说的就是边缘检测算子

一阶导数算子

Roberts算子

Roberts算子是一种斜向偏差分的梯度计算方法，梯度的大小代表边缘的强度，梯度的方向与边缘的走向垂直,Roberts算子定位精度高，在水平和垂直方向的效果好,两个卷积核Gx、Gy分别为：

Roberts算子

Sobel算子

Sobel算子是一组方向算子，从不同的方向检测边缘。Sobel算子通常对灰度渐变和噪声较多的图像处理的比较好。两个卷积核Gx、Gy分别为：

Sobel算子

Prewitt算子

Prewitt算子是一种边缘样板算子，利用像素点上下左右邻点灰度差，在边缘处达到极值检测边缘，对噪声具有平滑的作用。两个卷积核Gx、Gy分别为：

Prewitt算子

二阶导数算子

Laplacian算子

拉普拉斯算子是一种常用的二阶导数算子。实际中可根据二阶导数算子过零点的性质来确定边缘的位置。常用的两种模板分别如图所示：

Laplacian算子

Canny算子
Canny算子把边缘检测问题转换为检测单位函数极大值的问题来考虑。而OpenCV提供了更加简便的Canny函数。

#include 
#include 
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
#include 
#include 

using namespace std;
using namespace cv;

int main(int argc, int argv)
{
    //载入图像
    Mat srcImage = imread("D:\\Desktop\\pic.jpg");
    if (srcImage.empty())
    {
        cout << "can not find the img" << endl;
    }
    //显示原始图
    imshow("【原图】Canny边缘检测", srcImage);
    Mat edge, greyImage; //参数定义

    //【1】将原图像转换为灰度图像
    cvtColor(srcImage, greyImage, CV_BGR2GRAY);

    //【2】先使用3×3内核来降噪
    blur(greyImage, edge, Size(3, 3));

    //【3】运行Canny算子
    Canny(edge, edge, 3, 9, 3);

    //【4】显示效果图
    imshow("均值滤波【效果图】", edge);

    waitKey(0); //等待任意按键按下
    return 0;
}

图像滤波

图像滤波，即在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制,即去掉无关的噪音，保留有用的信息

平滑 -- 去噪，例如剔除到图像上的一只鸟，根据周围两边的像素值计算一个近似值，换为均值，即对图像积分。
锐化 -- 将噪点变得更强，例如加强一只鸟的显示，将图像边缘的差值变得更大，即对图像进行微分。

滤波常用API

边缘检测
Sobel，拉普拉斯算子
图像去噪/平滑
GaussianBlur

中心差分


#include 
#include "opencv2/highgui/highgui.hpp"
#include 
#define WINDOW_NAME "【程序窗口】"

using namespace cv;
using namespace std;

int main(int argc, char **argv)
{
    Mat srcImage = imread("D:\\Desktop\\lena.jpg", 1); //读取图片
    cvtColor(srcImage, srcImage, COLOR_BGR2GRAY);      //转为灰度图像

    namedWindow("srcImage", WINDOW_AUTOSIZE); //新建窗口
    imshow("srcImage", srcImage);             //显示图像
    //waitKey(0);  //图像显示为一帧

    //由于中心差分的原因，输出图像比原始图象少了两列
    Mat dImage = Mat(srcImage.rows, srcImage.cols - 2, CV_8UC1);

    //循环遍历整个图像
    for (int i = 0; i < srcImage.rows; i++)
    {
        for (int j = 1; j < srcImage.cols - 1; j++)
        {
            //对整型数据类型进行运算,进行中心差分
            dImage.at(i, j - 1) = srcImage.at(i, j + 1) - srcImage.at(i, j - 1);
        }
    }
    namedWindow("dImage", WINDOW_AUTOSIZE); //处理后图像窗口
    imshow("dImage", dImage);               //显示处理后的图像

    waitKey(0); //图像显示为一帧
    return 0;
}

中型差分结果演示：

结果演示

高斯模糊

首先要清楚高斯模糊的原理是什么？

高斯模糊，听起来很高大上，但是其实是一门很基础的算法应用，普遍运用在Android及其他方面，高斯模糊之所以叫做高斯模糊，是因为它运用了概率统计上的正态分布(高斯分布)的密度函数，即：

正态分布(高斯分布)的密度函数

其中u是x的均值，σ是x的标准差，由于每次进行计算的时候都是以当前的点为原点，所以我们将u设为0，即化简为正态分布的一维方程：

正态分布的一维方程

正态分布的一维方程是一种山型图形，越靠近中间，取值越大，越远离中间，取值越小。

正态分布图示

而高斯模糊的原理就是将图像上各个点的像素值等效于其边缘的像素均值，并且这个均值不只是简单的平均值，而是加权平均值，即将中心点”看作正态分布的原点，其他值按照正态分布的值取权重，相加可得。将加权平均值应用到整个图像，就会产生模糊的效果。显然，二维的图像使用一维的正态分布是不合适的，因此我们要使用的是正态分布的二维方程，即：

正态分布二维函数方程

在二维上的图像：

正态分布二维图像

假如现在整个图像共有9个像素点,中心点为原点，并且令σ为1(标准正态分布)：

9个像素点

带入高斯公式当中，求出每位上的值：

取值

现在这九个像素值加起来等于4.8976，由于加权平均权值的和必须等于1，因此这九个像素值吗每个都必须都除以4.8976，得：

加权平均值

这样图像中的每个像素值都被加权平均化，与周围的像素点的像素差值变小，整个图像看起来更加柔和，更加模糊。

接着将该正态分布的权值放入卷积核当中，然后对整个图像进行卷积。卷积结束之后，高斯模糊就算是完成了。

什么是"卷积"？

其实卷积（Convolution）是图像处理中最基本的操作，就是一个二维矩阵A（MN）和一个二维矩阵B（mn）做若干操作，生成一个新的二维矩阵C（M*N），其中m和n远小于M和N，B称为卷积核（kernel），又称滤波器矩阵或模板。

卷积

卷积

而滤波器(卷积核)又分为很多种，一种是均值滤波器，中心原点加权值为0，周围元素值相等，并且和等于1，另一种就是我们现在用的高斯滤波器，高斯滤波器是均值滤波器的高级版本，唯一的区别在于，均值滤波器的卷积核的每个元素都相同，而高斯滤波器的卷积核的元素服从高斯分布。稍微介绍一下其他常用的滤波器：

图像锐化滤波器

即在边缘检测得基础上，将边缘检测得到的像素值再加到原图像上，使得整个图像的边缘显得更加锐化。也就是在边缘检测得卷积核基础上，中心再加1，接着再对图像进行卷积。

图像锐化滤波器小型卷积核

图像锐化滤波器大型卷积核

浮雕滤波器

浮雕滤波器浮雕滤波器可以给图像一种3D阴影的效果。只要将中心一边的像素减去另一边的像素就可以了。

浮雕滤波器小型卷积核

浮雕滤波器大型卷积核

A：原图像。B：锐化。C：边缘检测。D：浮雕

滤波器

那图像的模糊程度取决于什么？

1.取决于σ，也就是x的标准差。σ越大，整个图像的像素值就会变得更加平缓，也就是更模糊；而σ越小，整个图像的像素变化很小甚至基本不变，导致结果看不到高斯模糊。

取决于σ

2.取决于卷积核的大小，卷积核越大，中心点像素被周围像素(核越大使得这些周围的像素越远)权值化的就更加明显，图像也就更加模糊。

取决于卷积核的大小

取决于卷积核的大小

代码

导入头文件

#include 
#include "opencv2/highgui/highgui.hpp"
#include 
#define WINDOW_NAME "【程序窗口】"
#define PI 3.1415926

using namespace cv;
using namespace std;

调用摄像头

VideoCapture video(0);
while (true)
{
   Mat frame;//视频的每一帧
   video >> frame;  //将视频写入每一帧
   cvtColor(frame,frame,COLOR_RGB2GRAY);
   cvNamedWindow("frame", WINDOW_AUTOSIZE);
   imshow("frame",frame);
   waitKey(30);
}

高斯模糊 -- 卷积核进行实现

Mat srcImage = imread("D:\\Desktop\\lena.jpg", 1);  //读取图片
cvtColor(srcImage, srcImage,COLOR_BGR2GRAY);  //转为灰度图像

namedWindow("srcImage", WINDOW_AUTOSIZE);  //新建窗口
imshow("srcImage", srcImage);  //显示图像
//waitKey(0);  //图像显示为一帧

//由于中型差分的原因，输出图像比原始图象少了两列
Mat dImage = Mat(srcImage.rows,srcImage.cols - 2,CV_8UC1);

//循环遍历整个图像
for (int i = 0; i < srcImage.rows; i++)
{
    for (int j = 1; j < srcImage.cols - 1; j++)
    {
        //对整型数据类型进行运算,进行中型差分
        dImage.at(i, j - 1) = srcImage.at(i, j + 1) - srcImage.at(i, j - 1);
    }
}
namedWindow("dImage", WINDOW_AUTOSIZE);  //处理后图像窗口
imshow("dImage", dImage);  //显示处理后的图像

waitKey(0);  //图像显示为一帧

Mat srcImage = imread("D:\\Desktop\\lena.jpg", 1); //读取图片
cvtColor(srcImage, srcImage, COLOR_BGR2GRAY);      //转为灰度图像
namedWindow("srcImage", WINDOW_AUTOSIZE);          //新建窗口
imshow("srcImage", srcImage);                      //显示图像

/*高斯模糊*/

//5×5卷积模板
Mat model = Mat(5, 5, CV_64FC1);
double sigma = 80;  //超参数，根据经验所得
for (int i = - 2; i <= 2 ; i++)  //进行遍历
{
    for (int j = -2; j <= 2; j++)
    {
        //正态分布
        model.at(i + 2, j + 2) =
            exp(-(i * i + j * j) / (2 * sigma * sigma)) /
            (2 * PI * sigma * sigma);
    }
}

//归一化
double gaussSum = 0;
gaussSum = sum(model).val[0];  //卷积核 求和
for (int i = 0; i < model.rows; i++)
{
    for (int j = 0; j < model.cols; j++)
    {
        model.at(i, j) = model.at(i, j)
            / gaussSum;
    }
}

Mat dst = Mat(srcImage.rows - 4,srcImage.cols - 4,CV_8UC1);

//对整个图片进行遍历卷积
for (int i = 2; i < srcImage.rows - 2; i++)
{
    for (int j = 2; j < srcImage.cols - 2; j++)
    {
        double sum = 0;  //求和目标值
        for (int m = 0; m < model.rows; m++)
        {
            for (int n = 0; n < model.cols; n++)
            {
                sum += (double)srcImage.at(i + m - 2, j + n - 2) * 
                    model.at(m,n);  //对整个卷积核进行卷积
            }
        }
        dst.at(i - 2, j - 2) = (uchar)sum;  //结果赋值到dst图像当中
    }
}
namedWindow("gaussBlur", WINDOW_AUTOSIZE);
imshow("gaussBlur", dst);
waitKey(0); //图像显示为一帧

调用高斯模糊库函数 -- 一行代码实现

Mat dst = srcImage.clone();
//一行代码高斯模糊
GaussianBlur(srcImage, dst, Size(17, 17), 180);
namedWindow("gaussBlur", WINDOW_AUTOSIZE);
imshow("gaussBlur", dst);
waitKey(0); //图像显示为一帧

高斯模糊(5×5卷积核+sigma = 80)结果演示：

高斯模糊结果演示

参考

Android图像处理 - 高斯模糊的原理及实现
高斯模糊的原理是什么，怎样在界面中实现？
高斯模糊与图像卷积滤波一些知识点

2018Android实验室CV培训总结