【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取

补充知识:

1. 卷积与图像去噪

  • 对图像的卷积
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第1张图片
    其中的1/9就是卷积核(一个模板)
    在这里插入图片描述
  • 卷积的定义
    卷积核要进行180度旋转
    在这里插入图片描述
  • 卷积的性质
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第2张图片
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第3张图片
    边界填充(zero padding)
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第4张图片
  • 小结
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第5张图片
  • 卷积示例
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第6张图片
    平移操作
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第7张图片
    平滑效果
    在这里插入图片描述
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第8张图片
    锐化原理

    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第9张图片
  • 补充知识

平滑卷积存在的问题

【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第10张图片
要想实现这种效果,引入高斯卷积核

  • 高斯卷积核的
    在这里插入图片描述
    最后一步要做权值归一化,这样做的目的是不会对信号进行衰减也不会对信号进行加强。
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第11张图片
    设置高斯函数的标准差参数
    尺寸大小一样方差越大受到周围像素的影响越大
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第12张图片方差不变,模板卷积核尺寸越大那么平滑效果越好
    因为什么

【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第13张图片
【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第14张图片
高斯卷积核平均卷积核的效果对比【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第15张图片

  • 高斯卷积核的特性
    高频信息的意思就是与周边差异比较大的像素点,噪声就是一种高频,边缘也是高频

【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第16张图片
可分离性示例
【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第17张图片

  • 卷积操作的运算量
    把大模板分解为小模板级联,可以降低运算量
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第18张图片

2. 图像噪声与中值滤波器

噪声

2.1.高斯噪声

【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第19张图片
高斯去噪,
高斯噪声大的图像,就需要用大尺度的模板去噪效果更好
【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第20张图片

2.2 椒盐噪声

如图,利用高斯卷积核不能很好的去掉椒盐噪声,

  • 引入中值滤波器
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第21张图片
    中值滤波的效果
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第22张图片
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第23张图片

3. 边缘提取

在这里插入图片描述

  • 边缘的种类
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第24张图片
  • 边缘检测
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第25张图片
  • 图像求导
    在这里插入图片描述
    图像求导,对x求导,得出的是y方向的边
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第26张图片
  • 图像梯度
    在这里插入图片描述
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第27张图片
  • 噪声的影响以及解决方法
    对某一噪声图像进行求导,如下图,得到的求导结果是找不到边缘的
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第28张图片
    解决方法
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第29张图片
    优化
    中间的就是高斯偏导模板
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第30张图片
    在这里插入图片描述
    可以根据实际情况来设置高斯偏导卷积核的方差大小

高斯核与高斯一阶偏导核的对比
【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第31张图片

  • 引入问题
    边缘检测的目标
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第32张图片
    这是高斯偏导卷积核的结果,结果显示有些边很粗
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第33张图片

【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第34张图片
解决:引入非极大值抑制

【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第35张图片
在这里插入图片描述

  • 非极大值抑制
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第36张图片
    双阈值解决
    显示高阈值提取出主要边缘,然后低阈值边缘就是将主要边缘连接的细边缘留下,其他的删除
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第37张图片
    以上就是Canny边缘检测器
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第38张图片
    计算幅值是判断这条边是不是边缘

3. 纹理表示

【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第39张图片
怎样提取纹理呢?
【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第40张图片
在这里插入图片描述
【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第41张图片
基于卷积核组的图像表示
【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第42张图片

【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第43张图片

  • 示例
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第44张图片

  • 卷积核组的设计
    在这里插入图片描述
    常用卷积核组
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第45张图片
    实际的例子
    【计算机视觉与深度学习 北京邮电大学 鲁鹏 视频笔记】3. (补充知识)卷积、图像去噪、边缘提取_第46张图片
    这个例子中某一个点都有48维的向量,改向量中,如果某一值很大,说明这个点偏向于该卷积核的方向
    在这里插入图片描述

你可能感兴趣的:(深度学习,pytorch,神经网络)