opencv--python(三)图像处理之阈值/变换/降噪

1. 颜色空间转换: 需要cv2.cvtColor()，cv2.inRange() 等。

转换的方法经常用到的就两种：BGR↔Gray 和 BGR↔HSV。用到的函数是cv2.cvtColor(input_image，flag)，其中flag 就是转换类型。 (cv2.COLOR_BGR2GRAY和cv2.COLOR_BGR2HSV)

注意：在 OpenCV 的 HSV 格式中，H（色彩/色度）的取值范围是 [0，179]， S（饱和度）的取值范围 [0，255]，V（亮度）的取值范围 [0，255]。但是不同的软件使用的值可能不同。所以当你需要拿 OpenCV 的 HSV 值与其他软 件的 HSV 值进行对比时，一定要记得归一化！

应用：物体跟踪 ----我们知道怎样将一幅图像从 BGR 转换到 HSV 了，利用这一点来提取带有某个特定颜色的物体。在 HSV 颜色空间中要比在 BGR 空间中更容易表示一个特定颜色。在我们的程序中，我们要提取的是一个蓝色的物体。
步骤：
• 从视频中获取每一帧图像
• 将图像转换到 HSV 空间
• 设置 HSV 阈值到蓝色范围。
• 获取蓝色物体，我们还可以做其他任何我们想做的事，比如：在蓝色物体周围画一个圈。

import numpy as np
import cv2

cap = cv2.VideoCapture(0)
while (1):
    ret, frame = cap.read()    # 获取每一帧

    hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)    # 转换到HSV

    # 设定蓝色的阈值
    lower_blue = np.array([110, 50, 50])
    upper_blue = np.array([130, 255, 255])

    mask = cv2.inRange(hsv, lower_blue, upper_blue)    # 根据阈值构建掩模
    res = cv2.bitwise_and(frame, frame, mask=mask)    # 对原图像和掩模进行位运算

    # 显示图像
    cv2.imshow('frame', frame)
    cv2.imshow('mask', mask)
    cv2.imshow('res', res)
    k = cv2.waitKey(5) & 0xFF
    if k == 27:
        break

# 关闭窗口
cv2.destroyAllWindows()

2. 几何变化

1)扩展缩放: cv2.resize()
用于改变图像的尺寸大小。OpenCV 提供的函数 ,缩放时使用cv2.INTER_AREA， 在扩展时使用 v2.INTER_CUBIC（慢) 和 v2.INTER_LINEAR.

import cv2
import numpy as np
 
img=cv2.imread('messi5.jpg')

#法一：None 本应该是输出图像的尺寸，但是因为后边我们设置了缩放因子，因此这里为 None 
res=cv2.resize(img,None,fx=2,fy=2,interpolation=cv2.INTER_CUBIC) 

#法二：直接设置输出图像的尺寸，所以不用设置缩放因子
height,width=img.shape[:2]
res=cv2.resize(img,(2*width,2*height),interpolation=cv2.INTER_CUBIC)
while(1): 
	cv2.imshow('res',res)
	cv2.imshow('img',img)
	
	if cv2.waitKey(1) & 0xFF == 27: 
		break 
cv2.destroyAllWindows()

2)平移 :cv2.warpAffine()
3) 旋转 :：cv2.getRotationMatrix2D()

import cv2
import numpy as np
 
img=cv2.imread('messi5.jpg')
rows,cols=img.shape

M=cv2.getRotationMatrix2D((cols/2,rows/2),45,0.6)    #(旋转中心，旋转角度,缩放因子)
dst=cv2.warpAffine(img,M,(2*cols,2*rows))      #第三个参数是输出图片的大小
while(1):
	cv2.imshow("img",dst)
	if cv2.waitKey(5) & 0xFF == 27:
    	break    
cv2.destroyAllWindows()

4）仿射变换
在仿射变换中，原图中所有的平行线在结果图像中同样平行。为了创建这个矩阵我们需要从原图像中找到三个点以及他们在输出图像中的位置。然后 cv2.getAffineTransform()会创建一个 2x3 的矩阵，最后这个矩阵会被传给cv2.warpAffine()。

import cv2 
import numpy as np 
from matplotlib import pyplot as plt

img=cv2.imread('sudokusmall.png') 
rows,cols,ch=img.shape

pts1 = np.float32([[56,65],[368,52],[28,387],[389,390]]) 
pts2 = np.float32([[10,100],[200,50],[100,250]])

M=cv2.getAffineTransform(pts1,pts2)
dst=cv2.warpAffine(img,M,(cols,rows))

plt.subplot(121,plt.imshow(img),plt.title('Input')) 
plt.subplot(121,plt.imshow(img),plt.title('Output')) 
plt.show()

5)透视变化
对于视角变换，我们需要一个 3x3 变换矩阵。在变换前后直线还是直线。 要构建这个变换矩阵，需在输入图像上找 4 个点，以及他们在输出图像上对应的位置。这四个点中的任意三个都不能共线。变换矩阵由cv2.getPerspectiveTransform() 构建。然后把这个矩阵传给函数 cv2.warpPerspective()。

import cv2 
import numpy as np 
from matplotlib import pyplot as plt

img=cv2.imread('sudokusmall.png') 
rows,cols,ch=img.shape

pts1 = np.float32([[56,65],[368,52],[28,387],[389,390]]) 
pts2 = np.float32([[0,0],[300,0],[0,300],[300,300]])

M=cv2.getPerspectiveTransform(pts1,pts2)
dst=cv2.warpPerspective(img,M,(300,300))

plt.subplot(121,plt.imshow(img),plt.title('Input')) 
plt.subplot(121,plt.imshow(img),plt.title('Output')) 
plt.show()

3. 图像阈值

1)简单阈值（全局） ： cv2.threshhold()
但像素值高于阈值时，我们给这个像素 赋予一个新值（可能是白色），否则我们给它赋予另外一种颜色（也许是黑色）。 函数的第一个参数就是原图像，原图像应该是灰度图。第二个参数就是用来对像素值进行分类的阈值。第三个参数就是当像素值高于（有时是小于）阈值时应该被赋予的新的像素值，第四个是阈值方法。

import cv2 
import numpy as np 
from matplotlib import pyplot as plt

img=cv2.imread('sudokusmall.png') 
ret,thresh1=cv2.threshold(img,127,255,cv2.THRESH_BINARY) 
ret,thresh2=cv2.threshold(img,127,255,cv2.THRESH_BINARY_INV) 
ret,thresh3=cv2.threshold(img,127,255,cv2.THRESH_TRUNC) 
ret,thresh4=cv2.threshold(img,127,255,cv2.THRESH_TOZERO) 
ret,thresh5=cv2.threshold(img,127,255,cv2.THRESH_TOZERO_INV)

titles = ['Original Image','BINARY','BINARY_INV','TRUNC','TOZERO','TOZERO_INV'] 
images = [img, thresh1, thresh2, thresh3, thresh4, thresh5]

for i in xrange(6): 
	plt.subplot(2,3,i+1),plt.imshow(images[i],'gray')      #在一个窗口显示多张图片用plt.subplot()
	plt.title(titles[i]) 
	plt.xticks([]),plt.yticks([])
plt.show()

2)自适应阈值：cv2.adaptiveThreshold()
上面是全局阈值，整幅图像采用同一个数作为阈值。但当同一幅图像上的不同部分的具有不同亮度时需要采用自适应阈值，即在同一幅图像上的不同区域采用的是不同的阈值。

cv2.adaptiveThreshold()这种方法需要我们指定三个参数，返回值只有一个。
• Adaptive Method- 指定计算阈值的方法。
– cv2.ADPTIVE_THRESH_MEAN_C：阈值取自相邻区域的平均值
– cv2.ADPTIVE_THRESH_GAUSSIAN_C：阈值取值相邻区域的加权和，权重为一个高斯窗口。
• Block Size - 邻域大小（用来计算阈值的区域大小）。
• C - 这就是是一个常数，阈值就等于的平均值或者加权平均值减去这个常 数。

import cv2 
import numpy as np 
from matplotlib import pyplot as plt

img=cv2.imread('sudokusmall.png') 
img = cv2.medianBlur(img,5)    #中值滤波 

ret,th1 = cv2.threshold(img,127,255,cv2.THRESH_BINARY) 
#11 为 Block size, 2 为 C 值 
th2 = cv2.adaptiveThreshold(img,255,cv2.ADAPTIVE_THRESH_MEAN_C,cv2.THRESH_BINARY,11,2) 
th3 = cv2.adaptiveThreshold(img,255,cv2.ADAPTIVE_THRESH_GAUSSIAN_C,cv2.THRESH_BINARY,11,2)

titles = ['Original Image', 'Global Thresholding (v = 127)', 'Adaptive Mean Thresholding', 'Adaptive Gaussian Thresholding'] 
images = [img, th1, th2, th3]

for i in range(4): 
	plt.subplot(2,2,i+1),plt.imshow(images[i],'gray')      #在一个窗口显示多张图片用plt.subplot()
	plt.title(titles[i]) 
	plt.xticks([]),plt.yticks([])
plt.show()

3) Otsu’s 二值化
在使用全局阈值时，我们就是随便给了一个数来做阈值，那我们怎么知道我们选取的这个数的好坏呢？答案就是不停的尝试。如果是一副双峰图像（简单来说双峰图像是指图像直方图中存在两个峰）呢？我们岂不是应该在两个峰 之间的峰谷选一个值作为阈值？ Otsu 二值化要做的就是对一副双峰图像自动根据其直方图计算出一个阈值。（对于非双峰图像，这种方法 得到的结果可能会不理想）。
具体做法：用到到的函数还是 cv2.threshold()，但是需要多传入一个参数 （flag）：cv2.THRESH_OTSU。这时要把阈值设为 0。然后算法会找到最优阈值，这个最优阈值就是返回值 retVal。如果不使用 Otsu 二值化，返回的 retVal 值与设定的阈值相等。

例题：输入图像是一副带有噪声的图像。第一种方法，我们设 127 为全局阈值。第二种方法，我们直接使用 Otsu 二值化。第三种方法，我 们首先使用一个 5x5 的高斯核除去噪音，然后再使用 Otsu 二值化。


4.图像平滑
预先知识：2D卷积： cv.filter2D()
我们可以对 2D 图像实施低通滤波（LPF），高通滤波 （HPF）等。LPF 帮助我们去除噪音，模糊图像。HPF 帮助我们找到图像的边缘。

OpenCV 提供的函数 cv.filter2D() 可以让我们对一幅图像进行卷积操作。下面我们将对一幅图像使用平均滤波器。下面是一个 5x5 的平均滤波器核：

操作如下：将核放在图像的一个像素A上，求与核对应的图像上25（5x5） 个像素的和，在取平均数，用这个平均数替代像素 A 的值。重复以上操作直到 将图像的每一个像素值都更新一边。

import cv2 
import numpy as np 
from matplotlib import pyplot as plt

img = cv2.imread('opencv_logo.png')

kernel = np.ones((5,5),np.float32)/25     #定义一个 5x5 的平均滤波器核
dst = cv2.filter2D(img,-1,kernel)

plt.subplot(121),plt.imshow(img),plt.title('Original') 
plt.xticks([]), plt.yticks([]) 
plt.subplot(122),plt.imshow(dst),plt.title('Averaging') 
plt.xticks([]), plt.yticks([]) 
plt.show()

图像模糊（图像平滑）
使用低通滤波器可以达到图像模糊的目的。这对与去除噪音很有帮助，但边界也会被模糊一 点。（当然，也有一些模糊技术不会模糊掉边界）。OpenCV 提供了四种模糊技术：平均，高斯模糊，中值模糊，双边滤波 。

blur = cv2.blur(img,(5,5))     #平均
blur = cv2.GaussianBlur(img,(5,5),0)   #高斯模糊：根据 距离中心元素的距离递减，构成一个高斯小山包。高斯核的宽和高（必须是奇数）
median = cv2.medianBlur(img,5)        #中值模糊：用与卷积框对应像素的中值来替代中心像素的值，常用来去除椒盐噪声
blur = cv2.bilateralFilter(img,9,75,75)    #双边滤波：能在保持边界清晰的情况下有效的去除噪音，慢 

4. 图像梯度：cv2.Sobel()，cv2.Schar()，cv2.Laplacian()等
原理：梯度简单来说就是求导。 OpenCV 提供了三种不同的梯度滤波器/高通滤波器：Sobel， Scharr 和 Laplacian。 Sobel，Scharr 其实就是求一阶或二阶导数，Scharr 是对 Sobel的优化。Laplacian 是求二阶导数。

laplacian=cv2.Laplacian(img,cv2.CV_64F)   #cv2.CV_64F输出图像的深度（数据类型），可以使用 -1,与原图像保持一致np.uint8
sobelx=cv2.Sobel(img,cv2.CV_64F,1,0,ksize=5)   # 参数 1,0 为只在 x 方向求一阶导数，最大可以求2阶导数。
sobely=cv2.Sobel(img,cv2.CV_64F,0,1,ksize=5)  # 参数 0,1 为只在 y 方向求一阶导数，最大可以求 2 阶导数。

一个重要的事!
上述代码不知道你有没有注意到：当我们可以通过参 数 -1 来设定输出图像的深度（数据类型）与原图像保持一致，但是我们在代码中使用的却是 cv2.CV_64F。这是为什么呢？想象一下一个从黑（0）到白（255）的边界的导数是整数，而一个从白到黑的边界点导数却是负数。如果原图像的深度是 np.int8 时，所有的负值都会被截断变成 0，换句话说就是把边界丢失掉。 所以如果这两种边界你都想检测到，最好的的办法就是将输出的数据类型设置的更高，比如 cv2.CV_16S，cv2.CV_64F 等。取绝对值然后再把它转回 到 cv2.CV_8U。

5. 边缘检测： cv2.Canny()
步骤：
第一步去除噪声：使用 5x5 的高斯滤波器去除噪声。
第二步计算图像梯度：对平滑后的图像使用 Sobel 算子，计算水平方向和竖直方向的一阶导数
第三步非极大值抑制：对整幅图像做一个扫描，去除那些非边界上的点。对每一个像素进行检查，看这个点的梯度是不是周围具有相同梯 度方向的点中最大的。
第四步滞后阈值：确定哪些边界才是真正的边界。这时我们需要设置两个阈值： minVal 和 maxVal。

A 高于阈值 maxVal 所以是真正的边界点，C 虽然低于 maxVal 但高于 minVal 并且与 A 相连，所以也被认为是真正的边界点。而 B 就会被抛弃，因 为他不仅低于 maxVal 而且不与真正的边界点相连。

但是！！！在 OpenCV 中只需要一个函数：cv2.Canny()，就可以完成以上几步。函数的第一个参数是输入图像。第二和第三 个分别是 minVal 和 maxVal。第三个参数设置用来计算图像梯度的 Sobel 卷积核的大小，默认值为 3。最后一个参数是 L2gradient，它可以用来设定 求梯度大小的方程。

edges = cv2.Canny(img,100,200)