02- OpenCV绘制图形及图像算术变换 (OpenCV系列) (机器视觉)

知识重点

• OpenCV用的最多的色彩空间是HSV. 方便OpenCV做图像处理
• img2 = img.view()     # 浅拷贝
• img3 = img.copy()    # 深拷贝
• split(mat) 分割图像的通道: b, g, r = cv2.split(img)      # b, g, r 都是数组
• merge((ch1, ch2, ch3)) 融合多个通道
• cvtColor(img, colorspace): 颜色转换的关键API
• cv2.line(img, pt1, pt2, color, thickness, lineType, shift) 画直线

• cv2.rectangle()  画矩形

• cv2.circle()  画圆

• cv2.ellipse() 画椭圆

• 绘制中文 opencv本身不支持, 因为没有中文字体.我们可以借助pillow来实现绘制中文

• new_img = cv2.add(new_cat, dog)  图像的加法运算, 图片大小需要一致

• new_img = cv2.subtract(new_cat, dog) 图像的减法运算

• cv2.imshow('img', np.hstack((new_cat, dog, new_img)))    # 图片显示

• cv2.addWeighted(src1, alpha, src2, beta, gamma)     # 图像融合

• bitwise_not(img) 非操作的效果就相当于是用 [255 - img]

---

2. OpenCV基础知识和绘制图形

2.1 OpenCV的色彩空间

• 最常见的色彩空间就是RGB, 人眼也是基于RGB的色彩空间去分辨颜色的.
• OpenCV默认使用的是BGR. BGR和RGB色彩空间的区别在于图片在色彩通道上的排列不同.
• 显示图片的时候需要注意适配图片的色彩空间和显示环境的色彩空间.比如传入的图片是BGR色彩空间, 显示环境是RBG空间, 就会出现颜色混乱的情况.

2.1.1 HSV, HSL和YUV

• OpenCV用的最多的色彩空间是HSV.

• Hue: 色相, 即色彩, 如红色, 蓝色. 用角度度量，取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°,蓝色为240°

• Saturation: 饱和度, 表示颜色接近光谱色的程度。一种颜色，可以看成是某种光谱色与白色混合的结果。其中光谱色所占的比例愈大，颜色接近光谱色的程度就愈高，颜色的饱和度也就愈高。饱和度高，颜色则深而艳。光谱色的白光成分为0，饱和度达到最高。通常取值范围为0%～100%，值越大，颜色越饱和。

• Value: 明度. 明度表示颜色明亮的程度，对于光源色，明度值与发光体的光亮度有关；对于物体色，此值和物体的透射比或反射比有关。通常取值范围为0%（黑）到100%（白）。

                          

 为什么要使用HSV?

• 方便OpenCV做图像处理. 比如根据hue的值就可以判断背景颜色.

HSL和HSV差不多:  Hue: 色相， Saturation: 饱和度， Lightness: 亮度,  H(色相)完全一致, 但二者的S(饱和度)不一样, L和B(明度)也不一样 。

YUV，是一种颜色编码方法。常使用在各个视频处理组件中。 YUV在对照片或视频编码时，考虑到人类的感知能力，允许降低色度的带宽。“Y”表示明亮度，也就是灰阶值，“U”和“V”表示的则是色度，作用是描述影像色彩及饱和度，用于指定像素的颜色。最大的优点在于只需占用极少的带宽。

2.1.2 色彩空间的转换

• cvtColor(img, colorspace): 颜色转换的关键API

import cv2
def callback(value):
    pass

cv2.namedWindow('color', cv2.WINDOW_NORMAL)
cv2.resizeWindow('mouse', 640, 480)
img = cv2.imread('./cat.jpeg')

# 常见的颜色空间转换
colorspaces = [cv2.COLOR_BGR2RGBA, cv2.COLOR_BGR2BGRA, 
               cv2.COLOR_BGR2GRAY, cv2.COLOR_BGR2HSV, 
               cv2.COLOR_BGR2YUV]
cv2.createTrackbar('curcolor', 'color', 0, 4, callback)

while True:
    index = cv2.getTrackbarPos('curcolor', 'color')
    #颜色空间转换API
    cvt_img = cv2.cvtColor(img, colorspaces[index])
    cv2.imshow('color', cvt_img)
    key = cv2.waitKey(10)
    if key & 0xFF == ord('q'):
        break

cv2.destroyAllWindows()

2.2 OpenCV的重要数据结构--Mat

• Mat 是OpenCV在C++语言中用来表示图像数据的一种数据结构.在python中转化为numpy的ndarray .
• Mat由header和data组成, header中记录了图片的维数, 大小, 数据类型等数据 .
• 在python中Mat数据对应numpy的ndarray, 使用numpy提供的深浅拷贝方法即可实现Mat的拷贝

import cv2
import numpy as np

img = cv2.imread('./cat.jpeg')

img2 = img.view()  # 浅拷贝
img3 = img.copy()  # 深拷贝
img[10:100, 10:100] = [0, 0, 255]

cv2.imshow('img', img)
cv2.imshow('img2', img2)
cv2.imshow('img3', img3)

cv2.waitKey(0)
cv2.destroyAllWindows()

• split(mat) 分割图像的通道: b, g, r = cv2.split(img)      # b, g, r 都是数组
• merge((ch1, ch2, ch3)) 融合多个通道 .

import cv2
import numpy as np

img = np.zeros((480, 640, 3), np.uint8)
b,g,r = cv2.split(img)
b[10:100, 10:100] = 255
g[10:100, 10:100] = 255

img2 = cv2.merge((b, g, r))
cv2.imshow('img', img)
cv2.imshow('b', b)
cv2.imshow('g', g)
cv2.imshow('img2', img2)

cv2.waitKey(0)
cv2.destroyAllWindows()

2.3 绘制图形

利用OpenCV提供的绘制图形API可以轻松在图像上绘制各种图形, 比如直线, 矩形, 圆, 椭圆等图形.

• cv2.line(img, pt1, pt2, color, thickness, lineType, shift) : 画直线

  • img: 在哪个图像上画线

  • pt1, pt2: 开始点, 结束点. 指定线的开始与结束位置

  • color: 颜色

  • thickness: 线宽

  • lineType: 线型.线型为-1, 4, 8, 16, 默认为8

  • shift: 坐标缩放比例 .

• rectangle() 参数同上 画矩形

• circle(img, center, radius, color[, thickness[, lineType[, shift]]]) 括号内参数表示可选参数. 画圆

• ellipse(img, 中心点, 长宽的一半, 角度, 从哪个角度开始, 从哪个角度结束,...) 画椭圆

• polylines(img, pts, isClosed, color[, thickness[, lineType[, shift]]]) 画多边形

• fillPoly 填充多边形

• putText(img, text, org, fontFace, fontScale, color[, thickness[, lineType[, bottomLeftOrigin]]]) 绘制文本

  • text 要绘制的文本

  • org 文本在图片中的左下角坐标

  • fontFace 字体类型即字体

  • fontScale 字体大小

import cv2
import numpy as np

img = np.zeros((480, 640, 3), np.uint8)
# cv2.line(img, (10, 20), (300, 400), (0, 0, 255), 5, 4)
# cv2.line(img, (80, 100), (380, 480), (0, 0, 255), 5, 16)

# 画矩形
# cv2.rectangle(img, (10,10), (100, 100), (0, 0, 255), -1)

# 画圆
# cv2.circle(img, (320, 240), 100, (0, 0, 255))
# cv2.circle(img, (320, 240), 5, (0, 0, 255), -1)

# 画椭圆
# cv2.ellipse(img, (320, 240), (100, 50), 15, 0, 360, (0, 0, 255), -1)

#画多边形
# pts = np.array([(300, 10), (150, 100), (450, 100)], np.int32)
# cv2.polylines(img, [pts], True, (0, 0, 255))

#填充多边形
# cv2.fillPoly(img, [pts], (255, 255, 0))
cv2.putText(img, "Hello OpenCV!", (10, 400), cv2.FONT_HERSHEY_TRIPLEX, 3, (255,0,0))
cv2.imshow('draw', img)
cv2.waitKey(0)
cv2.destroyAllWindows()

• 绘制中文 opencv本身不支持, 因为没有中文字体.我们可以借助pillow来实现绘制中文

# 安装pillow
import cv2
import numpy as np
from PIL import ImageFont, ImageDraw, Image

img = np.full((200, 200, 3), fill_value=255, dtype=np.uint8)
# 导入字体文件. 
font_path = 'msyhbd.ttc'
font = ImageFont.truetype(font_path, 15)
img_pil = Image.fromarray(img)
draw = ImageDraw.Draw(img_pil)
draw.text((10, 150), '绘制中文', font=font, fill=(0, 255, 0, 0))
img = np.array(img_pil)

# 中文会显示问号
cv2.putText(img, '中文', (10, 100), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0), 1)

cv2.imshow('img', img)
cv2.waitKey(0)
cv2.destroyAllWindows()

3.图像的算术与位运算

3.1 图像的算术运算

3.1.1 图像的加法运算

• add()    opencv使用add来执行图像的加法运算
• 图片就是矩阵, 图片的加法运算就是矩阵的加法, 要求加法运算的两张图shape必须是相同的.

# 加法运算
import cv2
import numpy as np

# 读取图片
cat = cv2.imread('./cat.jpeg')
dog = cv2.imread('./dog.jpeg')
print('原图大小：',cat.shape,dog.shape)  # 原图大小： (480, 640, 3) (360, 499, 3)

# 图像相加,加法操作需要两张图片大小一致，通道数一致
# 可以通过ndarray 的切片方式取出相同的形状
# 猫更大一些，从猫里面切出狗图片大小
new_cat = cat[:360, :499]
print(new_cat.shape)
new_img = cv2.add(new_cat,dog)
cv2.imshow('img', np.hstack((new_cat, dog, new_img)))

# cv2.imshow('new_img:',new_img)
cv2.waitKey(0)
cv2.destroyAllWindows()

# 图片和单个数字相加进行运算
# 每个和100 进行加法运算， 超出255 的数字， 会被截断， 相当于 n% 256

import cv2
dog = cv2.imread('./dog.jpeg')
dog += 10
cv2.imshow('dog', dog)

cv2.waitKey(0)
cv2.destroyAllWindows()

         

3.1.2 图像的减法运算

• subtract()

• opencv使用subtract来执行减法运算, 图像对应位置的元素相减, 如果减完小于0, 统一变成0.

# 减法运算
import cv2
import numpy as np

# 读取图片
cat = cv2.imread('./cat.jpeg')
dog = cv2.imread('./dog.jpeg')
print('原图大小：',cat.shape,dog.shape)

# 图像相加,加法操作需要两张图片大小一致，通道数一致
# 可以通过ndarray 的切片方式取出相同的形状
# 猫更大一些，从猫里面切出狗图片大小
new_cat = cat[:360, :499]
print(new_cat.shape)

# 减法 subtract
new_img = cv2.subtract(new_cat,dog)

# 乘法 multiply
# new_img = cv2.multiply(new_cat,dog)

# 除法 divide
# new_img = cv2.divide(new_cat,dog)

cv2.imshow('img', np.hstack((new_cat, dog, new_img)))
cv2.waitKey(0)
cv2.destroyAllWindows()

3.1.3 图像的融合

• cv2.addWeighted(src1, alpha, src2, beta, gamma)

• 图片的融合操作相当于对图片进行线性运算 w1* x1 + w2 * x2 + b. 其中alpha是第一个权重参数, beta是第二个权重参数, gamma是偏差.

# 图像的融合 不是简单的加法，相当于简单的线性运算
import cv2
import numpy as np

# 读取图片
cat = cv2.imread('./cat.jpeg')
dog = cv2.imread('./dog.jpeg')

new_cat = cat[0:360, 0:499]
new_img = cv2.addWeighted(new_cat, 0.3, dog, 0.8, 0)

cv2.imshow('img', np.hstack((new_cat, dog, new_img)))
cv2.waitKey(0)
cv2.destroyAllWindows()

3.2 OpenCV的位运算

3.2.1 非操作

• bitwise_not(img) 非操作的效果就相当于是用 255 - img

import cv2
import numpy as np

cat = cv2.imread('./cat.jpeg')
dog = cv2.imread('./dog.jpeg')
cat = cat[:360, :499]

cat_not = cv2.bitwise_not(cat)
cat_not_not = cv2.bitwise_not(cat_not)
cv2.imshow('not', np.hstack((cat, cat_not, cat_not_not)))
print(cat[:3, :3])
print(cat_not[:3, :3])
print(cat_not_not[:3, :3])
      
cv2.waitKey(0)
cv2.destroyAllWindows()

3.2.2 与运算

• bitwise_and(img1, img2) 与运算, 图片对应位置元素进行与操作. 表现出来的效果就是黑和黑与还是黑, 白和白与还是白.  # 先转换为二进制，再进行或运算, 值变小(都为1 为1，同时满足)

import cv2
import numpy as np
# 读取图片
cat = cv2.imread('./cat.jpeg')
dog = cv2.imread('./dog.jpeg')

# 与操作
new_cat = cat[0:360, 0:499]
# 两个图片对应位置进行与操作
cat_and = cv2.bitwise_and(new_cat, dog)

# 结果显示
cv2.imshow('and', np.hstack(((new_cat, cat_and))))
cv2.waitKey(0)
cv2.destroyAllWindows()

        

3.2.3 或和异或

• bitwise_or 或运算 对应元素做或运算

• bitwise_xor 异或运算 对应元素做异或运算

import cv2
import numpy as np
# 读取图片
cat = cv2.imread('./cat.jpeg')
# dog = cv2.imread('./dog.jpeg')

new_cat = cat[0:360, 0:499]
# 两个图片对应位置进行或操作
cat_xor = cv2.bitwise_xor(new_cat, dog)
cat_or = cv2.bitwise_or(new_cat, dog)

cv2.imshow('or', np.hstack(((new_cat, cat_or, cat_xor))))
cv2.waitKey(0)
cv2.destroyAllWindows()

 3.3 添加水印项目实例

• 将需要添加水印的元素图片在位置的值用 mask 遮住 .

# 1,引入图片
# 2,设计log
# 3，规划log位置\添加位置底色转换为黑色
# 4, 利用add操作
# 导入图片
import cv2
import numpy as np
dog = cv2.imread('./dog.jpeg')

# 创建log
logo = np.zeros((140, 140, 3), np.uint8)
# 绘制logo
logo[10:70, 10:70] = [0,0,255]
logo[70:130, 70:130] = [255, 0, 0]

# 掩码 ：mask
mask = np.zeros((140, 140), np.uint8)
mask[10:70, 10:70] = 255
mask[70:130, 70:130] = 255
m = cv2.bitwise_not(mask)

# 选择log添加位置
roi = dog[0:140, 0:140]
# roi 与m 进行与操作,先roi和roi 做与运算， 
# 然后结果再和 mask做与运算， 如果结果为true，显示原图
tmp = cv2.bitwise_and(roi, roi, mask = m)
dst = cv2.add(tmp, logo)

# 在dog 上还原
dog[:140, :140] = dst
cv2.imshow('dog', dog)
cv2.waitKey(0)
cv2.destroyAllWindows()

      

• 添加文字水印

import cv2
import numpy as np
from PIL import ImageFont, ImageDraw, Image

img = cv2.imread('./cat.jpeg')
font_path = 'simhei.ttf'
font = ImageFont.truetype(font_path, 30)
img_pil = Image.fromarray(img)
draw = ImageDraw.Draw(img_pil)
row, col, channel = img.shape
draw.text((col-160, row-80), '弑神不弑神', font=font, fill=(255, 255, 255, 255))
img_logo = np.array(img_pil)

cv2.imshow('img_logo', img_logo)
cv2.waitKey(0)
cv2.destroyAllWindows()