Opencv图像处理之详解掩膜mask
1.在OpenCV中我们经常会遇到一个名字:Mask(掩膜)。很多函数都使用到它，那么这个Mask到底什么呢？
2.如果我们想要裁剪图像中任意形状的区域时，应该怎么办呢？
答案是，使用掩膜(masking)。
我们先看一下掩膜的基础。图像的位运算。
图像基本运算
图像的基本运算有很多种，比如两幅图像可以相加、相减、相乘、相除、位运算、平方根、对数、绝对值等；图像也可以放大、缩小、旋转，还可以截取其中的一部分作为ROI（感兴趣区域）进行操作，各个颜色通道还可以分别提取及对各个颜色通道进行各种运算操作。总之，对于图像可以进行的基本运算非常的多，只是挑了些常用的操作详解。
-
void add(InputArray src1, InputArray src2, OutputArray dst,InputArray mask=noArray(), int dtype= -1); //dst = src1 + src2
-
void subtract(InputArray src1, InputArray src2, OutputArray dst,InputArray mask=noArray(), int dtype= -1); //dst = src1 - src2
-
void multiply(InputArray src1, InputArray src2,OutputArray dst, double scale=1, int dtype=-1); //dst = scale*src1*src2
-
void divide(InputArray src1, InputArray src2, OutputArray dst,double scale=1, int dtype=-1); //dst = scale*src1/src2
-
void divide(double scale, InputArray src2,OutputArray dst, int dtype=-1); //dst = scale/src2
-
void scaleAdd(InputArray src1, double alpha, InputArray src2, OutputArray dst); //dst = alpha*src1 + src2
-
void addWeighted(InputArray src1, double alpha, InputArray src2,double beta, double gamma, OutputArray dst, int dtype=-1); //dst = alpha*src1 + beta*src2 + gamma
-
void sqrt(InputArray src, OutputArray dst); //计算每个矩阵元素的平方根
-
void pow(InputArray src, double power, OutputArray dst); //src的power次幂
-
void exp(InputArray src, OutputArray dst); //dst = e**src（**表示指数的意思）
-
void log(InputArray src, OutputArray dst); //dst = log(abs(src))
上述的基本操作中都属于将基础数学运算应用于图像像素的处理中，下面将着重介绍
-
bitwise_and、bitwise_or、bitwise_xor、bitwise_not这四个按位操作函数。
-
void bitwise_and(InputArray src1, InputArray src2,OutputArray dst, InputArray mask=noArray()); //dst = src1 & src2
-
void bitwise_or(InputArray src1, InputArray src2,OutputArray dst, InputArray mask=noArray()); //dst = src1 | src2
-
void bitwise_xor(InputArray src1, InputArray src2,OutputArray dst, InputArray mask=noArray()); //dst = src1 ^ src2
-
void bitwise_not(InputArray src, OutputArray dst,InputArray mask=noArray()); //dst = ~src
bitwise_or是对二进制数据进行“或”操作，即对图像（灰度图像或彩色图像均可）每个像素值进行二进制“或”操作，1|1=1，1|0=0，0|1=0，0|0=0
bitwise_xor是对二进制数据进行“异或”操作，即对图像（灰度图像或彩色图像均可）每个像素值进行二进制“异或”操作，1^1=0,1^0=1,0^1=1,0^0=0
bitwise_not是对二进制数据进行“非”操作，即对图像（灰度图像或彩色图像均可）每个像素值进行二进制“非”操作，~1=0，~0=1
为了便于大家进一步理解，下面给出测试代码：
# opencv 图像的基本运算
# 导入库
import numpy as np
import argparse
import cv2
# 构建参数解析器
ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", required=True, help="Path to the image")
args = vars(ap.parse_args())
# 加载图像
image = cv2.imread(args["image"])
cv2.imshow("image loaded", image)
# 创建矩形区域，填充白色255
rectangle = np.zeros(image.shape[0:2], dtype="uint8")
cv2.rectangle(rectangle, (25, 25), (275, 275), 255, -1) # 修改这里
cv2.imshow("Rectangle", rectangle)
# 创建圆形区域，填充白色255
circle = np.zeros(image.shape[0:2], dtype="uint8")
cv2.circle(circle, (150, 150), 150, 255, -1) # 修改
cv2.imshow("Circle", circle)
# 在此例（二值图像）中，以下的0表示黑色像素值0, 1表示白色像素值255
# 位与运算，与常识相同，有0则为0, 均无0则为1
bitwiseAnd = cv2.bitwise_and(rectangle, circle)
cv2.imshow("AND", bitwiseAnd)
cv2.waitKey(0)
# 非运算，非0为1, 非1为0
bitwiseNot = cv2.bitwise_not(circle)
cv2.imshow("NOT", bitwiseNot)
cv2.waitKey(0)
# 或运算，有1则为1, 全为0则为0
bitwiseOr = cv2.bitwise_or(rectangle, circle)
cv2.imshow("OR", bitwiseOr)
cv2.waitKey(0)
# 异或运算，不同为1, 相同为0
bitwiseXor = cv2.bitwise_xor(rectangle, circle)
cv2.imshow("XOR", bitwiseXor)
cv2.waitKey(0)
可以看到，原图是一张星空夜景图。
效果如下：
为了便于展示，后面我只截取部分区域效果：
掩膜（mask）
在有些图像处理的函数中有的参数里面会有mask参数，即此函数支持掩膜操作，首先何为掩膜以及有什么用，如下：
数字图像处理中的掩膜的概念是借鉴于PCB制版的过程，在半导体制造中，许多芯片工艺步骤采用光刻技术，用于这些步骤的图形“底片”称为掩膜（也称作“掩模”），其作用是：在硅片上选定的区域中对一个不透明的图形模板遮盖，继而下面的腐蚀或扩散将只影响选定的区域以外的区域。
图像掩膜与其类似，用选定的图像、图形或物体，对处理的图像（全部或局部）进行遮挡，来控制图像处理的区域或处理过程。
数字图像处理中,掩模为二维矩阵数组,有时也用多值图像，图像掩模主要用于：
①提取感兴趣区,用预先制作的感兴趣区掩模与待处理图像相乘,得到感兴趣区图像,感兴趣区内图像值保持不变,而区外图像值都为0。
②屏蔽作用,用掩模对图像上某些区域作屏蔽,使其不参加处理或不参加处理参数的计算,或仅对屏蔽区作处理或统计。
③结构特征提取,用相似性变量或图像匹配方法检测和提取图像中与掩模相似的结构特征。
④特殊形状图像的制作。
在所有图像基本运算的操作函数中，凡是带有掩膜（mask）的处理函数，其掩膜都参与运算（输入图像运算完之后再与掩膜图像或矩阵运算）。
掩膜实例
如开篇所提问题2,要对一幅图进行抠图(裁剪)操作，这就要用到Mask了，那么就以抠图为例，解释Mask在里面的作用。同样以上图为例，从原图中裁剪小树。
我们利用OR结果(其他结果也行)，修改调整后，
代码如下：
# opencv 图像的基本运算
# 导入库
import numpy as np
import argparse
import cv2
# 构建参数解析器
ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", required=True, help="Path to the image")
args = vars(ap.parse_args())
# 加载图像
image = cv2.imread(args["image"])
cv2.imshow("image loaded", image)
# 创建矩形区域，填充白色255
rectangle = np.zeros(image.shape[0:2], dtype="uint8")
cv2.rectangle(rectangle, (360, 348), (660, 570), 255, -1) # 修改这里
cv2.imshow("Rectangle", rectangle)
# 创建圆形区域，填充白色255
circle = np.zeros(image.shape[0:2], dtype="uint8")
cv2.circle(circle, (520, 455), 140, 255, -1) # 修改
cv2.imshow("Circle", circle)
'''
# 在此例（二值图像）中，以下的0表示黑色像素值0, 1表示白色像素值255
# 位与运算，与常识相同，有0则为0, 均无0则为1
bitwiseAnd = cv2.bitwise_and(rectangle, circle)
cv2.imshow("AND", bitwiseAnd)
cv2.waitKey(0)
# 非运算，非0为1, 非1为0
bitwiseNot = cv2.bitwise_not(circle)
cv2.imshow("NOT", bitwiseNot)
cv2.waitKey(0)
# 异或运算，不同为1, 相同为0
bitwiseXor = cv2.bitwise_xor(rectangle, circle)
cv2.imshow("XOR", bitwiseXor)
cv2.waitKey(0)
'''
# 或运算，有1则为1, 全为0则为0
bitwiseOr = cv2.bitwise_or(rectangle, circle)
cv2.imshow("OR", bitwiseOr)
cv2.waitKey(0)
# 使用mask
mask = bitwiseOr
cv2.imshow("Mask", mask)
# Apply out mask -- notice how only the person in the image is cropped out
masked = cv2.bitwise_and(image, image, mask=mask)
cv2.imshow("Mask Applied to Image", masked)
cv2.waitKey(0)结果展示：
简单说就是：
- 与或非异或运算与我们的常识类似。
- 掩膜操作就是两幅图像(numpy数组)的位运算操作。
附录：C++ 版
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include
#include
using namespace std;
using namespace cv;
int main()
{
Mat image, mask;
Rect r1(100, 100, 250, 300);
Mat img1, img2, img3, img4;
image = imread("lol17.jpg");
mask = Mat::zeros(image.size(), CV_8UC1);
mask(r1).setTo(255);
img1 = image(r1);
image.copyTo(img2, mask);
image.copyTo(img3);
img3.setTo(0, mask);
imshow("Image sequence", image);
imshow("img1", img1);
imshow("img2", img2);
imshow("img3", img3);
imshow("mask", mask);
waitKey();
return 0;
} 原始图：
注意程序中的这两句关于Mask的操作。
mask = Mat::zeros(image.size(), CV_8UC1);
mask(r1).setTo(255); //r1是设置好的感兴趣区域解释一下上面两句的操作。
- 第一步建立与原图一样大小的mask图像，并将所有像素初始化为0，因此全图成了一张全黑色图。
- 第二步将mask图中的r1区域的所有像素值设置为255,也就是整个r1区域变成了白色。
这样就能得到Mask图像了。
注意这句，哪个图像拷贝到哪个图像？
image.copyTo(img2, mask);当然是原始图image拷贝到目的图img2上。
其实拷贝的动作完整版本是这样的：
原图(image)与掩膜(mask)进行与运算后得到了结果图（img2）。
何为图与掩膜的与运算？
其实就是原图中的每个像素和掩膜中的每个对应像素进行与运算。比如1 & 1 = 1；1 & 0 = 0；
比如一个3 * 3的图像与3 * 3的掩膜进行运算，得到的结果图像就是：
说白了，mask就是位图啊，来选择哪个像素允许拷贝，哪个像素不允许拷贝。如果mask像素的值是非0的，我就拷贝它，否则不拷贝。
因为我们上面得到的mask中，感兴趣的区域是白色的，表明感兴趣区域的像素都是非0，而非感兴趣区域都是黑色，表明那些区域的像素都是0。一旦原图与mask图进行与运算后，得到的结果图只留下原始图感兴趣区域的图像了。也正如下图所示。
image.copyTo(img2, mask);
如果想要直接抠出目标区域，直接这样写就OK了：
img1 = image(r1);
参考文献：
1.https://www.cnblogs.com/skyfsm/p/6894685.html