Arduino案例实操 -- 智能巡防小车（二）OpenMV黑线检测

2.1 OpenMV简介

2.2 OpenMV详细参数

这两小节都有相关博文做过介绍，这里直接甩链接就好，减少文章篇幅
链接 → OpenMV新手上路1 – OpenMV简介、参数描述

2.3 OpenMV IDE安装

2.4 OpenMV Cam连接

同样的，甩博文链接
OpenMV新手上路2 – 驱动、IDE安装及简单使用(window环境)

2.5 OpenMV项目搭建

2.5.1 OpenMV工程新建

打开OpenMV IDE，点击左上角的“文件→新建文件”进行新的OpenMV项目创建。

创建成功后IDE页面将打开一个“untitled_1.py”文件，并带有OpenMV项目代码的初始代码（类似新建Arduino例程时的初始代码是setup()函数和loop()函数），初始代码运行的功能为初始化OpenMV传感器，并循环将传感器获取到的图像显示到IDE上，同时打印帧数。

2.5.2 OpenMV颜色识别相关函数

在智能巡防小车的项目中，OpenMV的主要功能是做黑线识别（即颜色识别）和坐标值发送，关于OpenMV的颜色识别功能，有以下几个知识点需要掌握。

find_blobs函数

追踪小球是OpenMV用得最多的功能，实质上是通过find_blobs函数去找到图像中的指定色块，即在OpenMV图像视野中分辨出需要查找的颜色。
接下来看一下find_blobs函数的细节：

image.find_blobs(thresholds, roi=Auto, x_stride=2, y_stride=1, invert=False, area_threshold=10, pixels_threshold=10, merge=False, margin=0, threshold_cb=None, merge_cb=None)

这里的参数比较多。

• thresholds是颜色的阈值，注意：这个参数是一个列表，可以包含多个颜色。如果你只需要一个颜色，那么在这个列表中只需要有一个颜色值，如果你想要多个颜色阈值，那这个列表就需要多个颜色阈值。注意：在返回的色块对象blob可以调用code方法，来判断是什么颜色的色块。

	red = (xxx,xxx,xxx,xxx,xxx,xxx)
	blue = (xxx,xxx,xxx,xxx,xxx,xxx)
	yellow = (xxx,xxx,xxx,xxx,xxx,xxx)
	
	img=sensor.snapshot()
	red_blobs = img.find_blobs([red])
	
	color_blobs = img.find_blobs([red,blue, yellow])

• roi是“感兴趣区”，相当于在OpenMV图像视野中框选一个范围作为颜色检测的区域，roi的参数为4个，分别是起始点x，起始点y，结束点x，结束点y。

	left_roi = [0,0,160,240]
	blobs = img.find_blobs([red],roi=left_roi)

• x_stride 就是查找的色块的x方向上最小宽度的像素，默认为2，可以作为检测时的干扰排除项使用，如果你只想查找宽度10个像素以上的色块，那么就设置这个参数为10：

	blobs = img.find_blobs([red],x_stride=10)

• y_stride 就是查找的色块的y方向上最小宽度的像素，默认为1，如果你只想查找宽度5个像素以上的色块，那么就设置这个参数为5：

	blobs = img.find_blobs([red],y_stride=5)

• invert 反转阈值，把阈值以外的颜色作为阈值进行查找。
• area_threshold 面积阈值，如果色块被框起来的面积小于这个值，会被过滤掉。
• pixels_threshold 像素个数阈值，如果色块像素数量小于这个值，会被过滤掉。
• merge 合并，如果设置为True，那么合并所有重叠的blob为一个。
  注意：这会合并所有的blob，无论是什么颜色的。如果你想混淆多种颜色的blob，只需要分别调用不同颜色阈值的find_blobs。

	all_blobs = img.find_blobs([red,blue,yellow],merge=True)
	
	red_blobs = img.find_blobs([red],merge=True)
	blue_blobs = img.find_blobs([blue],merge=True)
	yellow_blobs = img.find_blobs([yellow],merge=True)

• margin 边界，如果设置为1，那么两个blobs如果间距1一个像素点，也会被合并。

阈值

阈值即对某个特定颜色或某个色域规定的一组参数，一个颜色阈值的结构是这样的：

	red = (minL, maxL, minA, maxA, minB, maxB)

元组里面的数值分别是L A B 的最大值和最小值。
L A B参数可在图像直方图中直接看到数据。

在IDE里，还有更方便的阈值选择工具。

颜色阈值选择工具

OpenMV 的IDE里加入了阈值选择工具，极大的方便了对于颜色阈值的调试。
首先运行untitled_1.py让IDE里的帧缓冲区显示图案。
然后打开“工具→机器视觉→阈值编辑器”。
选择帧缓冲区可以获取IDE中的图像，选择图像文件可以另外选择一张图片进行阈值编辑。

选择帧缓冲区打开阈值编辑器，可看到如图中的二进制图像及原图像，拖动下方L A B最大值及最小值的滑轨改变参数可进行颜色阈值获取。
想要获取源图像中蓝色小方块的阈值时，拖动L最小值与L最大值形成L值范围，确保在二进制图像中蓝色小方块所在的位置为白色，二进制图像中其他位置为黑色，A值与B值的调参方式也是如此，最后复制底部调参好的L A B数值。

blobs是一个列表

find_blobs对象返回的是多个blob的列表。（注意区分blobs和blob，这只是一个名字，用来区分多个色块，和一个色块）。
列表类似与C语言的数组，一个blobs列表里包含很多blob对象，blobs对象就是色块，每个blobs对象包含一个色块的信息。

	blobs = img.find_blobs([red])

blobs就是很多色块。
可以用for循环把所有的色块找一遍。

	for blob in blobs:
	    print(blob.cx())

blob色块对象

blob有多个方法：

• blob.rect() 返回这个色块的外框——矩形元组(x, y, w, h)，可以直接在image.draw_rectangle中使用。

• blob.x() 返回色块的外框的x坐标（int），也可以通过blob[0]来获取。

• blob.y() 返回色块的外框的y坐标（int），也可以通过blob[1]来获取。

• blob.w() 返回色块的外框的宽度w（int），也可以通过blob[2]来获取。

• blob.h() 返回色块的外框的高度h（int），也可以通过blob[3]来获取。

• blob.pixels() 返回色块的像素数量（int），也可以通过blob[4]来获取。

• blob.cx() 返回色块的外框的中心x坐标（int），也可以通过blob[5]来获取。

• blob.cy() 返回色块的外框的中心y坐标（int），也可以通过blob[6]来获取。

• blob.rotation() 返回色块的旋转角度（单位为弧度）（float）。如果色块类似一个铅笔，那么这个值为0 ~ 180°。如果色块是一个圆，那么这个值是无用的。如果色块完全没有对称性，那么你会得到0 ~ 360°，也可以通过blob[7]来获取。

• blob.code() 返回一个16bit数字，每一个bit会对应每一个阈值。

• blobs = img.find_blobs([red, blue, yellow], merge=True)

  如果这个色块是红色，那么它的code就是0001，如果是蓝色，那么它的code就是0010。注意：一个blob可能是合并的，如果是红色和蓝色的blob，那么这个blob就是0011。这个功能可以用于查找颜色代码。也可以通过blob[8]来获取。

• blob.count() 如果merge=True，那么就会有多个blob被合并到一个blob，这个函数返回的就是这个的数量。如果merge=False，那么返回值总是1。也可以通过blob[9]来获取。

• blob.area() 返回色块的外框的面积。应该等于(w * h)。

• blob.density() 返回色块的密度。这等于色块的像素数除以外框的区域。如果密度较低，那么说明目标锁定的不是很好。
  比如，识别一个红色的圆，返回的blob.pixels()是目标圆的像素点数，blob.area()是圆的外接正方形的面积。

2.5.3 OpenMV黑线检测源码说明

下面以智能巡防小车的OpenMV源码做分段说明。
相关调用模块引入。

	import sensor, image, time   # 引入感光元件模块、图片处理模块、时间模块
	from pyb import UART          # 引入串口模块
	import json                     # 引入json字符串模块
	from pyb import LED           # 引入LED控制模块

设置项目中黑线检测的阈值，以及在图像中的感兴趣区（ROI）。

	user_threshold = (0, 32, -128, 127, -128, 127)  # 设置黑线阈值参数
	ROIS = (0,100,320,40)                                # 设置roi感兴趣区

设置串口及串口波特率。

#设置串口号及串口波特率
	uart = UART(3,115200)

初始化摄像头参数，包括感光元件复位，设置图像色彩，图像大小，以及在寻找色块（巡线）功能下需要关闭自动增益功能和白平衡功能。

#设置摄像头
	sensor.reset()                                    # 初始化感光元件
	sensor.set_pixformat(sensor.RGB565)           # 设置像素模式为彩色
	sensor.set_framesize(sensor.QVGA)             # 设置图像大小为QVGA：320*240
	sensor.skip_frames(time = 2000)                # 跳过前几帧的图片
	sensor.set_auto_gain(False)                     # 关闭自动增益 -- 巡线模式下需要关闭
	sensor.set_auto_whitebal(False)                # 关闭白平衡 -- 巡线模式下需要关闭

取得系统时间，并点亮板载RGB灯为白色，加强图像颜色识别。

# 获取系统时间
	clock = time.clock()
	
	# 打开板载LED灯（白色）
	LED(1).on()
	LED(2).on()
	LED(3).on()

新建全局变量。

	# 新建全局变量
	dis_sum = 0
	sum_count = 0
	value_get = False

进入while循环，开始计算运行时间，并用OpenMV摄像头进行拍照将图像传至IDE中，随后新建局部变量。

	while(True):
	    clock.tick()                  # 开始计算运行时间
	    img = sensor.snapshot()     # 获取一张图像
	
	    # 新建变量
	    distance = 0
	    distance_send = False

在获取的图像中进行roi区域划分和黑线颜色阈值检测，并把找到的黑线用矩形和矩形中心坐标表示出来，判断找到的黑线是否符合要求。

# 将find_blobs返回的blob对象赋值给b
    for b in img.find_blobs([user_threshold],roi=ROIS[0:4], merge=True):
        # 判断黑线色块大小，排除图像干扰
        if (b[4] >= 30) and (b[3] >= 30):
            img.draw_rectangle(b[0:4],color=(255,0,0))      # 画矩形
            img.draw_cross(b.cx(),b.cy(),color=(0,0,0))     # 画中心十字

            # 判断所检测到的黑线是否在图像范围内
            if b[5]< 0 or b[5] > 320:
                distance = 0
                distance_send = False
            else:
                distance = b[5]
                distance_send = True

将获取到的中心坐标每10次取一次平均值再取整，使用json脚本将角度值转换成字符串通过串口发送出去。

# 判断正确获取到黑线位置
    if distance_send == True:
        dis_sum += distance
        sum_count += 1

        # 取10次的坐标平均值
        if sum_count == 10:
            AngleValue = round(dis_sum/sum_count - 160)     # 计算角度值并取整数

            # LastAngleValue进行角度赋值
            if not value_get:
                LastAngleValue = AngleValue
                value_get = True

            # 对比角度是否发生变化
            if (LastAngleValue != AngleValue):
                ubuffer = json.dumps(AngleValue)            # 将新角度转换成字符串
                LastAngleValue = AngleValue                 # 将角度值进行赋值
                uart.write(ubuffer+'\n')                    # 串口发送角度值字符串
            dis_sum = 0
            sum_count = 0

为了用OpenMV做黑线检测，博主也是简单学了一门新语言（Micropython），并用简单的逻辑将摄像头捕捉到的黑线坐标变化通过串口进行发送，因为OpenMV为32位处理器，对每一帧图像的处理速度是比较快的，同时将坐标数据发送到8位处理器（UNO）上可能造成UNO的串口数据堵塞，处理不来，所以博主在OpenMV坐标发送前也是做了取平均值的操作，每10个坐标数据折算成1个平均值进行发送，减少UNO串口数据接收压力，坐标数据也相对更加稳定、准确（初学micropython对相关数学函数及逻辑使用方面不熟，Python大神勿喷）

2.5.4 OpenMV固件上传

OpenMV IDE除了可以在线进行脚本运行仿真，也能将调试好的py脚本上传至OpenMV Cam成为OpenMV Cam的上电运行脚本。
调试好OpenMV脚本之后，断开脚本运行，在菜单栏“工具 → 将打开的脚本保存到OpenMV Cam（作为main.py）”，在OpenMV Cam中main.py为上电运行脚本，此操作相当于把OpenMV Cam内存中main.py文件进行替换。

在脚本正确上传过程中，OpenMV Cam板载的RGB灯会是红色状态，在上传完成后，RGB灯熄灭，如果不能正确上传脚本，请检查IDE是否正常连接了OpenMV Cam。