背景介绍:
Sugar 在《图像处理基础》一文中说过:“OpenMV 在图像里做目标识别的过程就是:不停地取出画面里的每一帧图像,在图像里的每一帧画面上找目标的过程。”
本篇就说一说 OpenMV 怎样在一帧画面上识别目标的。
上一篇《从 hello world 读懂 OpenMV 怎样玩》中说到 OpenMV 通过 sensor.snapshot()
从摄像头获取一帧图像,也就是一张当时的图片。得到这个图片后,就可以通过 image
模块里的方法处理图片了,原因是:
通过官方文档可知:sensor.snapshot()
返回一个 image
类的对象。要使用 image
模块提供的方法,按 Python 的规矩就要:
import image
image
可以在当前的图像帧上做各种各样的操作,下面先说一说要进行这些操作需要的基础知识。
OpenMV 的像素坐标系如下:
与其他(OpenCV 等)图像处理系统一样,像素坐标系的原点在图像的“左上角”,x、y 轴的正方向如上图。
image
模块方法示例:打标记一、 API 介绍
1、image.clear()
清除图像帧上的所有像素点;
2、image.draw_rectangle(x, y, w, h)
以 (x, y) 为起点,画宽 w 高 h 的方形。
二、代码及现象
通过这个示例,非常直观地感受到了 image.clear()
的作用:消除了整个图像帧的像素,把图像变黑了。如果我们想保留图片,在拍摄到的视频画面上画这个方块,那么应该这么写代码:
每获取一帧图像画一个方块,不用擦除之前画的方块,因为每次 sensor.snapshot()
的时候图像帧一更新就把上一次画的方块冲掉了(这里要细细体会一下搞明白哦)。
三、再说两个画画 API 接下来的例子用:
(1) image.draw_cross(x,y)
以像素坐标 (x, y) 为中心画个十字。
(2) img.draw_circle(x, y, diameter)
以像素坐标 (x, y) 为圆心,diameter 为直径画一个圆。
只要了解 Python 的基本知识,对 OpenMV 编程就非常简单,专注点在视觉及图像内容上而非 Python 语法上就对了。如果对 Python 语法还不熟悉的话可以看 Sugar 的 Python 入门系列推文。这里要说明的一点是:就算 Python 语法非常简单,作为一种编程语言,学习其语法也会有一段枯燥的时间。这一点从 Sugar 写 Python 入门系列推文的时候阅读量不大就能看得出来。Python 相对于其他语言来讲算是入门阶段相当短的了,只要熬过那么一小段时间,收获将是其乐无穷的。
image
模块方法示例:找色块一、API 介绍
1、image.find_blobs(Lab色彩空间下的阀值元组)
用于寻找当前图像帧里的目标色块,官方 API 是这样写的:
2、sensor.set_auto_whitebal(False)
关闭自动白平衡。
这是个 sensor
模块的设置,之所以放在这里说是因为这个设置与寻找色块相关,官方文档里是这么说的:
Sugar 对艺术略知一二并不精通,如果问“自动白平衡”是什么,还是下面这两位大佬解释得好:
艺术大佬一,来自知乎,请手动搜索下图中的标题:
艺术大佬二,直接点这个题目《咳咳咳!你真的搞懂白平衡了吗?》
Sugar 的做法是:官方文档让关咱就关了,不多问。哈哈,别学 Sugar 这样不求甚解啊,多了解是好的。
二、image.blob
类介绍
上面的 image.find_blobs()
返回一个 image.blob
对象,下面就来看一下这个对象里都包含哪些信息。
信息 | 含意 |
---|---|
corners | 从左上角开始顺时针方向,色块 4 个角的 (x,y) 像素坐标 |
min_conrners | 这个目前没搞明白先不解释 |
rect | 以 (x,y,w,h) 形式返回色块的边界框信息 |
x | 色块边界框的 x 像素坐标 |
y | 色块边界框的 y 像素坐标 |
w | 色块边界框宽的像素个数 |
h | 色块边界框高的像素个数 |
pixels | 色块里包含的像素点个数 |
cx | 色块中心的 x 像素坐标(整型) |
cxf | 色块中心的 x 像素坐标(浮点型) |
cy | 色块中心的 y 像素坐标(整型) |
cyf | 色块中心的 y 像素坐标(浮点型) |
rotation | 长条形色块的旋转角度,0~PI 弧度,对圆形色块无用 |
rotation_deg | 以“度”为单位返回长条形色块的旋转角度 |
rotation_rad | 同 rotation,加了 rad 更易识别单位 |
code | merge=True 时才有效,这个目前没搞明白先不解释 |
count | merge=True 时才有效,这个目前没搞明白先不解释 |
perimeter | 色块周长上的像素个数 |
roundness | 色块的圆度,0~1 之间,圆是 1 |
elongation | 色块的线条度,0~1 之间,线是 1 |
area | 色块的面积,即:w*h |
density | 色块边框区域内像素点的数量,0~1 之间,较低说明对象锁定不太好 |
extent | 同 density,就是换个名字而已 |
compactness | 类似 density,区别是使用色块周长来衡量对象的密度,也是 0~1 之间 |
solidity | 类似 density,区别是使用最小面积旋转的矩形相对于边界矩形来测量密度,也是 0~1 之间 |
convexity | 色块的方度,0~1 之间,正方形是 1 |
x_hist_bins | 色块中所有列的 x 轴直方图,Bin 值在 0 和 1 之间缩放 |
y_hist_bins | 色块中所有行的 y 轴直方图,Bin 值在 0 和 1 之间缩放 |
major_axis_line | 色块主轴像素点的元组,贯穿最小面积矩形最长边,可以用 image.draw_line() 绘制 |
minor_axis_line | 色块次轴像素点的元组,贯穿最小面积矩形最短边,可以用 image.draw_line() 绘制 |
enclosing_circle | 包围色块最小面积矩形的圆的像素点元组,可以用 image.draw_circle() 绘制 |
enclosed_ellipse | 包围色块最小面积矩形的椭圆的像素点元组,可以用 image.draw_ellipse() 绘制 |
三、代码及现象
图上的代码不长,一张图片看得全就不把代码单摘出来了,相信愿意实践的读者可以照着打出来。这里点一处考察 Python 能力的地方:如果去掉代码里 if len(blobs) > 0:
这个条件,则运行会在某个时候报错。问题有三个:
1、会在什么时候报错?
2、报什么错,为什么报这个错?
3、可否用 if blobs:
代替 if len(blobs) > 0:
?
如果答不上来或答不全,请到 Sugar 写的 Python 入门系列推文里巩固一下 Python 基础。
颜色阀值的提取使用的是 OpenMV IDE 的一个工具,如下图:
用法不细说了,网上搜一搜或者用鼠标在弹出窗口上拉一拉就知道。
提示:在公众号“关于我”页面可加作者微信好友。
喜欢本文求点赞,有打赏我会更有动力。