1.目标识别与定位
对基于视觉的机械臂控制来说，机器人视觉是一个非常重要的部分。机器人只有在视觉的指引下，才能获取目标的正确信息，从而控制机械臂完成指定任务。视觉系统必须在标定的基础上，识别和跟踪目标对象的位置和姿态。
在图像中识别目标对象可以基于三个不同的属性，即颜色，纹理，形状。颜色特性是运用最广泛，最容易学习与实现的方式，因此接下来采用基于颜色的物体识别方式。
2.实现方式
通过OpenCV的Python接口来实现物体的颜色特性识别。通过提取目标物体的颜色信息进行HSV阈值分割，得到目标物体的三维坐标。
HSV介绍
颜色空间转换
基于彩色图像分割的方法识别目标时，要选择合适的颜色空间，常见的颜色空间有RGB，HSV,CMY等。HSV模型可以在一定程度上避免RGB模型的高分散性和高相关性所带来的阈值划分问题。所以接下来的代码是采用HSV颜色空间进行目标识别，RGB到HSV的转换公式是：
RGB2HSV
当然，opencv自身以及集成了各种颜色空间的转换函数，所以在接下来的代码中只需调用其函数即可。
3.捕获目标代码
运行环境
- Python3.6.5
- Pycharm
- win10
import cv2
import numpy as np
capture = cv2.VideoCapture(0)
lower_blue = np.array([90, 110, 110])
upper_blue = np.array([140, 255, 255])
# 确定目标物体的HSV范围 此范围为蓝色
while(True):
ret, frame = capture.read()
hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
mask = cv2.inRange(hsv, lower_blue, upper_blue)
res = cv2.bitwise_and(frame, frame, mask=mask)
cv2.imshow('frame', frame)
cv2.imshow('mask', mask)
cv2.imshow('res', res)
if cv2.waitKey(1) == ord('q'):
break
实现效果
原图
处理后图像
4.锁定目标，并获取目标质心代码
from collections import deque
import numpy as np
import cv2
import time
Lower = np.array([100, 43, 46])
Upper = np.array([130, 255, 255])
# 定义目标颜色HSV的范围
mybuffer = 64
pts = deque(maxlen=mybuffer)
camera = cv2.VideoCapture(0)
time.sleep(2)
while True:
(ret, frame) = camera.read()
if not ret:
print('No Camera')
break
# frame = imutils.resize(frame, width=600)
hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
# 根据阈值构建掩膜
mask = cv2.inRange(hsv, Lower, Upper)
# 腐蚀操作
mask = cv2.erode(mask, None, iterations=2)
# 膨胀操作，其实先腐蚀再膨胀的效果是开运算，去除噪点
mask = cv2.dilate(mask, None, iterations=2)
# 轮廓检测
cnts = cv2.findContours(mask.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[-2]
# 初始化目标轮廓质心
center = None
# 如果存在轮廓
if len(cnts) > 0:
# 找到面积最大的轮廓
c = max(cnts, key=cv2.contourArea)
# 确定面积最大的轮廓的外接圆
((x, y), radius) = cv2.minEnclosingCircle(c)
# 计算轮廓的矩
M = cv2.moments(c)
# 计算质心
center = (int(M["m10"]/M["m00"]), int(M["m01"]/M["m00"]))
if 80 > radius > 20:
cv2.circle(frame, (int(x), int(y)), int(radius), (0, 255, 255), 2)
cv2.circle(frame, center, 5, (0, 0, 255), -1)
# 把质心添加到pts中，并且是添加到列表左侧
pts.appendleft(center)
cv2.imshow('Frame', frame)
# 键盘检测，检测到esc键退出
k = cv2.waitKey(5)&0xFF
if k == 27:
break
# 摄像头释放
camera.release()
# 销毁所有窗口
cv2.destroyAllWindows()
关于图像处理的膨胀和腐蚀操作：膨胀就是求局部最大值的操作，相反，腐蚀是求局部最小值的操作。
具体可参考这个Python+OpenCV教程12：腐蚀与膨胀
先腐蚀后膨胀会分离物体，所以叫开运算，常用来去除小区域物体;
先膨胀后腐蚀会消除物体内的小洞，所以叫闭运算。
注意：腐蚀和膨胀是针对图片中的白色部分！
腐蚀/膨胀
开/闭运算的理解
实现效果
图中黄色圈为最大外接圆，红点为质心
对于环境的要求较高，虽然可以设定捕获物体半径大小，但最好目标颜色为环境中独一无二的颜色。
参考资料：opencv教程
基于双目视觉的机器人目标定位与机械臂控制
python+opencv实践