OpenCV-Python(43):姿势估计
目标
- 学习了解calib3D 模块
- 学习在图像中创建3D效果
calib3D模块
OpenCV-Python的calib3D模块是OpenCV库中的一个重要模块，用于摄像头标定和三维重建等计算机视觉任务。该模块提供了一些函数和类，用于摄像头标定、立体视觉和三维重建等方面的操作。
下面是一些calib3D模块常用的函数和类的介绍：
1.findChessboardCorners()：用于在一张图片中查找棋盘格角点的函数。可以用于摄像头标定。
2.calibrateCamera()：用于摄像头标定的函数。根据一系列已知世界坐标和对应的图像坐标，计算出相机内参数和畸变系数。
3.undistort()：用于去除图像畸变的函数。根据相机内参数和畸变系数，对图像进行去畸变处理。
4.stereoCalibrate()：用于立体标定的函数。根据一系列已知的立体对应点对，计算出两个相机的内参数、外参数和立体校正参数。
5.stereoRectify()：用于立体校正的函数。根据相机的内参数、外参数和立体校正参数，对两个输入图像进行立体校正，以便进行立体匹配。
6.stereoSGBM()：用于立体匹配的函数。根据两个校正后的图像，进行视差计算并生成视差图。
摄像头标定步骤
使用calib3D模块进行摄像头标定的基本步骤如下：
- 准备一系列棋盘格图像，保证棋盘格在各个位置、角度和距离上都有充分的变化。
- 对每张图像，使用
findChessboardCorners()函数查找棋盘格角点，并将角点的图像坐标和对应的世界坐标存储起来。 - 使用
calibrateCamera()函数对所有的角点进行摄像头标定，得到相机的内参数和畸变系数。 - 使用
undistort()函数对图像进行去畸变处理，得到校正后的图像。
立体视觉步骤
使用calib3D模块进行立体视觉的基本步骤如下：
- 准备一系列立体对应点对，包括左右图像的图像坐标和世界坐标。
- 使用
stereoCalibrate()函数对立体对应点对进行立体标定，得到两个相机的内参数、外参数和立体校正参数。 - 使用
stereoRectify()函数对输入图像进行立体校正，得到校正后的图像。 - 使用
stereoSGBM()函数对校正后的图像进行立体匹配，得到视差图。
姿势估计基础
在上一节的摄像机标定中，我们已经得到了摄像机矩阵，畸变系数等。有了这些信息我们就可以估计图像中图案的姿势，比如目标对象是如何摆放，如何旋转等。对一个平面来说，我们可以假 Z=0，这样问题就转化成摄像机在空间中是如何摆放(然后拍摄)的。所以，如果我们知道对象在空间中的姿势，我们就可以在图像中绘制一些2D 的线条来产生3D 的效果。我们来看一下怎么做吧。
我们的问题是，在棋盘的第一个角点绘制3D 坐标(X,Y,Z轴)。X轴为蓝色，Y 轴为绿色，Z 轴为红色。在视觉效果上来看，Z 轴应该是垂直与棋盘平面的。
首先我们要加载前面结果中摄像机矩阵和畸变系数。
import cv2
import numpy as np
import glob
# Load previously saved data
with np.load('B.npz') as X:
mtx, dist, _, _ = [X[i] for i in ('mtx','dist','rvecs','tvecs')]现在创建一个函数:draw,它的参数有棋盘上的角点(使用cv2.findChessboardCorners() 得到)和要绘制的3D 坐标轴上的点。
def draw(img, corners, imgpts):
corner = tuple(corners[0].ravel())
img = cv2.line(img, corner, tuple(imgpts[0].ravel()), (255,0,0), 5)
img = cv2.line(img, corner, tuple(imgpts[1].ravel()), (0,255,0), 5)
img = cv2.line(img, corner, tuple(imgpts[2].ravel()), (0,0,255), 5)
return img和前面一样，我们要设置终止条件，对象点(棋盘上的3D角点）和坐标轴点。3D 空间中的坐标轴点是为了绘制坐标轴。我们绘制的坐标轴的长度为3。所以X 轴从（0,0,0）绘绘制到(3,0,0),Y 轴也是。Z 轴从（0,0,0）绘制到（0,0,-3）。负值表示它是朝着（垂直于）摄像机方向。
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
objp = np.zeros((6*7,3), np.float32)
objp[:,:2] = np.mgrid[0:7,0:6].T.reshape(-1,2)
axis = np.float32([[3,0,0], [0,3,0], [0,0,-3]]).reshape(-1,3)很通常一样我们需要加载图像。搜寻7x6 的格子，如果发现，我们就把它优化到亚像素级。然后使用函数:cv2.solvePnPRansac() 来计算旋转和变换。当我们有了变换矩阵之后，我们就可以利用它们将这些坐标轴点映射到图像平面中去。简单来说，我们在图像平面上找到了与3D 空间中的点（3,0,0）,(0,3,0),(0,0,3) 相对应的点。然后我们就可以使用我们的函数draw() 从图像上的第一个角点开始绘制连接这些点的直线了。搞定！！！
for fname in glob.glob('left*.jpg'):
img = cv2.imread(fname)
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
ret, corners = cv2.findChessboardCorners(gray, (7,6),None)
if ret == True:
corners2 = cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)
# Find the rotation and translation vectors.
rvecs, tvecs, inliers = cv2.solvePnPRansac(objp, corners2, mtx, dist)
# project 3D points to image plane
imgpts, jac = cv2.projectPoints(axis, rvecs, tvecs, mtx, dist)
img = draw(img,corners2,imgpts)
cv2.imshow('img',img)
k = cv2.waitKey(0) & 0xff
if k == 's':
cv2.imwrite(fname[:6]+'.png', img)
cv2.destroyAllWindows()结果如下，看到了没，每条坐标轴的长度都是3 个格子的长度。
渲染一个立方体
如果你想绘制一个立方体的话要对draw() 函数进行如下修改，修改后的draw() 函数：
def draw(img, corners, imgpts):
imgpts = np.int32(imgpts).reshape(-1,2)
# draw ground floor in green
img = cv2.drawContours(img, [imgpts[:4]],-1,(0,255,0),-3)
# draw pillars in blue color
for i,j in zip(range(4),range(4,8)):
img = cv2.line(img, tuple(imgpts[i]), tuple(imgpts[j]),(255),3)
# draw top layer in red color
img = cv2.drawContours(img, [imgpts[4:]],-1,(0,0,255),3)
return img修改后的坐标轴点。它们是3D 空间中的一个立方体的8 个角点：
axis = np.float32([[0,0,0], [0,3,0], [3,3,0], [3,0,0],
[0,0,-3],[0,3,-3],[3,3,-3],[3,0,-3] ])结果如下:
如果你对计算机图形学感兴趣的话，为了增加图像的真实性，你可以使用OpenGL 来渲染更复杂的图形 。