机器视觉初步14：相机标定原理及应用

相机标定是指通过已知的相机参数，解算相机内部参数矩阵和外部参数矩阵。

1.为什么要标定？

在工业中，更多的用户青睐于它在非接触三维尺寸测量上的应用。
所谓的三维测量是广义的三维测量，它不仅包括三维物体的重构与测量，还包括在三维空间中识别任意二维平面上的尺寸以及位置。
这种技术目前已被应用在高精度的工业模具以及装配测量中，其中任意二维平面上的尺寸检测技术应用得更为广泛。

参考文章：相机标定解析

相机的参数包含内参¹和外参²，这些参数是将空间点坐标从相机坐标系转换到像素坐标系所需的。相机标定的目标是获得这些参数，使得我们可以从像素坐标系中的坐标得到图像中的坐标。

为了获取更高的测量精度，我们需要通过标定来实现坐标平面的转换以及图像的校正。

2.工业场景中常见的标定方法

在工业场景中，相机标定通常采用以下几种方法：

2.1. 使用棋盘格标定板（Checkerboard Markers）

棋盘格标定板是最常见的相机标定方法，它由黑白相间的正方形组成，棋盘格的对角线交点形成一个共用角点。使用棋盘格标定板，可以通过拍摄多张带有棋盘格的图像，并在图像中标记棋盘格的角点，从而计算相机的内外参数。

例如，可以使用一个三维棋盘格标定板（或者投影到一张二维图像上），在相机拍摄的图像中标记棋盘格的角点。然后，通过最小化相机视场中像素坐标和标定板上角点坐标之间的误差来计算相机的内外参数。

import numpy as np
import cv2

# 棋盘格尺寸
pattern_size = (9, 6)

# 准备棋盘格标定板的世界坐标
objp = np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2)

# 存储棋盘格角点的世界坐标和图像坐标
objpoints = []  # 世界坐标系中的棋盘格角点
imgpoints = []  # 图像平面中的棋盘格角点

# 读取图像
images = ['image1.jpg', 'image2.jpg', 'image3.jpg']  # 替换为实际图像的文件名列表

for fname in images:
    img = cv2.imread(fname)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

    # 查找棋盘格角点
    ret, corners = cv2.findChessboardCorners(gray, pattern_size, None)

    # 如果找到棋盘格角点，则添加到objpoints和imgpoints中
    if ret == True:
        objpoints.append(objp)
        imgpoints.append(corners)

        # 绘制并显示角点
        cv2.drawChessboardCorners(img, pattern_size, corners, ret)
        cv2.imshow('img', img)
        cv2.waitKey(500)

cv2.destroyAllWindows()

# 相机标定
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)

# 打印相机内参数矩阵和畸变系数
print("相机内参数矩阵:")
print(mtx)
print("\n畸变系数:")
print(dist)

2.2 使用相机自标定

相机自标定方法不需要使用特殊的标定板，而是通过拍摄带有不同纹理和几何形状的物体（如带有条纹的纸张、弯曲的金属片等），然后通过分析相机拍摄的图像来计算相机的内外参数。
例如，可以拍摄一张带有条纹的纸张，并在纸张上的条纹区域和背景区域拍摄多张图像。然后，通过最小化相机视场中像素坐标和条纹区域的边界之间的误差来计算相机的内外参数。

2.3. 使用三维物体标定

使用三维物体标定方法是通过将三维物体投影到二维图像中，然后计算相机的内外参数。这种方法通常用于三维物体的尺寸和形状对于相机的视场而言非常明显的场景。
例如，可以将一个具有不同尺寸和形状的三维物体（如盒子、球体等）放置在相机视场中，并拍摄多张带有该物体的图像。然后，通过最小化相机视场中像素坐标和物体边界之间的误差来计算相机的内外参数。

import cv2
import numpy as np

# 读取标定板图像
image = cv2.imread('calibration_image.jpg')

# 定义标定板的尺寸
board_size = (9, 6)

# 寻找标定板角点
ret, corners = cv2.findChessboardCorners(image, board_size, None)

# 如果找到了角点
if ret:
    # 优化角点位置
    corners = cv2.cornerSubPix(cv2.cvtColor(image, cv2.COLOR_BGR2GRAY), corners, (11, 11), (-1, -1), (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001))
    
    # 定义标定板上的三维点
    object_points = np.zeros((board_size[0] * board_size[1], 3), np.float32)
    object_points[:, :2] = np.mgrid[0:board_size[0], 0:board_size[1]].T.reshape(-1, 2)
    
    # 定义图像上的二维点
    image_points = corners.reshape(-1, 2)
    
    # 进行相机标定
    ret, camera_matrix, distortion_coefficients, rotation_vectors, translation_vectors = cv2.calibrateCamera([object_points], [image_points], image.shape[::-1], None, None)
    
    # 打印相机矩阵和畸变系数
    print("Camera Matrix:")
    print(camera_matrix)
    print("Distortion Coefficients:")
    print(distortion_coefficients)
else:
    print("Cannot find chessboard corners in the image.")

2.4.九孔标定

九孔标定（9-cell calibration）是指使用9个像素来检测和标定摄像头的标定方法。

在计算机视觉领域，这种方法常常被用来进行摄像头畸变校正、图像缩放、图像旋转等操作。下面是用Halcon实现九孔标定的步骤。
步骤1：准备九个像素
确保你有9个像素的图像，这些图像需要覆盖摄像头的每个视野。例如，你可以使用9张标定板（包含9个孔的标定板）的不同视图，或者9张带有9个明显标志的标定板。

步骤2：使用Halcon提供的函数计算图像尺寸
使用rectifyImage函数计算每个图像的像素尺寸。例如，假设你的标定板有500像素宽，500像素高，你可以这样计算：

read_image (Image, 'Calibration_board_images/Calibration_board.png')
get_image_size (Image, Width, Height)
rectify_image (Image, ImageReduced, 'nearest_neighbor', 'true')
dev_display (ImageReduced)

步骤3：调整相机参数
使用set_system函数设置相机参数。例如，你可能需要设置焦距、内径和外径等参数。

set_system ('Display Size', [8, 7])
set_system ('Cursor Size', [3, 4])
set_system ('Image Size', [Width, Height])
set_system ('Display Interval', 1000)

步骤4：使用Halcon的标定工具进行标定
在Halcon中，有一个内置的标定工具，可以自动计算摄像头参数并生成标定板图像。
首先，你需要运行以下代码以启动标定工具：

open_framegrabber ('DirectShow', 1, 1, 0, 0, 0, 0, 'default', 9, -1, -1, 'default', 'false', 0, 0, 'rgb_color', 'false', 1, 'default', [], [], [], [], [], [], [], ptr)
grab_image_start (Image, -1, -1, 'black', -1, 'false')
while (true)
    grab_image_async (Image, ImageGrabbed, -1, [], [], 'rgb_color', 'false', 'default', 'false')
    dev_update_window ('off')
    dev_display (ImageGrabbed)
    wait_seconds (1)
endwhile
close_framegrabber (ptr)

这段代码将运行标定工具并捕获标定板的图像。标定过程完成后，你可以将标定板图像绘制在标定板上，计算它们的畸变系数，并使用这些参数进行图像畸变校正。
步骤5：使用图像畸变校正
首先，根据你的摄像头配置计算畸变参数。然后，使用Halcon的correct_image_points函数进行图像畸变校正：

read_image (Image, 'Calibration_board_images/Calibration_board.png')
dev_close_window ()
dev_open_window_fit_image (Image, 0, 0, -1, -1, WindowHandle)
set_display_font (WindowHandle, 16, 'mono', 'true', 'false')
dev_set_color ('red')
dev_display (Image)
disp_continue_message (WindowHandle, 'black', 'true')
stop ()

dev_set_color ('blue')
correct_image_points (Image, 'Default', 'true', 'true', CorrectedImage)
dev_set_color ('red')
dev_display (CorrectedImage)
disp_continue_message (WindowHandle, 'black', 'true')
stop ()

这段代码将使用correct_image_points函数对图像进行畸变校正，并将校正后的图像绘制在显示窗口中。
总之，要用Halcon实现九孔标定，你需要准备九张标定板图像，计算图像尺寸，调整相机参数，运行标定工具，然后使用畸变校正算法对图像进行畸变校正。

---

1. 相机的内参数（Intrinsic Parameters）是描述相机自身几何特性的参数，包括：
   1.摄像机的主点（Principal Point）：也称为摄像机的质心，它是由相机的各轴的中点组成的。
   2.摄像机的基线（Basis Line）：也称为摄像机的成像基线，是主点和焦距的连线。
   3.摄像机的光学畸变参数：包括径向畸变（Radial Distortion）、切向畸变（Tangential Distortion）和垂轴畸变（Vertical Distortion）。
   4.焦距（Focal Length）：是从摄像机光心到焦平面的距离。
   5.像素单位（Pixel Unit）：相机的一个像素代表的实际物理长度。 ↩︎

2. 相机的外参数（Extrinsic Parameters）是描述相机相对于外部世界的投影关系的参数，包括：
   1.旋转矩阵（Rotation Matrix）：用于描述摄像机绕着某一坐标轴旋转的参数。
   2.平移矩阵（Translation Matrix）：用于描述摄像机在某一位置的平移变换的参数。
   3.畸变参数：径向畸变参数、切向畸变参数和垂轴畸变参数。
   4.畸变系数（Distortion Coefficients）：径向畸变参数、切向畸变参数和垂轴畸变参数的组合。 ↩︎