鱼眼相机去畸变（图像拉直/展开/矫正）算法及实战总结
本文介绍两种方法
1、经纬度矫正法
2、棋盘格矫正法
一、经纬度矫正法
1、算法说明
经纬度矫正法， 可以把鱼眼图想象成半个地球， 然后将地球展开成地图，经纬度矫正法主要是利用几何原理， 对图像进行展开矫正。
经过P点的入射光线没有透镜的话，本应交于相机成像平面的e点。然而，经过鱼眼相机的折射，光线会交于相机成像平面的d点，就产生了畸变，因此畸变图像整体上呈现出像素朝图像中心点聚集的态势。
而去畸变，就是将折射到d点的点，重新映射回到e点，因此去畸变之后的图像与原始的鱼眼图像相比，仿佛是把向心聚集的像素又重新向四周铺展开来。
详细的推导流程及公式见地址：AVM环视系统——鱼眼相机去畸变算法 - 知乎
2、 代码
import math
from PIL import Image
im = Image.open("/Users/Fisheye_photo-600x600.jpg")
im.show()
width, high = im.size
sqrt_len = min(width, high)
im = im.transform((sqrt_len, sqrt_len),
Image.EXTENT,
((width-sqrt_len)/2, (high-sqrt_len)/2,
sqrt_len+(width-sqrt_len)/2, sqrt_len+(high-sqrt_len)/2)
)
width = high = sqrt_len
idata = im.getdata()
odata = []
alpha = math.pi/2
out_high = round(high * math.tan(alpha/2))
out_width = round(width * math.tan(alpha/2))
out_radius = round(high * math.tan(alpha/2))
out_center_x = out_width / 2
out_center_y = out_high / 2
out_bl_x = 0
out_br_x = out_width - 1
out_bt_y = 0
out_bb_y = out_high - 1
out_bl_cx = out_bl_x - out_center_x
out_br_cx = out_br_x - out_center_x
out_bt_cy = out_bt_y - out_center_y
out_bb_cy = out_bb_y - out_center_y
src_radius = round(high * math.sin(alpha/2))
src_center_x = width / 2
src_center_y = high / 2
for i in range(0, high * width):
ox = math.floor(i / out_width)
oy = i % out_high
cx = ox - out_center_x;
cy = oy - out_center_y;
out_distance = round(math.sqrt(pow(cx, 2) + pow(cy, 2)))
theta = math.atan2(cy, cx)
if (-math.pi/4 <= theta <= math.pi/4):
bx = out_radius * math.cos(math.pi/4)
by = bx * math.tan(theta)
elif (math.pi/4 <= theta <= math.pi*3/4):
by = out_radius * math.sin(math.pi/4)
bx = by / math.tan(theta)
elif (-math.pi*3/4 <= theta <= -math.pi/4):
by = out_radius * math.sin(-math.pi/4)
bx = by / math.tan(theta)
else:
bx = out_radius * math.cos(-math.pi*3/4)
by = bx * math.tan(theta)
bdy_distance = round(math.sqrt(pow(cx, 2) + pow(cy, 2)))
src_distance = src_radius * bdy_distance / out_radius
src_x = round(src_center_x + math.cos(theta) * src_distance)
src_y = round(src_center_y + math.sin(theta) * src_distance)
src_idx = src_x*width + src_y
if(0 < src_idx < high*width):
odata.append(idata[src_idx])
else:
odata.append((0,0,0))
om = Image.new("RGB", (high, width))
om.putdata(odata)
om.show()
3、代码及图片地址：GitHub - duducosmos/defisheye: Fast Corrects for fisheye distortion in an image.
二、棋盘格矫正方法
1、算法说明
利用棋盘格进行标定， 然后计算鱼眼镜头的畸变系数以及内参， opencv中自带有fisheye模块， 可以直接根据棋盘格标定结果，采用cv2.fisheye.calibrate计算畸变系数以及内参， 然后使用cv2.fisheye.initUndistortRectifyMap函数计算映射矩阵， 最后根据映射矩阵， 使用cv2.remap进行矫正。
2、代码
import cv2
import numpy as np
import math
import time
# 鱼眼有效区域截取
def cut(img):
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
(_, thresh) = cv2.threshold(img_gray, 20, 255, cv2.THRESH_BINARY)
contours, hierarchy = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = sorted(contours, key=cv2.contourArea, reverse=True)[0]
x,y,w,h = cv2.boundingRect(cnts)
r = max(w/ 2, h/ 2)
# 提取有效区域
img_valid = img[y:y+h, x:x+w]
return img_valid, int(r)
# 鱼眼矫正
def undistort(src,r):
# r： 半径， R: 直径
R = 2*r
# Pi: 圆周率
Pi = np.pi
# 存储映射结果
dst = np.zeros((R, R, 3))
src_h, src_w, _ = src.shape
# 圆心
x0, y0 = src_w//2, src_h//2
for dst_y in range(0, R):
theta = Pi - (Pi/R)*dst_y
temp_theta = math.tan(theta)**2
for dst_x in range(0, R):
# 取坐标点 p[i][j]
# 计算 sita 和 fi
phi = Pi - (Pi/R)*dst_x
temp_phi = math.tan(phi)**2
tempu = r/(temp_phi+ 1 + temp_phi/temp_theta)**0.5
tempv = r/(temp_theta + 1 + temp_theta/temp_phi)**0.5
if (phi < Pi/2):
u = x0 + tempu
else:
u = x0 - tempu
if (theta < Pi/2):
v = y0 + tempv
else:
v = y0 - tempv
if (u>=0 and v>=0 and u+0.5效果图
3、代码地址
https://github.com/HLearning/fisheye
三、总结：比对两个算法
本人用两个算法对一张图像进行拉直，发现经过经纬度矫正算法生成的图像原作者裁剪掉了边缘部分，见下图效果图，中间黑框内的图像是经过“经纬度矫正法”得到的效果图，外面的大图是用“棋盘格矫正法”得到的效果图
为了更直观，更改了图像的透明度，可以看出两个算法的效果还是多少有些差别的。
其实，两个算法的边缘部分都被严重拉伸，丢不丢掉看适用场景和个人需要吧。
四、知识拓展
立体标定
算法说明
坐标映射建立,各区域的角点都有一维世界坐标为0，对应图5中三幅子图像分别为Y=0，X=0，Z=0。根据棋盘方格边长以及与世界坐标原点间隔的方格数，可得到所有角点的世界坐标。从而建立起二维图像坐标与三维世界坐标的一一映射，用于模型参数的求解。
参考地址：采用立体标定板的鱼眼相机快速标定方法_真空技术_新闻动态_深圳市鼎达信装备有限公司
基于双经度模型的鱼眼图像畸变矫正方法
基于双经度模型的鱼眼图像畸变矫正方法 - 百度文库