鱼眼相机去畸变(图像拉直/展开/矫正)算法及实战总结

本文介绍两种方法

1、经纬度矫正法

2、棋盘格矫正法

一、经纬度矫正法

鱼眼相机去畸变(图像拉直/展开/矫正)算法及实战总结_第1张图片

1、算法说明

经纬度矫正法, 可以把鱼眼图想象成半个地球, 然后将地球展开成地图,经纬度矫正法主要是利用几何原理, 对图像进行展开矫正。

鱼眼相机去畸变(图像拉直/展开/矫正)算法及实战总结_第2张图片

        经过P点的入射光线没有透镜的话,本应交于相机成像平面的e点。然而,经过鱼眼相机的折射,光线会交于相机成像平面的d点,就产生了畸变,因此畸变图像整体上呈现出像素朝图像中心点聚集的态势。

        而去畸变,就是将折射到d点的点,重新映射回到e点,因此去畸变之后的图像与原始的鱼眼图像相比,仿佛是把向心聚集的像素又重新向四周铺展开来。

       详细的推导流程及公式见地址:AVM环视系统——鱼眼相机去畸变算法 - 知乎

2、 代码

import math
from PIL import Image


im = Image.open("/Users/Fisheye_photo-600x600.jpg")
im.show()

width, high = im.size
sqrt_len = min(width, high)
im = im.transform((sqrt_len, sqrt_len),
                    Image.EXTENT,
                    ((width-sqrt_len)/2, (high-sqrt_len)/2, 
                    sqrt_len+(width-sqrt_len)/2, sqrt_len+(high-sqrt_len)/2)
                    )
width = high = sqrt_len

idata = im.getdata()
odata = []

alpha = math.pi/2

out_high = round(high * math.tan(alpha/2))
out_width = round(width * math.tan(alpha/2))
out_radius = round(high * math.tan(alpha/2))
out_center_x = out_width / 2
out_center_y = out_high / 2

out_bl_x = 0
out_br_x = out_width - 1
out_bt_y = 0
out_bb_y = out_high - 1

out_bl_cx = out_bl_x - out_center_x
out_br_cx = out_br_x - out_center_x
out_bt_cy = out_bt_y - out_center_y
out_bb_cy = out_bb_y - out_center_y

src_radius = round(high * math.sin(alpha/2))
src_center_x = width / 2
src_center_y = high / 2

for i in range(0, high * width):
    ox = math.floor(i / out_width)
    oy = i % out_high
    
    cx = ox - out_center_x;
    cy = oy - out_center_y;
    
    out_distance = round(math.sqrt(pow(cx, 2) + pow(cy, 2)))
    theta = math.atan2(cy, cx)
    if (-math.pi/4 <= theta <= math.pi/4):
        bx = out_radius * math.cos(math.pi/4)
        by = bx * math.tan(theta)
    elif (math.pi/4 <= theta <= math.pi*3/4):
        by = out_radius * math.sin(math.pi/4)
        bx = by / math.tan(theta)
    elif (-math.pi*3/4 <= theta <= -math.pi/4):
        by = out_radius * math.sin(-math.pi/4)
        bx = by / math.tan(theta)
    else:
        bx = out_radius * math.cos(-math.pi*3/4)
        by = bx * math.tan(theta)
        
    
    bdy_distance = round(math.sqrt(pow(cx, 2) + pow(cy, 2)))
    src_distance = src_radius * bdy_distance / out_radius
        
    
    src_x = round(src_center_x + math.cos(theta) * src_distance)
    src_y = round(src_center_y + math.sin(theta) * src_distance)
    
    src_idx = src_x*width + src_y    
    if(0 < src_idx < high*width):
        odata.append(idata[src_idx])
    else:
        odata.append((0,0,0))
    


om = Image.new("RGB", (high, width))
om.putdata(odata)
om.show()

3、代码及图片地址:GitHub - duducosmos/defisheye: Fast Corrects for fisheye distortion in an image.

二、棋盘格矫正方法

1、算法说明

利用棋盘格进行标定, 然后计算鱼眼镜头的畸变系数以及内参, opencv中自带有fisheye模块, 可以直接根据棋盘格标定结果,采用cv2.fisheye.calibrate计算畸变系数以及内参, 然后使用cv2.fisheye.initUndistortRectifyMap函数计算映射矩阵, 最后根据映射矩阵, 使用cv2.remap进行矫正。

2、代码

import cv2
import numpy as np
import math
import time

# 鱼眼有效区域截取
def cut(img):
    img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    (_, thresh) = cv2.threshold(img_gray, 20, 255, cv2.THRESH_BINARY)
    contours, hierarchy = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    cnts = sorted(contours, key=cv2.contourArea, reverse=True)[0]
    x,y,w,h = cv2.boundingRect(cnts)
    r = max(w/ 2, h/ 2)
    # 提取有效区域
    img_valid = img[y:y+h, x:x+w]
    return img_valid, int(r)

# 鱼眼矫正
def undistort(src,r):
    # r: 半径, R: 直径
    R = 2*r
    # Pi: 圆周率
    Pi = np.pi
    # 存储映射结果
    dst = np.zeros((R, R, 3))
    src_h, src_w, _ = src.shape
    # 圆心
    x0, y0 = src_w//2, src_h//2

    for dst_y in range(0, R):

        theta =  Pi - (Pi/R)*dst_y
        temp_theta = math.tan(theta)**2

        for dst_x in range(0, R):
            # 取坐标点 p[i][j]
            # 计算 sita 和 fi

            phi = Pi - (Pi/R)*dst_x
            temp_phi = math.tan(phi)**2

            tempu = r/(temp_phi+ 1 + temp_phi/temp_theta)**0.5
            tempv = r/(temp_theta + 1 + temp_theta/temp_phi)**0.5

            if (phi < Pi/2):
                u = x0 + tempu
            else:
                u = x0 - tempu

            if (theta < Pi/2):
                v = y0 + tempv
            else:
                v = y0 - tempv

            if (u>=0 and v>=0 and u+0.5

效果图

3、代码地址

https://github.com/HLearning/fisheye

三、总结:比对两个算法

本人用两个算法对一张图像进行拉直,发现经过经纬度矫正算法生成的图像原作者裁剪掉了边缘部分,见下图效果图,中间黑框内的图像是经过“经纬度矫正法”得到的效果图,外面的大图是用“棋盘格矫正法”得到的效果图

为了更直观,更改了图像的透明度,可以看出两个算法的效果还是多少有些差别的。

其实,两个算法的边缘部分都被严重拉伸,丢不丢掉看适用场景和个人需要吧。

四、知识拓展

立体标定

鱼眼相机去畸变(图像拉直/展开/矫正)算法及实战总结_第3张图片

算法说明

坐标映射建立,各区域的角点都有一维世界坐标为0,对应图5中三幅子图像分别为Y=0,X=0,Z=0。根据棋盘方格边长以及与世界坐标原点间隔的方格数,可得到所有角点的世界坐标。从而建立起二维图像坐标与三维世界坐标的一一映射,用于模型参数的求解。

鱼眼相机去畸变(图像拉直/展开/矫正)算法及实战总结_第4张图片 

参考地址:采用立体标定板的鱼眼相机快速标定方法_真空技术_新闻动态_深圳市鼎达信装备有限公司

基于双经度模型的鱼眼图像畸变矫正方法

基于双经度模型的鱼眼图像畸变矫正方法 - 百度文库

 

你可能感兴趣的:(前沿科技,鱼眼,拉直,矫正,展开,去畸变)