【6】opencv采用映射技术实现鱼眼镜头校正和鱼眼镜头还原全景图。

相关文章：

【1】windows下安装OpenCV（4.3）+VS2017安装+opencv_contrib4.3.0配置

【2】Visual Studio 2017同时配置OpenCV2.4 以及OpenCV4.3

【3】opencv_contrib4.3.0库配置+opencv安装

【4】配置和运行Opencv常见的一些问题总结，以及bug解决。

【5】OpenCV2.4.9实现图像拼接与融合方法【SURF、SIFT、ORB、FAST、Harris角点 、stitch 】

【6】opencv采用映射技术实现鱼眼镜头校正和鱼眼镜头还原全景图。

---

本文出现的数据结果和码源见：https://download.csdn.net/download/sinat_39620217/18269941

特别提示：opencv安装配置详情请参考相关文章【1】【2】【3】【4】

采用映射技术实现鱼眼镜头校正

鱼眼镜头是一种视角达到了180° 甚至更高的广角镜头，超过了人类的肉眼所能看到的范围，且一般以固定姿态方式工作不需要旋转和扫描，因此鱼眼镜头能在视频监控、机器视觉、机场消防安全等公共安全风险防控等领域发挥巨大作用。

1.鱼眼镜头基础理论

鱼眼镜头是一种特殊的广角镜头，视角范围大，焦距短。由于鱼眼镜头前端第一个透镜向外凸出，跟鱼的眼睛很像，所以被命名为鱼眼镜头，如图1.1所示。

                                                                                                                                                                                               图1.1鱼眼模型和鱼眼镜头

鱼眼镜头一般由十几个不同的透镜组成。当光线投射到鱼眼镜头时，经过最外面的两个镜头发生折射，使入射角变小，光线通过后面的镜头时，折射角基本不改变，最终投影到成像平面上。鱼眼相机多元件的结构构造以及光线入射变化如图1.2所示：

                                                                                                                                                                               图1.2 鱼眼相机构造及入射光线变化图

鱼眼镜头成像模型，由于鱼眼镜头结构复杂，研究鱼眼相机成像过程中，将其简化为单位球面。如图1.3所示，球面成像过程大致分为两步：第一步，连接三维空间中的点与单位球的球心，相交于球面，其中鱼眼相机所在坐标系的原点即为球心坐标；第二步，将相交在球面上的点映射到图像平面上。此时在平面上的点即为空间点通过鱼眼镜头所成的像点，这就是简化后的鱼眼相机成像过程

                                                                                                                                                                                    图1.3鱼眼图像成像原理图

普通相机是以针孔相机模型成像，在成像过程中，实际场景中的物体按一定的比例放大或缩小成图像中的物体，不会有拉伸或形变的产生。同时普通相机成像的视角小，所包含的景物信息少。而鱼眼镜头视角可达180°，鱼眼图像包含的信息多，将这么多的信息存储在一张图像上，不可避免会产生畸变。鱼眼相机的投影模型本身就存在着畸变，同时由于相机的径向畸变非常严重，所以在研究鱼眼相机畸变的时候主要考虑径向畸变，忽略其余类型的畸变。

2.投影函数

常见的鱼眼相机设计模型有四种：等距投影模型、等立体角投影模型、正交投影模型和体视投影模型。数学公式如下：

其中，公式1.1至1.5分别表示等距投影模型、等立体角投影模型、正交投影模型、体视投影模型和针孔模型。f为鱼眼相机的焦距，即成像平面的半径，θ是入射光线与鱼眼相机光轴的夹角，即入射角，为鱼眼图像的点到畸变中心的距离，如图1.4所示。随着设计模型的变化而发生变化，四种模型投射距离的大小关系如图1.5所示。

.                                                                                                                                                                                                  图1.4 简化投影模型

                                                                                                                                                                                                图1.5模型之间的畸变情况

3.OpenCV中的鱼眼相机模型

OpenCV中使用的模型是由Kannala提出的一种鱼眼相机的一般近似模型。在等距投影模型的基础上提出来的。下面来详细分析其鱼眼相机模型的提出过程。我们可以将鱼眼相机模型的形式统一以等距投影模型的形式来表示，即
 

对实际的鱼眼镜头来说，它们不可能精确地按照投影模型来设计，所以为了方便鱼眼相机的标定，Kannala提出了一种鱼眼相机的一般多项式近似模型。通过前面的四个模型，可以发现 是θ的奇函数，而且将这些式子按泰勒级数展开，发现 可以用θ 的奇次多项式表示，即

为了实际计算的方便，需要确定式中 取到的次幂数。Kannala提出取式的前五项即取到的九次方，就给出了足够的自由度来很好地近似各种投影模型。 θdθd的一次项系数可以为1，于是OpenCV中使用的鱼眼相机模型为：

  上式表示的模型是根据四种鱼眼相机投影模型得出的一种通用鱼眼相机多项式模型。这种模型根据θ能够得到 ，即通过无畸变图像中的点能够计算出鱼眼图像中的畸变点。这种模型在OpenCV的鱼眼相机标定方法中是适用的，因为OpenCV借助标定板对鱼眼相机进行标定。从空间点到鱼眼图像上的点的变换过程可用式子表示为：

上面式子中， X表示空间点，​​​​​​​表示相机坐标系下对应的空间点， RR和tt分别是两个坐标系之间的旋转矩阵和平移向量，表示投影到鱼眼图像上的对应点。OpenCV中对鱼眼相机的标定步骤能够分成四步：（1）初始化内参数；（2）初始化外参数；（3）使用LM算法最小化定位的图像点和投影的图像点之间的投影误差；（4）确定结果。

 

4.鱼眼镜头还原全景图

圆柱投影360°展开结果：

鱼眼图像的径向畸变标定进行图像校正的方法，并设计了一种可以覆盖180°甚至更多视场角的圆柱形棋盘格模板来进行径向畸变分析。在球形投影面的基础上校正得到了多方向的平面透视图和全景图。实验结果证实了此方法的有效性。本文的校正方法实现起来比较方便，理想的校正效果使得此方法可被用于恢复鱼眼图像的畸变，让一般的图像算法可以被应用到鱼眼镜头拍摄的图像上，为鱼眼镜头在计算机视觉等领域的应用打下基础。

另外需要提出的是文中的径向畸变校正方案只能被应用于圆形的鱼眼图像上，因为本文在校正过程中采用了认为鱼眼图像各方向径向畸变一致的近似处理，忽略了图像中可能存在的细微的切向畸变。本文的校正方法虽然能获取拥有良好视觉效果的图片，但在校正精确度上还有待改进。

5.完整码源：

#include 
#include "opencv2/core/core.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgcodecs/imgcodecs.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include 
#include 
using namespace std;
using namespace cv;

//#pragma comment(lib, "opencv_core430d.lib")
//#pragma comment(lib, "opencv_highgui430d.lib")
//#pragma comment(lib, "opencv_imgcodecs430d.lib")
//#pragma comment(lib, "opencv_imgprocd.lib")

int main()
{
	//读取图片
	Mat Src = imread("H:/opencv/main/7.jpg");	//imshow("Src",Src);
	cout << Src.size() << endl;
	int nbottom = 0;
	int ntop = 0;
	int nright = 0;
	int nleft = 0;

	//遍历寻找上边界
	int nflag = 0;
	for (int i = 0; i < Src.rows - 1; i++)
	{
		for (int j = 0; j < Src.cols - 1; j++)
		{
			uchar I = 0.59*Src.at(i, j)[0] + 0.11*Src.at(i, j)[1] + 0.3*Src.at(i, j)[2];
			if (I > 20)
			{
				I = 0.59*Src.at(i + 1, j)[0] + 0.11*Src.at(i + 1, j)[1] + 0.3*Src.at(i + 1, j)[2];
				if (I > 20)
				{
					ntop = i;
					nflag = 1;
					break;
				}
			}
		}
		if (nflag == 1)
		{
			break;
		}
	}
	//遍历寻找下边界
	nflag = 0;
	for (int i = Src.rows - 1; i > 1; i--)
	{
		for (int j = 0; j < Src.cols - 1; j++)
		{
			uchar I = 0.59*Src.at(i, j)[0] + 0.11*Src.at(i, j)[1] + 0.3*Src.at(i, j)[2];
			if (I > 20)
			{
				I = 0.59*Src.at(i - 1, j)[0] + 0.11*Src.at(i - 1, j)[1] + 0.3*Src.at(i - 1, j)[2];
				if (I > 20)
				{
					nbottom = i;
					nflag = 1;
					break;
				}
			}
		}
		if (nflag == 1)
		{
			break;
		}
	}
	//遍历寻找左边界
	nflag = 0;
	for (int j = 0; j < Src.cols - 1; j++)
	{
		for (int i = 0; i < Src.rows; i++)
		{
			uchar I = 0.59*Src.at(i, j)[0] + 0.11*Src.at(i, j)[1] + 0.3*Src.at(i, j)[2];
			if (I > 20)
			{
				I = 0.59*Src.at(i, j + 1)[0] + 0.11*Src.at(i, j + 1)[1] + 0.3*Src.at(i, j + 1)[2];
				if (I > 20)
				{
					nleft = j;
					nflag = 1;
					break;
				}
			}
		}
		if (nflag == 1)
		{
			break;
		}
	}
	//遍历寻找右边界
	nflag = 0;
	for (int j = Src.cols - 1; j > 0; j--)
	{
		for (int i = 0; i < Src.rows; i++)
		{
			uchar I = 0.59*Src.at(i, j)[0] + 0.11*Src.at(i, j)[1] + 0.3*Src.at(i, j)[2];
			if (I > 20)
			{
				I = 0.59*Src.at(i, j - 1)[0] + 0.11*Src.at(i, j - 1)[1] + 0.3*Src.at(i, j - 1)[2];
				if (I > 20)
				{
					nright = j;
					nflag = 1;
					break;
				}
			}
		}
		if (nflag == 1)
		{
			break;
		}
	}
	cout << ntop << endl;
	cout << nbottom << endl;
	cout << nleft << endl;
	cout << nright << endl;

	//根据边界值来获得直径
	int d = min(nright - nleft, nbottom - ntop);

	Mat imgRoi;
	imgRoi = Src(Rect(nleft, ntop, d, d));
	imwrite("H:/opencv/picture/aa.jpg", imgRoi);

	Mat dst(imgRoi.size(), CV_8UC3, Scalar(255, 255, 255));

	//建立映射表
	Mat map_x, map_y;
	map_x.create(imgRoi.size(), CV_32FC1);
	map_y.create(imgRoi.size(), CV_32FC1);
	for (int j = 0; j < d - 1; j++)
	{
		for (int i = 0; i < d - 1; i++)
		{
			map_x.at(i, j) = static_cast(d / 2.0 + i / 2.0*cos(1.0*j / d * 2 * CV_PI));
			map_y.at(i, j) = static_cast(d / 2.0 + i / 2.0*sin(1.0*j / d * 2 * CV_PI));
		}
	}

	remap(imgRoi, dst, map_x, map_y, CV_INTER_LINEAR, BORDER_CONSTANT, Scalar(0, 0, 0));
	//重设大小
	resize(dst, dst, Size(), 2.0, 1.0);

	imwrite("H:/opencv/picture/7.jpg", dst);
	waitKey();
	return 0;
}

特别提示：如有问题请参考相关文章【1】【2】【3】【4】