关于英伟达jetson nano的搭配双目摄像头跑ORB_SLAM2

1.安装系统

按照商家给的资料安装，将Ubuntu18.04LTS镜像拷贝到tf卡中，插上jetson nano就可以安装了。

2.系统设置

1. 进入系统我先把系统语言设置为中文，在右上角的设置中找到系统设置中的语言设置，添加中文并下载，拖动到第一位置，运用于整个系统，然后再重启一遍。还有就是建议把休眠功能关掉，默认是5分钟就黑屏，要重新登陆，在桌面右上角的设置中的屏幕设置中调成1个小时或者永久。（以为有的项目编译起来很久，如果黑屏了，会暂停编译？）
2. 第二个就是换源了，因为英伟达jetson nano和其他的不一样，所以源也有点小区别，这边我们参考清华源。
   换国内的ubuntu源
   镜像安装完成就说明ubuntu的操作系统已经在你的硬盘(tf卡)里了，但是为了之后下载速度，我们这里将ubuntu自身的源换成国内的镜像。
   1、首先对原来的源进行备份cp /etc/apt/sources.list /etc/apt/sources.list.old将原来的源复制到sources.list.old。
   2、选择就可以更改原来的列表了sudo gedit /etc/apt/sources.list，打开sources.list这个列表，打开把里面全部删掉，然后将下面的复制进去。（将注释内容删掉）

#清华源：
deb [arch=amd64,i386] http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main restricted
deb [arch=amd64,i386] http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates main restricted
deb [arch=amd64,i386] http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial universe
deb [arch=amd64,i386] http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates universe
deb [arch=amd64,i386] http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial multiverse
deb [arch=amd64,i386] http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates multiverse
deb [arch=amd64,i386] http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
deb [arch=amd64,i386] http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security main restricted
deb [arch=amd64,i386] http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security universe
deb [arch=amd64,i386] http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security multiverse
#原文链接：https://blog.csdn.net/weixin_44047777/article/details/103772146

3. 再执行sudo apt-get update刷新一下软件列表，如果没问题就可以接下去了。
4. 在设置的软件更新那里勾选ubuntu前4个选项和更新的前两空格。

3.安装ros系统

1. 添加下载ros的加载源

sudo sh -c '. /etc/lsb-release && echo "deb http://mirrors.ustc.edu.cn/ros/ubuntu/ $DISTRIB_CODENAME main" > /etc/apt/sources.list.d/ros-latest.list'

2. 添加密钥

sudo apt-key adv --keyserver hkp://pool.sks-keyservers.net --recv-key 421C365BD9FF1F717815A3895523BAEEB01FA116

或者

sudo -E apt-key adv --keyserver 'hkp://keyserver.ubuntu.com:80' --recv-key C1CF6E31E6BADE8868B172B4F42ED6FBAB17C654

3. 执行sudo apt-get update进行更新

sudo apt-get update

4. 下载指令

sudo apt-get install ros-melodic-desktop-full

下载melodic的桌面完整版，这里会出现两种问题，一种是无法定位软件包，这种情况首先考虑版本下没下对，例如ubuntu18.04对应的是melodic。另一种是关联树问题，这种情况查看在“软件和更新中”是否按照上面“换国内ubuntu源”中的第三点做了。

5. 这里要根据自己的Ubuntu版本替换ros-后面的melodic，因为我是18.04所以是melodic。

6. ros的初始化（贼容易出错，虽然只有两条指令，笔者也搞了挺久的）

sudo rosdep init

rosdep update

(安装完ros之后，sudo rosdep init出现找不到命令。执行sudo apt install python-rosdep2)
如果这两步出错，一般是网络问题，可以试试换手机热点多次尝试。如果还是不行，解决方法有两种，一种是dddd，第二种参考另外一位大神的文章，链接在下面
请点击我，哈哈哈哈

7. 设置环境变量
   依次执行

 echo "source /opt/ros/melodic/setup.bash" >> ~/.bashrc

source ~/.bashrc

然后再运行roscore试试

roscore

如果报没有找到roscore
先打开根目录下的/opt/ros/melodic/bin，看看有没有名字roscore的文件，如果没有，再运行以下指令

sudo apt-get install ros-melodic-desktop

如果出现了roscore的文件，ok，成功！再运行roscore即可。

4.安装ROB_SLAM

1. 安装工具下载
   配置前需要下载cmake、gcc、g++和Git工具
   安装指令如下，依次安装

sudo apt-get install cmake

sudo apt-get install git

sudo apt-get install gcc g++  

如果安装有问题，可能是网络原因，我是一次性就装上了的，应该都没问题。

2. 安装Pangolin
   先装几个依赖先

sudo apt-get install libglew-dev

sudo apt-get install libpython2.7-dev

安装pangolin的时候多试几次，因为不稳定，我刚开始装刷了好几遍才装上

git clone https://github.com/stevenlovegrove/Pangolin.git

下载好后，进入Pangolin文件夹。

cd Pangolin

创建编译文件夹，命名为build。

mkdir build

进入文件夹进行配置。

cd build
然后执行cmake
cmake
如果不行就试试cmake …
cmake ..
然后执行
cmake -DCPP11_NO_BOOSR=1 ..
然后编译

sudo make

（这里有个方法 加快速度，就是sudo make -j4意思是用你的电脑4个核心去编译）
最后编译安装。

sudo make install

3. 安装opencv
   1，先从官网下载安装包，或者下面我会留一个百度云链接，你自己去下，然后拷贝就行。

进入opencv-3.4.1这个文件包。

cd opencv-3.4.1

2,安装需要的依赖项。

sudo apt-get install build-essential libgtk2.0-dev libavcodec-dev libavformat-dev libjpeg.dev libtiff5.dev libswscale-dev libjasper-dev  

这边报错，说无法定位软件包libjasper-dev，那我们先不管他，安装其他依赖，发现也已经安装好了的。

3,初始编译过程

创建编译文件夹。

mkdir build

进入文件夹进行配置。

cd build

执行cmake命令。

cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..

然后进行编译

sudo make

（同理也可以用sudo make -j4）
编译完成也是挺久的，我等了一晚上，建议用make-j4编译，等编译完成后执行以下指令安装

sudo make install

（这边我编译到97%就报错，我是重启然后重新编译就好了，你可以多试几遍。）
4、配置编译环境
将OpenCV的库添加到路径，这样的目的是可以让系统找到。

sudo gedit /etc/ld.so.conf.d/opencv.conf 

执行命令后打开的可能是一个空白的文件，直接添加上下面这句代码。

/usr/local/lib
如图

执行下列命令使刚才的配置路径生效。

sudo ldconfig

配置bash。

sudo gedit /etc/bash.bashrc

把下列这两句代码，添加在文末处。

PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig  
export PKG_CONFIG_PATH  

保存后，执行如下命令使配置生效。

source /etc/bash.bashrc

执行下列命令更新。至此，ubuntu18.04下opencv3.4.1已经配置完成啦。

sudo updatedb
如果这边出现未找到sudo updatedb，请执行下面的指令

sudo apt-get install mlocate

安装opencv这一段参考的是另一位作者的，链接附下
谢谢大佬
4，安装eigen
执行

sudo apt-get install libeigen3-dev

5，安装rob_slam2
1.先要建一个工作空间，这是ros基础。
这里简单介绍一下（我这边用图像化的来操作，我比较习惯，当然你也可以用指令操作）
第一步
点开文件，右键点击，新建文件夹，取名为catkin_ws，（这里可以随便取，一般叫这个），点击进入这个文件夹，然后再新建一个文件夹，取名为src。
第二步
新建完src后，右键点击，选择在终端打开，此时当前目录是在catkin_ws里，运行catkin_make。
第三步
你已经建好了一个工作空间了，不错。

2.下载源码（如果需要在ROS环境下运行ORB_SLAM2，最好放在工作区的src文件夹下）
第一步
打开刚刚新建的工作空间的src文件夹，右键点击选择在终端打开。
第二步
运行下面的代码，将源码克隆到src下。

git clone https://github.com/raulmur/ORB_SLAM2.git ORB_SLAM2

由于源码在外网，可能不能一次成功，请多次尝试。
（笔者试了3遍，就成功了)
（终于会截图了，捂脸.jpg）
第三步
打开ROB_SLAM2

cd ORB_SLAM2

给build.sh文件权限

chmod +x build.sh

运行build.sh

./build.sh

这里我电脑卡死，重启还是不行，然后我就打开build.sh文件，将里面的全部make -j改为make（改成make -j4应该也行），这样就不会卡死，但是会报错。
解决方法：
报错是红色的，终端里可以看到其相应的文件目录，依次打开它们，然后在文件头部添加以下的头文件，也可以看下面的文件，全部添加就好了。

#include

需要根据实际情况，提示哪个文件usleep有问题，就去加这个头文件。
需要增加unistd.h的文件还有：
Examples/Monocular/mono_euroc.cc
Examples/Monocular/mono_kitti.cc
Examples/Monocular/mono_tum.cc
Examples/RGB-D/rgbd_tum.cc
Examples/Stereo/stereo_euroc.cc
Examples/Stereo/stereo_kitti.cc
src/LocalMapping.cc
src/LoopClosing.cc
src/System.cc
src/Tracking.cc
src/Viewer.cc
这样说好像说的不是很明白
我们用例子说明一下：（因为我build.sh已经编译好了，没截图，但build_ros.sh也有同样的问题，你参考参考就好了）

这边有红色报错，可以看到路径是、home/hyc/catkin_ws/src/ORB_SLAM2/Examples/ROS/ROB_SLAM2/src/AR/ViewerAR.cc 我们安装这个路径打开ViewerAR.cc文件
然后添加#include，保存关闭，再次运行，就ok了
这里感谢另外一位作者，如果还是解决不了可以参考下面链接，那个比较详细
其他问题请点我

如需要在ROS环境下运行ORB_SLAM，则需要执行下列三条命令：

chmod +x build_ros.sh

export ROS_PACKAGE_PATH=${ROS_PACKAGE_PATH}:~/catkin_ws/src/ORB_SLAM2/Examples/ROS

./build_ros.sh

看到这，ORB_SLAM2就已经安装完成啦！恭喜少侠！

5.利用摄像头运行实例

1. 双目摄像头（CSI-IMX219）操作标定
   这一步很烦，我标了3天才标好，所以我会特意出篇文章介绍这个标定，让你少走弯路。
   链接附下
   双目摄像头标定（如果你已经会用opencv标定，请参考下面）
   ------------------------------------------更新-------------------------------------------
   好家伙，虽然标定完了但是，标定文件的数据我也不是很懂（因为到时运行ROB_SLAM2的时候需要修改yaml文件，而里面的参数和我们标定出来的字母不匹配，所以我也不知道怎么填），在csdn上找了好久，只找到一篇比较详细的，链接附下：双目标定及其参数解读
   先把标定代码发出来（来源于上面那个链接）：

#include "opencv2/core/core.hpp" 
#include "opencv2/imgproc/imgproc.hpp"  
#include "opencv2/calib3d/calib3d.hpp"  
#include "opencv2/highgui/highgui.hpp"  
#include   
#include   
#include   
#include   
#include   
#include   
#include   
#include    
#include   
#include "cv.h"  
#include   
using namespace std;
using namespace cv;                                        
const int imageWidth = 640;                             
const int imageHeight = 480;
const int boardWidth = 9;                               
//横向的角点数目  
const int boardHeight = 6;                              
//纵向的角点数据  
const int boardCorner = boardWidth * boardHeight;      
//总的角点数据  
                            
//相机标定时需要采用的图像帧数  
const int squareSize = 26.0f;                              
//标定板黑白格子的大小单位mm（我的格子边长26mm）  

const int frameNumber = 59;
//图像命名 从1 ～ 58（59-1=58）
string folder_ = "./data/"; 
string format_R = "R";
string format_L = "L";
//例如： R1.jpg   L58.jpg 置于工程目录的 data文件夹下， 
const Size boardSize = Size(boardWidth, boardHeight);   
//标定板的总内角点  
Size imageSize = Size(imageWidth, imageHeight);Mat R, T, E, F;                                                 
//R 旋转矢量 T平移矢量 E本征矩阵 F基础矩阵  
vector rvecs;                                        
//旋转向量  
vector tvecs;                                        
//平移向量  
vector> 
imagePointL;                    
//左边摄像机所有照片角点的坐标集合  
vector> imagePointR;                    
//右边摄像机所有照片角点的坐标集合  
vector> objRealPoint;                  
//各副图像的角点的实际物理坐标集合  
vector cornerL;                              
//左边摄像机某一照片角点坐标集合  
vector cornerR;                              
//右边摄像机某一照片角点坐标集合  
Mat rgbImageL, grayImageL;
Mat rgbImageR, grayImageR;
Mat Rl, Rr, Pl, Pr, Q;                                 
//校正旋转矩阵R，投影矩阵P 重投影矩阵Q (下面有具体的含义解释）   
Mat mapLx, mapLy, mapRx, mapRy;                         
//映射表  
Rect validROIL, validROIR;                              
//图像校正之后，会对图像进行裁剪，这里的validROI就是指裁剪之后的区域 
/*事先标定好的左相机的内参矩阵
fx 0 cx
0 fy cy
0 0  1*/
Mat cameraMatrixL = (Mat_(3, 3) << 296.65731645541695, 0, 343.1975436071541,
										   0, 300.71016643747646, 246.01183552967473,
										   0, 0, 1);
//这时候就需要你把左右相机单目标定的参数给写上
//获得的畸变参数
Mat distCoeffL = (Mat_(4, 1) << -0.23906272129552558, 0.03436102573634348, 0.001517498429211239, -0.005280695866378259);
/*事先标定好的右相机的内参矩阵
fx 0 cx
0 fy cy
0 0  1*/
Mat cameraMatrixR = (Mat_(3, 3) << 296.92709649579353, 0, 313.1873142211607,
										   0, 300.0649937238372, 217.0722185756087,
										   0, 0, 1);
Mat distCoeffR = (Mat_(4, 1) << -0.23753878535018613, 0.03338842944635466, 0.0026030620085220105, -0.0008840126895030034);

void calRealPoint(vector>& obj, int boardwidth, int boardheight, int imgNumber, int squaresize)
	{ 	
		vector imgpoint;	
		for (int rowIndex = 0; rowIndex < boardheight; rowIndex++)	
			{		
				for (int colIndex = 0; colIndex < boardwidth; colIndex++)		
				{			
					imgpoint.push_back(Point3f(rowIndex * squaresize, colIndex * squaresize, 0));		
				}	
		}	
		for (int imgIndex = 0; imgIndex < imgNumber; imgIndex++)	
		{		
			obj.push_back(imgpoint);	
		}
}
void outputCameraParam(void)                   
{	/*保存数据*/	/*输出数据*/	
	FileStorage fs("intrinsics.yml", FileStorage::WRITE);  
	//文件存储器的初始化
	if (fs.isOpened())	
	{		
		fs << "cameraMatrixL" << cameraMatrixL << "cameraDistcoeffL" << distCoeffL << "cameraMatrixR" << cameraMatrixR << "cameraDistcoeffR" << distCoeffR;		
		fs.release();		
		cout << "cameraMatrixL=:" << cameraMatrixL << endl << "cameraDistcoeffL=:" << distCoeffL << endl << "cameraMatrixR=:" << cameraMatrixR << endl << "cameraDistcoeffR=:" << distCoeffR << endl;
	}	
	else	
	{		
		cout << "Error: can not save the intrinsics!!!!!" << endl;	
	}	
	fs.open("extrinsics.yml", FileStorage::WRITE);	
	if (fs.isOpened())	
	{		
		fs << "R" << R << "T" << T << "Rl" << Rl << "Rr" << Rr << "Pl" << Pl << "Pr" << Pr << "Q" << Q;
		cout << "R=" << R << endl << "T=" << T << endl << "Rl=" << Rl << endl << "Rr=" << Rr << endl << "Pl=" << Pl << endl << "Pr=" << Pr << endl << "Q=" << Q << endl;
		fs.release();	
	}	
	else		
		cout << "Error: can not save the extrinsic parameters\n";
}

int main(int argc, char* argv[])
{	
	Mat img;	
	int goodFrameCount = 1;
	cout << "Total Images：" << frameNumber << endl;
	while (goodFrameCount < frameNumber)	
	{	
		cout <<"Current image ：" << goodFrameCount << endl;
		string 	filenamel,filenamer;
		//char filename[100];		
		/*读取左边的图像*/		
                filenamel = folder_ + format_L+	to_string(goodFrameCount)+".jpg";	
		rgbImageL = imread(filenamel, CV_LOAD_IMAGE_COLOR);		
		cvtColor(rgbImageL, grayImageL, CV_BGR2GRAY);
		/*读取右边的图像*/		
		//sprintf_s(filename, "D:/dual_camera_clibration/dual/R%d.jpg", goodFrameCount );	
                filenamer = folder_ + format_R+	to_string(goodFrameCount)+".jpg";	
		rgbImageR = imread(filenamer, CV_LOAD_IMAGE_COLOR);		
		cvtColor(rgbImageR, grayImageR, CV_BGR2GRAY);		
		bool isFindL, isFindR;		
		isFindL = findChessboardCorners(rgbImageL, boardSize, cornerL);		
		isFindR = findChessboardCorners(rgbImageR, boardSize, cornerR);		
		if (isFindL == true && isFindR == true)  
			//如果两幅图像都找到了所有的角点 则说明这两幅图像是可行的  		
		{						
			cornerSubPix(grayImageL, cornerL, Size(5, 5), Size(-1, -1), TermCriteria(CV_TERMCRIT_EPS | CV_TERMCRIT_ITER, 20, 0.1));	
			drawChessboardCorners(rgbImageL, boardSize, cornerL, isFindL);
			imshow("chessboardL", rgbImageL);	
			imagePointL.push_back(cornerL);		
			cornerSubPix(grayImageR, cornerR, Size(5, 5), Size(-1, -1), TermCriteria(CV_TERMCRIT_EPS | CV_TERMCRIT_ITER, 20, 0.1));	
			drawChessboardCorners(rgbImageR, boardSize, cornerR, isFindR);		
			imshow("chessboardR", rgbImageR);		
			imagePointR.push_back(cornerR);						
			goodFrameCount++;			
			cout << "The image" << goodFrameCount << " is good" << endl;	
		}		
		else		
		{			
			cout << "The image "<< goodFrameCount <<"is bad please try again" << endl;
			goodFrameCount++;
		}		

		if (waitKey(10) == 'q')		
		{			
			break;		
		}	
	}	
	/*	计算实际的校正点的三维坐标	根据实际标定格子的大小来设置	*/	
	calRealPoint(objRealPoint, boardWidth, boardHeight, frameNumber-1, squareSize);	
	cout << "cal real successful" << endl;
	/*	标定摄像头	由于左右摄像机分别都经过了单目标定	所以在此处选择flag = CALIB_USE_INTRINSIC_GUESS	*/	
	double rms = stereoCalibrate(objRealPoint, imagePointL, imagePointR,
		cameraMatrixL, distCoeffL,
		cameraMatrixR, distCoeffR,
		Size(imageWidth, imageHeight), R, T, E, F, CV_CALIB_USE_INTRINSIC_GUESS,
		TermCriteria(TermCriteria::COUNT + TermCriteria::EPS, 80, 1e-5));	
	cout << "Stereo Calibration done with RMS error = " << rms << endl;
	stereoRectify(cameraMatrixL, distCoeffL, cameraMatrixR, distCoeffR, imageSize, R, T, Rl, Rr, Pl, Pr, Q,		CALIB_ZERO_DISPARITY, -1, imageSize, &validROIL, &validROIR);   

	initUndistortRectifyMap(cameraMatrixL, distCoeffL, Rl, Pr, imageSize, CV_32FC1, mapLx, mapLy); 	
	initUndistortRectifyMap(cameraMatrixR, distCoeffR, Rr, Pr, imageSize, CV_32FC1, mapRx, mapRy);	
	Mat rectifyImageL, rectifyImageR;		
	cout << "debug"<

简单介绍一下注意事项：

• 该标定方法广角和平面摄像头都适用。
• 照片一定要按顺序命名。
• 如果其中有一张照片报错，就把那张照片先删掉再重新编号。
  最终结果如下：
  

2. 修改yaml文件
   按照下图路径打开下面的EuRoC.yaml文件，并按照该链接的要求修改链接
   
3. 运行摄像头
   这边我们需要一个这个摄像头的ros功能包，这边有两个方案，一个是官方的包（我还没试过），所以我先介绍下面这个包。
   第一步
   打开一个新终端，输入

cd ~/catkin_ws/src
git clone https://github.com/rt-net/jetson_nano_csi_cam_ros.git 

接下来下载一些gscam的依赖，上述包组是依赖于gscam的，因此也要把gscam克隆下来

sudo apt-get install gstreamer1.0-tools libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libgstreamer-plugins-good1.0-dev
cd ~/catkin_ws/src
git clone https://github.com/ros-drivers/gscam.git

接下来我们进入到克隆好的gscam目录中使用sed命令添加一行参数

cd ~/catkin_ws/src/gscam
sed -e "s/EXTRA_CMAKE_FLAGS = -DUSE_ROSBUILD:BOOL=1$/EXTRA_CMAKE_FLAGS = -DUSE_ROSBUILD:BOOL=1 -DGSTREAMER_VERSION_1_x=On/" -i Makefile

然后我们在src目录下直接编译

cd ~/catkin_ws
catkin_make
source devel/setup.bash

详情请点击我
这时你的工作空间catkin_make/src下应该是这样的

这里要运行摄像头请先打开jetson_nano_csi_cam_ros下的launch文件运行

roslaunch jetson_dual_csi_cam.launch

运行后会有报个WARN，这个不用管。意思是没找到标定文件，但我们的目的只是打开摄像头就行了，这时我们运行rostopic list可以看到
说明摄像头运行成功。
4. 修改摄像头的端口
打开catkin_ws/src/ORB_SLAM2/Examples/ROS/ORB_SLAM2/src/ros_stereo.cc
这个文件，并按照下面的进行修改摄像头的参数

保存退出，重新编译Example

cd ~/catkin_ws/src/ORB_SLAM2/Example/ROS/ORB_SLAM2

mkdir build

cd build

cmake ..

make 

这里如果报错，那就先把build文件夹删掉再运行上面的指令。
运行ROB_SLAM2
这里先要打开catkin_ws/src/ORB_SLAM2/Vocabulary中，将压缩包解压。
然后运行

rosrun ORB_SLAM2 Stereo /home/xxx/catkin_ws/src/ORB_SLAM2/Vocabulary/ORBvoc.txt /home/xxx/catkin_ws/src/ORB_SLAM2/Examples/Stereo/EuRoC.yaml false

xxx改为自己的用户名
解释一下这串代码

• Stereo 是双目 如果你是单目也可以改为Mono
• /home/xxx/catkin_ws/src/ORB_SLAM2/Vocabulary/ORBvoc.txt是你刚刚解压的那个文件的路径
• /home/xxx/catkin_ws/src/ORB_SLAM2/Examples/Stereo/EuRoC.yaml是你根据标定结果修改的yaml的文件路径
• false暂时不懂，大概应该是模式的选择，后续看看，但这必须写，不然会报格式错误
• 如果没问题就如下图
  5.关于运行错误
  
  解决方法：这是因为yaml文件格式错误，看看缩进有没问题
  
  就像这个的rows明显缩进去了一格，在前面加个空格就好了
  
  再找找yaml文件有没有同类错误，将他改过来就好。
  opencv包链接：
  链接：https://pan.baidu.com/s/18h7JsCdSfJU8RH8-3SswPA
  提取码：yyds

6.结束