【SLAM】kalibr工具IMU和双目相机标定

推荐看一下博客，评论内容也很丰富 ，很多问题都能在评论中找到答案：
https://blog.csdn.net/u011178262/article/details/83316968#_images__imu__201

标定记录

标定IMU参数 使用工具

https://github.com/gaowenliang/imu_utils

遇见的问题记录

1. sudo apt-get install libdw-dev
2. 下载依赖git clone https://github.com/gaowenliang/code_utils.git，catkin_make编译，这时会遇到头文件错误fatal error: backward.hpp: No such file or directory，将CMakeLists.txt中的include_directories("include")改为include_directories(include include/code_utils)，再重新编译即可
3. 下载imu_utils到同一工作空间，git clone https://github.com/gaowenliang/imu_utils.git，catkin_make编译即可

launch文件设置

运行程序前修改launch的 topic 等参数
launch文件中， 这两个参数的意义是什么？应该怎么设置呢？

max_time_min：采集IMU数据的时间，越长越好，单位分钟；
max_cluster：Allan方差的cluster，imu_utils中的launch文件中都是100，我一般也设置100

IMU标定结果

运行命令

//collect the data while the IMU is Stationary, with a two hours duration;
// (or) play rosbag dataset;
  rosbag play -r 200 imu_A3.bag
//roslaunch the rosnode;
  roslaunch imu_utils A3.launch

[ INFO] [1573104067.597104680]: Loaded imu_topic: /imu0
[ INFO] [1573104067.598861941]: Loaded imu_name: indemind
[ INFO] [1573104067.600515058]: Loaded data_save_path: /home/indemind/ROS_ws/IMU_calibrate_ws/src/imu_utils/data/indemind
[ INFO] [1573104067.602486512]: Loaded max_time_min: 140
[ INFO] [1573104067.604383907]: Loaded max_cluster: 100
gyr x  num of Cluster 100
gyr y  num of Cluster 100
gyr z  num of Cluster 100
acc x  num of Cluster 100
acc y  num of Cluster 100
acc z  num of Cluster 100
wait for imu data.

gyr x  numData 2497765
gyr x  start_t 1e+09
gyr x  end_t 1.00001e+09
gyr x dt 
-------------8400.35 s
-------------140.006 min
-------------2.33343 h
gyr x  freq 297.341
gyr x  period 0.00336315
gyr y  numData 2497765
gyr y  start_t 1e+09
gyr y  end_t 1.00001e+09
gyr y dt 
-------------8400.35 s
-------------140.006 min
-------------2.33343 h
gyr y  freq 297.341
gyr y  period 0.00336315
gyr z  numData 2497765
gyr z  start_t 1e+09
gyr z  end_t 1.00001e+09
gyr z dt 
-------------8400.35 s
-------------140.006 min
-------------2.33343 h
gyr z  freq 297.341
gyr z  period 0.00336315
Gyro X 
C    -1.07758     27.3194     -5.1739    0.600027 -0.00143079
 Bias Instability 1.35067e-05 rad/s
 Bias Instability 1.71993e-05 rad/s, at 92.5101 s
 White Noise 6.36661 rad/s
 White Noise 0.00177533 rad/s
  bias -0.463813 degree/s
-------------------
Gyro y 
C   -0.958403       28.88    -1.64238    0.635078 0.000132588
 Bias Instability 2.92378e-05 rad/s
 Bias Instability 3.48089e-05 rad/s, at 45.9339 s
 White Noise 8.41519 rad/s
 White Noise 0.00236201 rad/s
  bias 0.150195 degree/s
-------------------
Gyro z 
C   -0.93111    23.7995   -4.12769   0.669833 -0.0105608
 Bias Instability 2.81749e-05 rad/s
 Bias Instability 2.03788e-05 rad/s, at 246.536 s
 White Noise 5.54092 rad/s
 White Noise 0.0015733 rad/s
  bias 0.228696 degree/s
-------------------
==============================================
==============================================
acc x  numData 2497765
acc x  start_t 1e+09
acc x  end_t 1.00001e+09
acc x dt 
-------------8400.35 s
-------------140.006 min
-------------2.33343 h
acc x  freq 297.341
acc x  period 0.00336315
acc y  numData 2497765
acc y  start_t 1e+09
acc y  end_t 1.00001e+09
acc y dt 
-------------8400.35 s
-------------140.006 min
-------------2.33343 h
acc y  freq 297.341
acc y  period 0.00336315
acc z  numData 2497765
acc z  start_t 1e+09
acc z  end_t 1.00001e+09
acc z dt 
-------------8400.35 s
-------------140.006 min
-------------2.33343 h
acc z  freq 297.341
acc z  period 0.00336315
acc X 
C -3.78414e-05   0.00158756 -0.000117149  2.70013e-05 -4.53868e-07
 Bias Instability 0.000212839 m/s^2
 White Noise 0.0255478 m/s^2
-------------------
acc y 
C -6.05155e-05    0.0017489 -0.000223642  2.41808e-05 -3.24484e-07
 Bias Instability 0.000210185 m/s^2
 White Noise 0.0261898 m/s^2
-------------------
acc z 
C  -0.00010449   0.00319079    -0.001436   0.00011517 -1.01769e-06
 Bias Instability 0.000243757 m/s^2
 White Noise 0.025948 m/s^2
-------------------

准备标定文件

source ~/kalibr_workspace/devel/setup.bash

注意要在dataset-dir后加上/.，在根目录运行这个命令即可（在文件目录下输出会生成一个很小的bag文件），输出的bag文件就在根目录下。
制作bag包

kalibr_bagcreater \
  --folder ~/kalibr_workspace/data/dataset/dataset-dir/. --output-bag awsome.bag

运行标定命令

运行标定命令

kalibr_calibrate_imu_camera –target xx/target.yaml –cam xx/camchain.yaml –imu xx/imu.yaml –bag xx/xx.bag –bag-from-to 5 45
//标定相机
kalibr_calibrate_cameras \
    --target ~/ROS_ws/kalibr_workspace/data/target.yaml \
    --bag /home/indemind/ROS_ws/kalibr_workspace/data/dataset/2019-11-06_11_02_ModuleData_CAM/awsome.bag \
    --bag-from-to 5 30 \
    --models omni-radtan omni-radtan \
    --topics /cam0/image_raw /cam1/image_raw
    --show-extraction
//标定相机和IMU
kalibr_calibrate_imu_camera \
  --target ~/kalibr_workspace/data/target.yaml \
  --cam ~/kalibr_workspace/data/camchain.yaml \
   --imu ~/kalibr_workspace/data/imu.yaml \
  --bag ~/kalibr_workspace/data/awsome.bag \
  --bag-from-to 5 45 \
  --show-extraction

The --show-extraction argument can be used with the calibration tools to visualize the calibration target extraction process. This might help to find problems with the target configuration and extraction.

优化失败问题

打开--show-extraction选项在标定过程中可以可视化角点检测情况是否良好
发现角点重投影出现严重错误
角点重投影是为了显示一下用计算出来的相机矩阵对角点进行重投影得到的理论位置。
也是为了显示，理论得到的角点与实际角点之间的差别。
重投影误差最小化通常作为相机标定中的一个目标函数来用的。
然后使用lakibr的相机标定重新标定了一下模组，得到的结果重投影比较准确
注意要选择合适的相机模型和畸变模型
相机模型和畸变模型：https://blog.csdn.net/okasy/article/details/90665534#t7

标定结果分析 重投影误差

重投影误差在 0.1~0.2 以内，标定结果较好。 我对相机标定完，发现右边的图范围在1～~1之间， 这样是不是标定的效果很差？ 怎么解决呢？
误差范围接近1的话效果应该很差
博主，请问标定误差大 一般出现的原因是什么？

• a. 标定板pattern尽量选择apriltag，尽量不要用纸质的；
• b. 选择合适的相机模型；根据经验吧，小FOV（小于90度）的用pinhole+radtan模型，广角的用pinhole+equidistance模型，然后还有全向镜头的模型
• c. 标定手法看看TUM的 https://vision.in.tum.de/data/datasets/visual-inertial-dataset中的CALIBRATION SEQUENCES，看一下他的视频

去除畸变与外参标定先后关系

dymymao9个月前#4楼博主你好，请问一般使用双目会去做双目极线对齐 cv::stereoRectify，这时是把双目矫正后的图像和imu放入kalibr标定Tic，还是先标定Tic'，再去双目极线矫正调整Ric=Ric'Rl;这两种做法哪个更好?收起回复
白巧克力亦唯心回复 dymymao
两种都可以，但是要注意使用方式。通常大家都是用没有去畸变的图像和 imu 一起标定外参数，这时候标定的外参数是不能用来和rectify后的图像一起做vio的。因为rectify的图像是在畸变图像上还会加一个微小的旋转，即畸变图像和imu之间的外参数 和 rectify 图像跟imu之间的外参数是不一样的。
dymymao回复 白巧克力亦唯心
如果是畸变图像和imu做的标定得到Tic',双目矫正的左目旋转为Rcc'->Tcc'，则双目VIO的Tic=Tic'Tcc'^T。我理解的对吗？ 此外，双目参数的标定 用kalibr的Multiple camera calibration相比直接用opencv接口stereoCalibrate会好很多吗？
白巧克力亦唯心回复 dymymao
可以这么认为，Tcc' 只是一个旋转矩阵，平移为0. 以前我用过opencv 和kalibra两种方式标定摄像头。在我标定过程中，kalibra标定的结果确实更好，当然这可能跟我采集数据的方式有关。无论如何，kalibra 相对于opencv标定的优点更多，比如 kalibra 使用apriltag 标定板，使得每个标定格子是带 id 的，这样就使得标定过程相机可以只捕捉部分标定板就能完成标定，相机运动可以更任意，更便捷。

参考链接

IMU噪声模型：从零开始的 IMU 状态模型推导
IMU校正IMU校正以及姿态融合 - shenshikexmu的博客 - CSDN博客