ZED2i + 激光雷达livox mid-70联合标定

ZED2i + 激光雷达livox mid-70联合标定

0.autoware

• 使用autoware的calibration_toolkit联合标定双目相机和激光雷达(ZED and VLP-16)

https://blog.csdn.net/qq_44892836/article/details/122284492

• 【Autoware】激光雷达-摄像头联合标定1- Calibration Tool Kit

https://www.jianshu.com/p/5e5902b46f3d

• 使用Autoware进行(双目)相机与激光雷达的联合标定

https://blog.csdn.net/X_kh_2001/article/details/89163659?spm=1001.2101.3001.6650.9&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-9-89163659-blog-125146447.pc_relevant_3mothn_strategy_and_data_recovery&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-9-89163659-blog-125146447.pc_relevant_3mothn_strategy_and_data_recovery&utm_relevant_index=13

• autoware标定工具进行固态激光雷达与相机的联合标定并运用标定结果进行投影(C++)

https://blog.csdn.net/qq_38222947/article/details/125146447

• 激光雷达和摄像头联合标定

https://blog.csdn.net/linxiangup/article/details/124877840

• Ubuntu 20.04怎么编译AutoWare.auto 源码

https://www.pudn.com/news/63086770eb43c1707025a637.html

(尝试使用了下载了ros2，编译成功ok,但autoware没有下载下来？)
1. 安装ubuntu

咸鱼1月7日
ubuntu20.04 150G
安装todesk、星火软件商店

2.安装cuda

1、zr安装11.1
2、卸载cuda

https://blog.csdn.net/Williamcsj/article/details/123514435`

3、zy按照ZED SDK要求和ubuntu版本安装11.7cuda和cudnn（11.x版本）

https://blog.csdn.net/weixin_42483745/article/details/124742013

其中cuda终端输入nvidia-smi命令发现有驱动下载的时候不选择第一个；其中cudnn解压下载的包时候，生成的文件夹和介绍中不一样，解压为包的名字而不是cuda,将解压好的包里的文件复制到cuda-11.7中。

3.安装ros1
1、ros2-foxy也安装了，原来是想使用autoware，但ubuntu版本原因，失败。

https://www.pudn.com/news/63086770eb43c1707025a637.html`

2、安装ros1
如何将ROS1和ROS2安装到同一个ubuntu系统中

https://blog.csdn.net/slampai/article/details/127933085

ros1
Ubuntu20.04安装ros及其应用

https://blog.csdn.net/seek97/article/details/123898543?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167370368116800182788870%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=167370368116800182788870&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-1-123898543-null-null.142^v71^wechat,201^v4^add_ask&utm_term=ubuntu20.04%E5%AE%89%E8%A3%85ros1&spm=1018.2226.3001.4187

4.安装opencv
zr安装opencv(ZED的要求)
5.安装zed sdk
一定要对应好版本
ROS下ZED相机的安装与标定

https://blog.csdn.net/qq_44892836/article/details/122257542

重启电脑完成安装，运行测试程序

cd /usr/local/zed/tools
./ZED_Depth_Viewer

（失败了，显示不出！./ZED_Explorer可以显示，，深度图无法现实，试了好多次。。ZED相机标定可以打开）
！！启动 ZED相机节点 cd /usr/local/zed/tools/zed_ws（在zed_ws下运行）

source ./devel/setup.bash
roslaunch zed_wrapper zed.launch

新建一个的终端运行

rviz

（显示不出，但是可以显示图片）点rviz左下角add，by topic里面可选择camera中的image

6.安装livox 和配置ros
Ubuntu20.04系统安装Livox ROS Driver

https://www.cnblogs.com/gooutlook/p/16979136.html

livox-mid70激光雷达使用实录

https://zhuanlan.zhihu.com/p/487112606?utm_id=0

！！启动激光雷达方式 cd home/zy/Livox-SDK/build/ws_livox（在ws_livox下运行）
（此种方式启动的rviz只能在一个椭圆中显示点云，原因大疆的launch文件中配置的rviz应该有问题）（更改decay time好像也行）

source ./devel/setup.sh
roslaunch livox_ros_driver livox_lidar_rviz.launch

其中在里面设置Decay Time=10，画面更清晰
方法二（启动）：大疆激光雷达livox avia 在ubuntu18.04+ROS中基本使用方法

https://blog.csdn.net/LSG_Down/article/details/127027574

7.激光雷达和相机联合标定之开源代码和软件汇总（2004-2021）

https://blog.51cto.com/u_14439393/5752074

其中 Matlab Lidar Toolbox (2018m)target-based方法，使用了chessboard, 理论上采集一个pose就可以求解。特征提取分别自动提取chessboard在相机和激光雷达坐标系的平面和边缘信息，利用line correspondence (direction constraint + point to line constraint)和plane correspondence (normal constraint + point to plane constraint)进行标定。官方说明：https://ww2.mathworks.cn/help/lidar/ug/lidar-and-camera-calibration.html
livox_camera_lidar_calibration（2020c）Livox官方提供的Lidar-Camera标定代码，图像和点云都是手动标点。 github开源: https://github.com/Livox-SDK/livox_camera_lidar_calibration都可尝试。

• 1、velodyne VIP16激光雷达和basler usb相机在Ros下同时打开，并录制bag

https://blog.csdn.net/qq_27339501/article/details/106637564?spm=1001.2014.3001.5502

• 2、MATLAB终于可以完成相机与激光雷达的标定啦！！

https://blog.csdn.net/qq_27339501/article/details/110224436?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167318247716800222882958%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=167318247716800222882958&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-1-110224436-null-null.142^v70^control,201^v4^add_ask&utm_term=MATLAB%E7%BB%88%E4%BA%8E%E5%8F%AF%E4%BB%A5%E5%AE%8C%E6%88%90%E7%9B%B8%E6%9C%BA%E4%B8%8E%E6%BF%80%E5%85%89%E9%9B%B7%E8%BE%BE%E7%9A%84%E6%A0%87%E5%AE%9A%E5%95%A6%EF%BC%81%EF%BC%81%28%E5%8C%85%E5%90%ABmatlab2020%E4%B8%8B%E8%BD%BD%E9%93%BE%E6%8E%A5%29&spm=1018.2226.3001.4187

8.激光雷达和zed相机录制bag

自己的命令

rosbag record /livox/lidar /zed/zed_node/left_raw/image_raw_color

velodyne VIP16激光雷达和basler usb相机在Ros下同时打开，并录制bag

https://blog.csdn.net/qq_27339501/article/details/106637564?spm=1001.2014.3001.5502

#按照6.2完成将数据bag中的激光雷达数据和相机数据分割出来。
bag至.pcd提供的代码为c无法使用，之前做过，笔记1第73页。
[学习点云]ROS中解析bag包中的点云文件到pcd格式

https://blog.csdn.net/KYJL888/article/details/103118213?spm=1001.2014.3001.5506

bag至.jpg（zr电脑上ubuntu,环境zy2.7，使用6.2的代码，更改了topics,和位置，但跑步出图片，于是根据下面修改代码cv_image = bridge.compressed_imgmsg_to_cv2(msg, "bgr8")因为我的图片类型是 sensor_msgs/CompressedImage，并不能直接使用。）
ROSBAG使用(二)：使用python提取bag中的图像和点云

https://blog.csdn.net/MemoryD/article/details/105174348

#检测bag

查看bag信息

rosbag info ***.bag

ROSBAG使用(一)：可视化bag文件

https://www.ngui.cc/el/561376.html?action=onClick

RVIZ可视化rosbag雷达数据

https://blog.csdn.net/MaoSiri/article/details/126975411

其中关注topics(rosbag info 里有)和fram_id（rostopic echo /livox/lidar | grep frame_id）其中/livox/lidar为topic

• 循环播包以及倍速播包
  键入命令

rosbag play ***.bag -l

9.使用autoware
在zr电脑配置

使用autoware的calibration_toolkit联合标定双目相机和激光雷达(ZED and VLP-16)

https://blog.csdn.net/qq_44892836/article/details/122284492

相机和激光雷达的联合标定方法(解决了报错问题)

https://blog.csdn.net/weixin_44767160/article/details/122926370

roscore回放雷达相机 bag

roscore
#新建终端
rosbag play --pause ****.bag /livox/lidar:=/points_raw
#-pause 表示在启动瞬间暂停，无该参数可在启动瞬间手动按空格暂停
#进入calibration目录
cd ~/calibration_toolkit/calibration
启动标定工具
#终端输入：
source devel/setup.bash
rosrun calibration_camera_lidar calibration_toolkit