Autoware 1.14 源码编译+感知SSD+YOLOv3+Point Pillar模块运行(步骤+报错+解决方法记录)

本文内容&顺序

  • [√] 源码编译Autoware 1.14.0
  • [√] Autoware运行yolo3进行目标检测(vision_darknet_yolo3)
  • [√] Autoware运行SSD进行目标检测(vision_ssd_detect)
  • [√] Autoware运行point pillars进行目标检测(lidar_point_pillars)
  • [√] 其他问题/操作记录
  • [√] 结果截图
  • 2020.6.24更新:刚刚发现autoware把源码从gitlab转移到了github,本文里有些链接可能失效了(已全部替换为新的)。新的链接在此
    • 官网:https://www.autoware.ai/
    • Autoware代码新索引: https://github.com/Autoware-AI
    • 感知模块:https://github.com/Autoware-AI/core_perception
    • 源码编译教程: https://github.com/Autoware-AI/autoware.ai/wiki/Source-Build

源码编译Autoware

  • 为什么要源码编译:
    • 只运行yolo3和pointpillar: 是不需要源码编译的。直接下载 官方的docker(教程)、下载权重文件放在指定目录、在Autoware图形界面点点点就ok了。网上有很多参考教材,本文也记录了图形界面操作的方法。
    • 运行SSD:需要源码编译,因为官方docker里没有caffe
    • 测试自己写的其他感知算法:也需要源码编译

建议:
如果只想试试Autoware,强烈建议先用官方发布的docker玩一玩(一言难尽,请自行体验)。
如果决定一定要用Autoware做自车的自动驾驶平台,那请往下看源码编译吧

  • 下面是源码编译Autoware的准备:
    • 参考资料 autoware官网:

      • (旧,已弃用,2020.6.24): https://gitlab.com/autowarefoundation/autoware.ai/autoware/-/wikis/Source-Build
      • (新:2020.6.24测试可用):
        https://github.com/Autoware-AI/autoware.ai/wiki/Source-Build
    • 步骤:参照官网一步步做,但遇到了一堆问题 在这个文章里记录一下。

    • 环境:docker。因为autoware要安装的库很多,防止它搞坏我外面的电脑环境,我就用docker(方便重来)。事实证明我的确重来了三次orz。。。

    • 源码编译流程:环境配置(CUDA & QT & ROS)、下载autoware、编译autoware。下面从环境配置开始说~ 我的软硬件环境是:

NVIDIA RTX 2060 
CPU: Intel® Core™ i7-9700 CPU @ 3.00GHz × 8 

Ubuntu 18.04 including Python 3.6 environment
NVIDIA CUDA 10.2.89 including cuBLAS 10.2.2.89
NVIDIA cuDNN 7.6.5
TensorRT 7.0.0

1. 找到一个docker image 预装cuda之类的

我用的是pytorch的docker image

下载地址:

https://docs.nvidia.com/deeplearning/frameworks/pytorch-release-notes/rel_20-01.html#rel_20-01

启动命令:

docker run -it --ipc=host -p 10001:22 --name=‘my_autoware’ -v /home/zsw/shared_dir/:/home/autoware/shared_dir --gpus all nvcr.io/nvidia/pytorch:20.01-py3 /bin/bash

2. 安装QT

由于qt没啥官网教程, 我是按照这个博客安装: https://blog.csdn.net/qq_43627981/article/details/105164183

其中,下载5.9.5版本的QT的下载地址是: http://download.qt.io/archive/qt/5.9/5.9.5/

安装步骤我就不记录了,下面是一些报错和解决:

报错(1) ./qt-opensource-linux-x64-5.9.5.run:error while loading shared libraries: libdbus-1.so.3: cannot open shared object file: No such file or directory

解决:

sudo apt-get install libdbus-1-3

报错(2)./qt-opensource-linux-x64-5.9.5.run: error while loading shared libraries: libX11-xcb.so.1: cannot open shared object file: No such file or directory

解决:

sudo apt install -y gconf-service libasound2 libatk1.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 libgtk-3-0 libnspr4 libpango-1.0-0 libpangocairo-1.0-0 libstdc++6 libx11-6 libx11-xcb1 libxcb1 libxcomposite1 libxcursor1 libxdamage1 libxext6 libxfixes3 libxi6 libxrandr2 libxrender1 libxss1 libxtst6 ca-certificates fonts-liberation libappindicator1 libnss3 lsb-release xdg-utils wget

如果有什么没装上,在上面那条命令后面加上 --fix-missing

tips: 某些package找不到可以尝试更换source:

我试过阿里云和国外(bionic) source互相切换。但是最好不要总切,比如ros安装的时候key会有一些问题很麻烦。

(3)这个不是报错,是配置环境变量

vim /etc/profile

   export PATH="/home/autoware/installation/Tools/QtCreator/bin:$PATH"
   export PATH="/home/autoware/installation/5.9.5/gcc_64/bin:$PATH"

(4) 报错Plugin initialization failed: Cannot create OpenGL context.

事实证明我后来安装了opengl

3. 安装ros melodic

官网: http://wiki.ros.org/melodic/Installation/Ubuntu
参考博客: https://forum.ouster.at/d/19-ros-melodic-installation-on-ubuntu-18-04-bionic
基本是按照官网来装的.注意要用ubuntu bionic的源

4. 下载 Autoawre 源码

按照官网步骤一步步走,我就不记录了:
https://github.com/Autoware-AI/autoware.ai/wiki/Source-Build

注意版本选择:1.14.0

命令改为:

$ wget -O autoware.ai.repos “https://raw.githubusercontent.com/Autoware-AI/autoware.ai/1.14.0/autoware.ai.repos”

5. 编译 Autoawre

请好好记住这条命令,它在接下来的流程会时刻伴随我们orz:

AUTOWARE_COMPILE_WITH_CUDA=1 colcon build --cmake-args -DCMAKE_BUILD_TYPE=Release

(1) 报错 FATAL_ERROR "GPU support on Melodic requires CUDA<=10.0

说当前的CUDA版本不对,需要<=10.0。估计是开发者没有测试其他CUDA版本这里偷个懒直接限制住不让编译。。但我用10.2也可以编译通过的。(用10.2是为了以后测试较新的算法,比如使用高版本pytorch)。所以先把这个报错改了:

/home/autoware/autoware.ai/src/autoware/common/autoware_build_flags/cmake/autoware_build_flags-extras.cmake 第21行,把10.0全部改成10.2:

    if(NOT ${CUDA_VERSION} VERSION_LESS "10.2"
            AND NOT ${CUDA_VERSION} VERSION_EQUAL "10.2" )
      message(FATAL_ERROR "GPU support on Melodic requires CUDA<=10.2")

编译很慢,164个package,大概要8分钟。编译成功。

用这条命令测试Autoware是否安装成功(打开图形界面):

roslaunch runtime_manager runtime_manager.launch

会出现报错,打不开界面,下面记录了我debug的过程:

(2) autoware编译通过, 单独节点可以跑,比如SSD,单独rviz不能跑,报错为

libGL error: No matching fbConfigs or visuals found
libGL error: failed to load driver: swrast

这是因为docker环境中为加入英伟达环境硬件加速,需要build image的时候加入环境变量

	ENV NVIDIA_VISIBLE_DEVICES \
	    ${NVIDIA_VISIBLE_DEVICES:-all}
	ENV NVIDIA_DRIVER_CAPABILITIES \
	    ${NVIDIA_DRIVER_CAPABILITIES:+$NVIDIA_DRIVER_CAPABILITIES,}graphics

并在run.sh内的docker run命令中添加

--env="QT_X11_NO_MITSHM=1" \

参考链接:https://stackoverflow.com/questions/59388345/rviz-in-nvidia-docker-container

(3) 再次运行run_manager的launch报错为:

/home/autoware/Autoware/src/autoware/utilities/runtime_manager/scripts/subnet.py
print “Usage: {} ”.format(sys.argv[0])语法错误

分析:此错误是python版本不对,(按理说解决方法是在anaconda下建立py27的环境,运行launch),但请注意!!!!这是个大坑!!不要建python2.7的环境!不要!不要!如果改了,会蹦出一个框说时区不对。。。我搞了3小时也没改好时区,后来直接用python3跑,这个时区问题就神奇的消失了

解决:所以说直接用python3的环境跑就ok,这个错无伤大雅的

(4) “–geometry=50x10+500+0” command not found

此错误是终端未安装gnome插件

sudo apt-get install gnome

现在终端里没有错误提示了,但依然打不开图形界面,所以要去查看log文件(里面有很多错误在等我们)

运行run_manager的launch在log文件 /home/autoware/.ros/log/07992312-b231-11ea-adba-0013eff13975/run-2*.log中报错:

(5) 说实话我忘记我为啥记录这个错了。。:

WSL(Linux子系统) gedit 报错 failed to commit changes to dconf: Failed to execute child process “dbus-launch” (No such file or directory)

sudo apt-get install x11-xserver-utils dconf-editor dbus-x11 -y

参考链接:https://blog.csdn.net/wistral/article/details/95603645

(6) Failed to load module “canberra-gtk-module”

sudo apt-get install libcanberra-gtk3-module

到此为止终端和log里都不报错了!但是依然显示不出来图形界面(闪退)

(7) 运行roslaunch后,runtime_manager图形界面不显示或者闪退,但log里面并未报错

参考链接: https://www.jianshu.com/p/5be271096e85
思路就是把runtime_manager.launch代码看明白,一条条执行,看哪条会报错。我发现代码里的关键一步就是:

rosrun runtime_manager_dialog.py

所以直接运行这条,看还有什么报错。下面是具体步骤:

(a) 找到/home/autoware/autoware.ai/src/autoware/utilities/runtime_manager/scripts/run文件,最后一行查看运行

(b) 另起终端进入docker, 启动roscore

docker exec -it c o n t a i n e r n a m e container name containername /bin/bash

(c) 运行rosrun runtime_manager runtime_manager_dialog.py按照顺序安装
报错:no module named “wx” 解决:conda install wxpython
报错:no module named “rospkg” 解决:pip install rospkg
报错:no module named “yaml” 解决:pip install pyyaml
报错:‘module’ object has not attribute ‘HyperlinkCtrl’
解决:pip install -U -f
https://extras.wxpython.org/wxPython4/extras/linux/gtk2/ubuntu-18.04 wxPython
sudo apt install libsdl1.2-dev
报错:cann’t set locale language to English(就是我之前说的不要再py27下运行的原因,会出现这个问题。虽然这里给出了解决方案,但可以不用解决,直接使用python3环境启动)
解决:参考链接:https://lintut.com/how-to-set-up-system-locale-on-ubuntu-18-04/
5条命令:
locale;locale -a; sudo dpkg-reconfigure locales(选择en_US.UTF-8);
sudo update-locale LANG=en_US.UTF-8; export LANG=en_US.UTF-8

(d)在python3环境下成功启动

Autoware运行yolo3进行目标检测(vision_darknet_yolo3)

yolo3的从操作流程我介绍的比较详细,后面的ssd和point pillar和这个差不多 就不介绍了。

1. 放置yolo3的权重文件到指定位置

(1) 报错:Loading weights from /home/autoware/Autoware/install/vision_darknet_detect/share/vision_darknet_detect/darknet/data/yolov3.weights…Couldn’t open file: /home/autoware/Autoware/install/vision_darknet_detect/share/vision_darknet_detect/darknet/data/yolov3.weights

解决:权重和config必须放在:
[ INFO] [1592121585.936264005]: Network Definition File (Config): /home/autoware/Autoware/install/vision_darknet_detect/share/vision_darknet_detect/darknet/cfg/yolov3.cfg
[ INFO] [1592121585.936476337]: Pretrained Model File (Weights): /home/autoware/Autoware/install/vision_darknet_detect/share/vision_darknet_detect/darknet/data/yolov3.weights
[ INFO] [1592121585.936754384]: Names File: /home/autoware/Autoware/install/vision_darknet_detect/share/vision_darknet_detect/darknet/cfg/coco.names

2. 如果用autoware图像界面运行yolo3(推荐。因为能看到图像)。

2.1 启动Autoware GUI

roslaunch runtime_manager runtime_manager.launch

2.2 运行rosbag:也就是数据源(video图像)

2.2.1 在Autoware GUI界面,找到Simulation,点击 ref ,选中自己的rosbag:/home/autoware/.autoware/camera1.bag
2.2.2 点击play,再点击pause。(目的是先暂停一下等待我们把rviz打开)
2.2.3 注意 这个rosbag需要包括image_raw这个topic,官方的dample rosbag是没有的。

2.3 启动yolo3:

2.3.1 在Autoware GUI界面,找到 Computing – Detection – vision_detector – vision_darknet_yolo3
2.3.2 点开app,注意确认权重config之类的都是yolo3的、确认image_src是image_raw或camera0/image_raw(总之这个topic是rosbag中发送图像的topic,把yolo3的接收图像topic设置成同样的)。然后点击ok。
2.3.3 给vision_darknet_yolo3打钩

2.4 点开rviz,新加入一个imageViewerPanel

2.4.1 Image Topic 选择 image_raw
2.4.2 Object Rect Topic 选择 /detection/image_detector/objects
2.4.3 其他两个Topic不重要
2.4.4 在Autoware GUI界面,点击pause,把rosbag启动:这时rviz里应该能看到图像+检测结果了(ImageViwerPlugin往上拉一拉,让图像显示出来)

如果看不到图像,可以多试几次上述流程

注意:一定要先play rosbag,不然yolo3的image_src选择中不会出现/camera0/image_raw

debug思路就是,一定要确保:

  1. image_raw是能发出图像的
  2. yolo 网络结构/权重 加载没问题
  3. yolo能接收到image_raw的图

3. 如果在终端运行yolo3(不推荐。但这个好处是可以在终端看到yolo运行的情况。建议仅用于单独测试yolo模块是否ok,比如权重能否成功加载、能否收发rostopic)

roslaunch vision_darknet_detect vision_yolo3_detect.launch

4. yolo3相关的rostopic:

autoware@zsw-NG-im610:~/Autoware$ rostopic list
/config/Yolo3  # yolo3的网络参数配置
/detection/image_detector/objects # 输出结果,会发送到rviz
/image_raw  # 输入图像
/image_rects  # 画了bounding box之后的检测结果可视化图像

5. 可能会用到的ros命令

[其实以下命令得到的信息都可以从 Autoware GUI – Topics 中看到,注意要点击Refresh才会出现最新的rostopic list]

查看全部rostopic

rostopic list

查看全部rosnode

rosnode list

查看image_raw这个rostopic的数据:

rostopic echo /image_raw

查看/camera0/image_raw这个rostopic的[类型、发送、接受rosnode]:

rostopic info /camera0/image_raw

Autoware运行SSD进行目标检测(vision_ssd_detect)

0. 安装caffe(也许可以不做)

(其实貌似不需要安装caffe,ssdcaffe会安装caffe的,但我一开始不知道,所以做了这个,先记录着吧)

一条命令装caffe

sudo apt install caffe-cuda

测试:

python
import sys
sys.path.append('/usr/lib/python3/dist-packages')
import caffe 

1. 安装/编译ssdcaffe

https://github.com/Autoware-AI/core_perception/tree/master/vision_ssd_detect

其中: 如何更改Makefile.config:

https://blog.csdn.net/u010801994/article/details/81745513

SSD的caffe在编译时,成功之后,给出的命令需要一个个执行:

# add proto
cp -r src/caffe/proto distribute/
# add include
cp -r include distribute/
mkdir -p distribute/include/caffe/proto
cp .build_release/src/caffe/proto/caffe.pb.h distribute/include/caffe/proto
# add tool and example binaries
cp .build_release/tools/create_label_map.bin .build_release/tools/caffe.bin .build_release/tools/finetune_net.bin .build_release/tools/extract_features.bin .build_release/tools/device_query.bin .build_release/tools/upgrade_net_proto_text.bin .build_release/tools/train_net.bin .build_release/tools/convert_imageset.bin .build_release/tools/net_speed_benchmark.bin .build_release/tools/compute_image_mean.bin .build_release/tools/upgrade_solver_proto_text.bin .build_release/tools/convert_annoset.bin .build_release/tools/upgrade_net_proto_binary.bin .build_release/tools/test_net.bin .build_release/tools/get_image_size.bin distribute/bin
cp .build_release/examples/ssd/ssd_detect.bin .build_release/examples/cifar10/convert_cifar_data.bin .build_release/examples/cpp_classification/classification.bin .build_release/examples/siamese/convert_mnist_siamese_data.bin .build_release/examples/mnist/convert_mnist_data.bin distribute/bin
# add libraries
cp .build_release/lib/libcaffe.a distribute/lib
install -m 644 .build_release/lib/libcaffe.so.1.0.0-rc3 distribute/lib
cd distribute/lib; rm -f libcaffe.so;   ln -s libcaffe.so.1.0.0-rc3 libcaffe.so
# add python - it's not the standard way, indeed...
cp -r python distribute/python

2. 改 SSD的 CMakeLists.txt:

  • 关于SSD模块的内幕:

    • Autoware官网说了,最初的编译是不包括SSD模块的(我猜可能是因为caffe太大,不方便打包),所以使用官网提供的docker是不包含SSD模块的!
      在这里插入图片描述

    • 这也是我写这个博客的原因,我使用Autoware官网提供的docker试图编译SSD失败,因为一堆库版本互相不匹配,尤其是ros-melodic-pcl-ros。所以为了编译,只能重装整个autoware,从源码编译开始。。

    • 但其实Autoware提供了SSD的所有ros接口,在编译的时候也会自动找我们装好的ssdvaffe。

  • 因此编译前,首先需要做的就是:确认Autoware提供的自动寻找的ssdcaffe的路径是正确的:

    • 到/home/autoware/autoware.ai/src/autoware/core_perception/vision_ssd_detect目录下,打开 CMakeLists.txt,

    • 查看下面这行的路径是否是ssdcaffe的路径(我直接改成了绝对路径):

set(SSD_CAFFE_PATH "/home/autoware/ssdcaffe/distribute")

3. 再次编译autoware

目的是把vision_ssd_detect topic编译进去!

AUTOWARE_COMPILE_WITH_CUDA=1 colcon build --cmake-args -DCMAKE_BUILD_TYPE=Release

4. 使用终端运行SSD:

roslaunch vision_ssd_detect vision_ssd_detect.launch network_definition_file:=/home/autoware/ssdcaffe/models/VGGNet/VOC0712Plus/SSD_300x300/deploy.prototxt pretrained_model_file:=/home/autoware/ssdcaffe/models/VGGNet/VOC0712Plus/SSD_300x300/VGG_VOC0712Plus_SSD_300x300_iter_240000.caffemodel

这条命令好长。。但真的只是一条

(1) 出现报错找不到库 libcaffe.so.1.0.0-rc3:

/home/autoware/autoware.ai/install/vision_ssd_detect/lib/vision_ssd_detect/vision_ssd_detect: error while loading shared libraries: libcaffe.so.1.0.0-rc3: cannot open shared object file: No such file or directory

解决1. 改 ssd的 CMakeLists.txt(理论上感觉是对的,但是没用,并没有解决。。):
target_link_libraries(vision_ssd_detect
${catkin_LIBRARIES}
${OpenCV_LIBRARIES}
${CUDA_LIBRARIES}
${CUDA_CUBLAS_LIBRARIES}
${CUDA_curand_LIBRARY}
${SSD_CAFFE_PATH}/lib/libcaffe.so
${SSD_CAFFE_PATH}/lib/libcaffe.so.1.0.0-rc3
glog
)

解决2: 成功了
把libcaffe.so.1.0.0-rc3 链接到 /usr/lib/x86_64-linux-gnu/ ,因为程序会从这儿找库:
ln -s /home/autoware/ssdcaffe/distribute/lib/libcaffe.so.1.0.0-rc3 /usr/lib/x86_64-linux-gnu/

5. 使用图形界面运行SSD(推荐):

和yolo3的运行差不多,跳过

6. 其他坑

(1) 订阅topic会出现 /camera0/camera0/image_raw ,导致输入图像topic订阅错误

解决: 在图形界面选择Computing – vision_detect_ssd的时候, 先点开app, 在image_src 选择 /image_raw (注:这里不要选/camera0/image_raw)。 然后在勾选vision_detect_ssd会弹出一个框,此时选择/camera0。 从而保证只有一个/camera0

Autoware运行point pillars进行目标检测(lidar_point_pillars)

1. 运行命令:

roslaunch lidar_point_pillars lidar_point_pillars.launch pfe_onnx_file:=/home/autoware/shared_dir/autoware_data/detect/kitti_pretrained_point_pillars/pfe.onnx rpn_onnx_file:=/home/autoware/shared_dir/autoware_data/detect/kitti_pretrained_point_pillars/rpn.onnx input_topic:=/points_raw

(1) 出现报错: 分析–大概是我tensorRT版本太高的缘故(官方5.0.2 我是7.0.0.11)

ERROR: ModelImporter.cpp:457 In function importModel:
[4] Assertion failed: !_importer_ctx.network()->hasImplicitBatchDimension() && “This version of the ONNX parser only supports TensorRT INetworkDefinitions with an explicit batch dimension. Please ensure the network was created using the EXPLICIT_BATCH NetworkDefinitionCreationFlag.”
ERROR: failed to parse onnx file
[lidar_point_pillars-1] process has died [pid 27079, exit code 1, cmd /home/autoware/autoware.ai/install/lidar_point_pillars/lib/lidar_point_pillars/lidar_point_pillars /points_raw:=/points_raw __name:=lidar_point_pillars __log:=/home/autoware/.ros/log/55ff3366-b236-11ea-a635-0013eff13975/lidar_point_pillars-1.log].
log file: /home/autoware/.ros/log/55ff3366-b236-11ea-a635-0013eff13975/lidar_point_pillars-1*.log

解决方案参考:

https://github.com/onnx/onnx-tensorrt/issues/266

https://github.com/Autoware-AI/core_perception/tree/master/lidar_point_pillars

具体解决流程: 在/home/autoware/autoware.ai/src/autoware/core_perception/lidar_point_pillars/nodes/point_pillars.cpp的第427行改为:

  // create the builder
  nvinfer1::IBuilder* builder = nvinfer1::createInferBuilder(g_logger_);
  const auto explicitBatch = 1U << static_cast(nvinfer1::NetworkDefinitionCreationFlag::kEXPLICIT_BATCH);
  // nvinfer1::INetworkDefinition* network = builder->createNetwork();
  nvinfer1::INetworkDefinition *network = builder->createNetworkV2(explicitBatch);

需要重新编译

编译还是会报一些warning,不过能跑通.

2. 另外,用[运行命令]直接在终端运行,会报错

WARNING: Explicit batch network detected and batch size specified, use enqueue without batch size instead.
[ERROR] [1592577952.828638645]: “base_link” passed to lookupTransform argument target_frame does not exist.

解决:所以要使用autoware图形界面运行 lidar_point_pillars

3. 图形界面按钮点击流程:(推荐)

  1. Simulation: 开rosbag
  2. Setup: 点击TF, Vehicle Model(可以为空)
  3. Map: 先TF,再 Point cloud. 都需要有值
  4. Computing: lidar_point_pillars, 点app, 更改两个onnx位置, ok. 回去打钩
  5. 开rviz, 点击add, 点By topic, 添加MarkerArray, 接受topic来自: /detection/lidar_detector/objects_markers
  6. 如果没有点云,就在rviz左侧最上面的 Fixed frame 选择velodyne
  7. 大功告成~

其他问题/操作记录

1. 困扰了一下午的:sudo的密码不对

一直提示[sudo] password for autoware: Sorry, try again.
解决:
sudo passwd user(user 是对应的用户名)
https://blog.csdn.net/qq_28959531/article/details/78989635

2. 显示rostopic之间的关系图:

rosrun rqt_graph rqt_graph

3. 感知结果融合(range_vision_fusion)

Computing – range_vision_fusion打钩

注意:要把Sensing的Calibration Publisher选中,其中ref选择 相机雷达的标定文件 .yml

topic名称是:range_vision_fusion_01

结果截图

1. ssd + pointpillar 目标检测在Rviz的结果可视化

Autoware 1.14 源码编译+感知SSD+YOLOv3+Point Pillar模块运行(步骤+报错+解决方法记录)_第1张图片

2. ssd + pointpillar 目标检测在autoware QT界面的选择

Autoware 1.14 源码编译+感知SSD+YOLOv3+Point Pillar模块运行(步骤+报错+解决方法记录)_第2张图片

3. ssd yolo3 pointpillar的ros topic/node 关系图

Autoware 1.14 源码编译+感知SSD+YOLOv3+Point Pillar模块运行(步骤+报错+解决方法记录)_第3张图片

你可能感兴趣的:(autoware,3d,点云)