乐视体感astra pro深度摄像头在ros系统获取 深度图像 彩色图像 无色彩点云数据 彩色点云数据

 

 

• 1.astra pro深度摄像头介绍

• 2.astra pro驱动安装

• 3.astra pro获取深度图像   无色彩pointCloud2

• 4.astra pro获取彩色图像  带彩色的pointCloud2

 

1.astra pro深度摄像头介绍

  

摄像头有四个镜头,从左到右的镜头分别是1 ir发射源  2 最小距离传感器  3 彩色摄像头 4 ir接收器

 

2.astra pro驱动安装

2.1下载驱动及依赖

ubuntu16 kinetic及ubuntu18 melodic下载以下驱

OpenNI-Linux-x64-2.3.tar.bz2

$sudo apt-get install build-essential freeglut3 freeglut3-dev
$ldconfig -p | grep libudev.so.1
$cd /lib/x86_64-linux-gnu
$sudo ln -s libudev.so.x.x.x libudev.so.1

 

2.2编译驱动

 解压下载的OpenNI-Linux-x64-2.3驱动

$ cd OpenNI-Linux-x64-2.3
$ sudo chmod a+x install.sh

• 安装

$ sudo chmod a+x install.sh
$ sudo ./install.sh

插拔摄像头,source环境

$ source OpenNIDevEnvironment

• 编译

$ cd Samples/SimpleViewer
$ make

• 连接设备，执行示例

$ cd Bin/x64-Release
$ ./SimpleViewer 

 

编译安装libuvc

$ cd ~
$ git clone https://github.com/ktossell/libuvc
$ cd libuvc
$ mkdir build
$ cd build
$ cmake ..
$ make && sudo make install
$ sudo cp /usr/include/libusb-1.0/libusb.h  /usr/local/include/libuvc/

 

2.3 安装ros的官方astra_launch  astra_camera libuvc rgbd包， ubuntu melodic的需要下载源码安装这些包，因为apt-get不到

如果提示源码安装找不到包，到ros wiki上更新一下本地的ros软件源

$ sudo apt-get install ros-kinetic-astra-camera 
$ sudo apt-get install ros-kinetic-astra-launch  
$ sudo apt-get install ros-kinetic-libuvc-*
$ sudo apt-get install ros-kinetic-rgbd-launch 

3.astra pro获取深度图像   无色彩pointCloud2

$ roslaunch astra_launch astra.launch  

打开rqt_image_view查看图像话题

$ rqt_image_view

 

打开rviz查看无彩色点云数据

 

$ rviz

 

4.astra pro获取彩色图像  带彩色的pointCloud2

因为astra的驱动无发布彩色图像，导致点云数据也无彩色数据.

有三种思路取解决：

  1.修改官方驱动

  2.修改ros的底层astra_camera 和 rgbd_launch 的适配

  3.另外新开一个节点监听无彩色pointCloud2数据和彩色数据，用彩色数据的rgb通道数值填充pointCloud2的rgbd的通道，在重新发布出来就是彩色的点云数据

 

这里采用第二种做法，第一做法难度大，第三做法耗电脑资源

4.1获取彩色图像

    这里采用ros的uvc_camera包来获取彩色图像

$ sudo apt-get install uvc_camera

新建一个launch文件来启动uvc_camera

/dev/video1时摄像头的设备号,查看一下摄像头的设备号

$ ls /dev

启动上面的launch文件

$ roslauch uvc.launch

使用rqt_image_view查看

当然也可以采用usb_cam来获取彩色图像，参数ros wiki上有

 

4.2 校准彩色摄像头和深度摄像头

获取彩色点云数据需要对相机进行校准(个人感觉比kinect校准难，校准了好多遍)

校准深度摄像头

$ roslaunch astra_launch astrapro.launch
$ rosrun camera_calibration cameracalibrator.py image:=/camera/ir/image camera:=/camera/ir --size 8x6 --square 0.024

把校准得到的yaml文件的camera_name值设为 camera_name: depth_Astra_Orbbec

校准彩色摄像头

$ rosrun uvc_camera uvc_camera_node device:=/dev/video1 
$ rosrun camera_calibration cameracalibrator.py image:=/image_raw camera:=/ --size 8x6 --square 0.024

把校准得到的yaml文件的camera_name值设为 camera_name: rgb_Astra_Orbbec

 

创建launch文件

 

自行修改ir 和 rgb两个文件的路径，启动这个launch文件打开rviz订阅/camera/depth_registered/points就可以看到彩色点云了

 

总结：后期可以利用这些数据进行opencv tensorFlow 开发，及move_base的导航