【EHub_tx1_tx2_E100】 ROS_ Melodic + Astra S(如何在该环境下打开摄像机获取rgb/深度图/点云)

        简介：介绍奥比中光 Astra S 深度相机 在EHub_tx1_tx2_E100载板，TX1核心模块环境（Ubuntu18.04）下测试ROS驱动，打开摄像头RGB图像和查看深度图和点云图，本文的前提条件是你的TX1里已经安装了ROS版本：Melodic。

关于测试硬件EHub_tx1_tx2_E100载板请查看：EdgeBox_EHub_tx1_tx2_E100 开发板评测_机器人虎哥的博客-CSDN博客

目录

一、什么是深度相机

二、深度相机在机器人中的两个使用场景

1、机械臂精准二次定位：

2、人员跟随：

三、奥比中光 Astra S相机介绍

四、奥比中光官方资料链接

五、 ROS_ Melodic环境安装相机驱动

5.1 安装依赖

5.2 建立工作空间

5.3 克隆代码

5.4 Create astra udev rule

5.5 编译源码包

5.6 【附件】编译中错误解决：

5.7 奥比中光深度相机ros架构

5.8 修改astrapro.launch

5.9 启动rqt_image_view 查看

5.10 启动rviz查看深度图和RGB图

六. 使用点云数据

2.1 新建rviz文件

2.2 编辑rviz文件

2.3 在rviz中显示点云

---

一、什么是深度相机

        深度相机是近几年兴起的新技术，相比较传统的相机，深度相机在功能上添加了一个深度测量，从而更方便准确的感知周围的环境及变化。

        深度相机有很多的应用场景，在我们日常生活中有很多深度相机的影子。那它可以用来做什么？三维建模、无人驾驶、机器人导航、手机人脸解锁、体感游戏等都用到了深度相机来实现其功能。

目前从实现深度相机这个功能的技术层面去分析，有以下几种主流方案：双目，结构光，tof。

二、深度相机在机器人中的两个使用场景

        移动机器人面临的3个基本问题，一是“我在哪”，二是“要去哪”，三是“怎么去”。各种相机和雷达的作用是感知和搜集机器人周边的环境信息，对环境进行建图（mapping），最后让机器人知道自己在哪，怎么去目的地，从而完成导航。例如，深度相机能通过“结构光”和“飞时”获取目标的距离信息，普通相机能获取目标“RGB”信息。由于深度相机存在视野小、噪声大、易受日光干扰、无法测量透射材质等问题，所以一般要附加激光雷达以弥补其弱点。

        激光雷达导航用于远距离导航定位，深度相机一般用于10米内更精确的物体定位，结合了RGB的深度相机可以更好地对物体进行识别和深度训练。深度相机比多线激光雷达价格更有优势，所以低速、近距离的环境也用来替代激光雷达，做避障使用。

        我们在机器人的开发中，深度相机主要有三个方面的使用：机械臂精准二次定位、人员跟随、避障。下面简单介绍其中两种：

1、机械臂精准二次定位：

        机器人在进行工作的过程中，需要机器人准确的定位到某一个点，再通过机械臂控制，使机械臂末端的相机拍出稳定的图片来实现算法识别。在机器人定位的过程中会存在误差问题，包括机器人面对机柜距离误差以及角度误差。精准二次定位则解决了这一问题。具体实现是利用深度相机的景深数据来感知机器人和机柜的位置，通过算法运算控制机械臂实现稳定抓拍功能。

算法思路：通过深度数据识别机柜边缘特征，再截取机柜平面判断机柜和机器人相对方位，根据实际测量距离值调整机械臂达到想要的最佳拍摄位置。

2、人员跟随：

        机器人有时候具有人员跟随的功能，跟随功能的技术实现结合了普通相机和深度相机的数据进行算法实现。通过普通相机数据进行人员判别，然后深度数据感知机器人和人员的距离及方位，从而控制机器人跟随目标人员。

算法思路：通过普通相机数据使用算法实现人员识别，获取对应人员的相应三维数据，从三维数据的组成形态判断人员和机器人的相对位置及方向。

因此深度相机提供三维信息，基于三维数据算法识别更为简单精确。

三、奥比中光 Astra S相机介绍

官方链接：https://developer.orbbec.com.cn/product_details.html?id=4

硬件结构特点:

系列参数：

 

四、奥比中光官方资料链接

Github 官方SDK ROS wiki

五、 ROS_ Melodic环境安装相机驱动

5.1 安装依赖

# Assuming you have sourced the ros environment, same below

sudo apt install libgflags-dev  ros-$ROS_DISTRO-image-geometry ros-$ROS_DISTRO-camera-info-manager \
ros-$ROS_DISTRO-image-transport ros-$ROS_DISTRO-image-publisher libgoogle-glog-dev libusb-1.0-0-dev libeigen3-dev
​
sudo apt install ros-$ROS_DISTRO-rgbd-launch ros-$ROS_DISTRO-libuvc ros-$ROS_DISTRO-libuvc-camera ros-$ROS_DISTRO-libuvc-ros

5.2 建立工作空间

mkdir -p ~/AstraS_ws/src
cd ~/AstraS_ws/
catkin_make
source devel/setup.bash

5.3 克隆代码

cd ~/AstraS_ws/src
git clone https://github.com/orbbec/ros_astra_camera

5.4 Create astra udev rule

roscd astra_camera

​

5.5 编译源码包

cd ~/AstraS_ws
catkin_make --pkg astra_camera

5.6 【附件】编译中错误解决：

1、CMake Error at /opt/ros/melodic/share/cv_bridge/cmake/cv_bridgeConfig.cmake:113 (message):

 这是由于我升级了opencv ,只有opencv4了，所以将文件目录中的opencv修改为opencv4，即可。

 2、CMake Error at /opt/ros/melodic/share/image_geometry/cmake/image_geometryConfig.cmake:113 (message):

这是由于我升级了opencv ,只有opencv4了，所以将文件目录中的opencv修改为opencv4，即可。

3、/usr/bin/ld: cannot find -luvc

sudo apt install libuvc-dev

5.7 奥比中光深度相机ros架构

5.8 修改astrapro.launch

首先查看相机接口：

lsusb

其中：

修改Astrapro.launch

cd  ~/AstraS_ws/src/ros_astra_camera/launch/
gedit astra.launch 

原始内容：

不用改什么，直接启动

5.9 启动rqt_image_view 查看

 source ~/AstraS_ws/devel/setup.bash
 roslaunch astra_camera astra.launch

 这个没有关系，新的刚打开，没有进行校准，这个有个双目的结构光

启动rqt_image_view

rosrun rqt_image_view rqt_image_view 

深度图：

5.10 启动rviz查看深度图和RGB图

打开新终端，启动rviz

rosrun rviz rviz

Rviz中点击左下角Add

依次进行以下操作：Add -> By topic -> 选择对应的image即可

 

六. 使用点云数据

2.1 新建rviz文件

cd ~/AstraS_ws/src
mkdir rviz
cd rviz
touch depth_camera.rviz

2.2 编辑rviz文件

使用gedit编辑rviz文件

cd ~/AstraS_ws/src/rviz
sudo gedit depth_camera.rviz

填写代码如下

Panels:
  - Class: rviz/Displays
    Help Height: 88
    Name: Displays
    Property Tree Widget:
      Expanded:
        - /Global Options1
        - /Status1
        - /Grid1
        - /PointCloud21
      Splitter Ratio: 0.5
    Tree Height: 453
  - Class: rviz/Selection
    Name: Selection
  - Class: rviz/Tool Properties
    Expanded:
      - /2D Pose Estimate1
      - /2D Nav Goal1
      - /Publish Point1
    Name: Tool Properties
    Splitter Ratio: 0.588679016
  - Class: rviz/Views
    Expanded:
      - /Current View1
    Name: Views
    Splitter Ratio: 0.5
  - Class: rviz/Time
    Experimental: false
    Name: Time
    SyncMode: 0
    SyncSource: PointCloud2
Visualization Manager:
  Class: ""
  Displays:
    - Alpha: 0.5
      Cell Size: 1
      Class: rviz/Grid
      Color: 159; 147; 147
      Enabled: true
      Line Style:
        Line Width: 0.0299999993
        Value: Lines
      Name: Grid
      Normal Cell Count: 0
      Offset:
        X: 0
        Y: 0
        Z: 0
      Plane: XZ
      Plane Cell Count: 10
      Reference Frame: camera_depth_optical_frame
      Value: true
    - Alpha: 1
      Autocompute Intensity Bounds: true
      Autocompute Value Bounds:
        Max Value: 8.875
        Min Value: 1.28500009
        Value: true
      Axis: X
      Channel Name: intensity
      Class: rviz/PointCloud2
      Color: 255; 255; 255
      Color Transformer: AxisColor
      Decay Time: 0
      Enabled: true
      Invert Rainbow: false
      Max Color: 255; 255; 255
      Max Intensity: 4096
      Min Color: 0; 0; 0
      Min Intensity: 0
      Name: PointCloud2
      Position Transformer: XYZ
      Queue Size: 10
      Selectable: true
      Size (Pixels): 3
      Size (m): 0.00999999978
      Style: Squares
      Topic: /camera/depth/points
      Unreliable: false
      Use Fixed Frame: true
      Use rainbow: true
      Value: true
  Enabled: true
  Global Options:
    Background Color: 48; 48; 48
    Default Light: true
    Fixed Frame: camera_depth_frame
    Frame Rate: 30
  Name: root
  Tools:
    - Class: rviz/Interact
      Hide Inactive Objects: true
    - Class: rviz/MoveCamera
    - Class: rviz/Select
    - Class: rviz/FocusCamera
    - Class: rviz/Measure
    - Class: rviz/SetInitialPose
      Topic: /initialpose
    - Class: rviz/SetGoal
      Topic: /move_base_simple/goal
    - Class: rviz/PublishPoint
      Single click: true
      Topic: /clicked_point
  Value: true
  Views:
    Current:
      Class: rviz/Orbit
      Distance: 7.51409006
      Enable Stereo Rendering:
        Stereo Eye Separation: 0.0599999987
        Stereo Focal Distance: 1
        Swap Stereo Eyes: false
        Value: false
      Focal Point:
        X: 2.80641723
        Y: -0.0263374168
        Z: -0.295807391
      Focal Shape Fixed Size: true
      Focal Shape Size: 0.0500000007
      Invert Z Axis: false
      Name: Current View
      Near Clip Distance: 0.00999999978
      Pitch: 0.305203468
      Target Frame: 
      Value: Orbit (rviz)
      Yaw: 3.89040422
    Saved: ~
Window Geometry:
  Displays:
    collapsed: false
  Height: 744
  Hide Left Dock: false
  Hide Right Dock: true
  QMainWindow State: 000000ff00000000fd00000004000000000000016a0000025efc0200000009fb0000001200530065006c0065006300740069006f006e00000001e10000009b0000006100fffffffb0000001e0054006f006f006c002000500072006f0070006500720074006900650073020000019b000001b500000185000000a3fb000000120056006900650077007300200054006f006f02000001df000002110000018500000122fb000000200054006f006f006c002000500072006f0070006500720074006900650073003203000002880000011d000002210000017afb000000100044006900730070006c00610079007301000000280000025e000000d700fffffffb0000002000730065006c0065006300740069006f006e00200062007500660066006500720200000138000000aa0000023a00000294fb00000014005700690064006500530074006500720065006f02000000e6000000d2000003ee0000030bfb0000000c004b0069006e0065006300740200000186000001060000030c00000261fb0000000a0049006d00610067006500000001a9000001430000000000000000000000010000010f000002c4fc0200000003fb0000001e0054006f006f006c002000500072006f00700065007200740069006500730100000041000000780000000000000000fb0000000a005600690065007700730000000028000002c4000000ad00fffffffb0000001200530065006c0065006300740069006f006e010000025a000000b200000000000000000000000200000490000000a9fc0100000001fb0000000a00560069006500770073030000004e00000080000002e10000019700000003000005150000003efc0100000002fb0000000800540069006d00650100000000000005150000030000fffffffb0000000800540069006d00650100000000000004500000000000000000000003a50000025e00000004000000040000000800000008fc0000000100000002000000010000000a0054006f006f006c00730100000000ffffffff0000000000000000
  Selection:
    collapsed: false
  Time:
    collapsed: false
  Tool Properties:
    collapsed: false
  Views:
    collapsed: true
  Width: 1301
  X: 65
  Y: 24

2.3 在rviz中显示点云

#第一个终端打开相机驱动节点
 source ~/AstraS_ws/devel/setup.bash
 roslaunch astra_camera astra.launch
#第二个终端打开
rosrun rviz rviz
#按照5.10的内容，打开可见光和深度

​左上角：File -> Open config，打开刚刚新建的rviz文件即可

按照上节方法打开加入深度图和可见光图

以上就是我简单做的全部测试，一些内容和叙事顺序参考了以下内容，在此说明和答谢：

在ROS中使用奥比中光Orbbec Astra Pro深度相机_十啵的博客-CSDN博客

ROS下使用乐视RGB-D深度相机/Orbbec Astra Pro显示图像和点云 - 古月居

纠错,疑问,交流: [email protected]