Astra相机的ROS开发环境配置与使用
Astra相机的ROS开发环境配置与使用
- 一、Astra相机简介
- 二、搭建ROS工作空间
-
- 1.下载ROS驱动功能包
- 2.安装依赖
- 3.配置工作空间
- 三、配置设备节点
-
- 1.固定设备串口号
- 2.获取设备信息
- 3.修改launch文件
- 四、启动相机节点
- 五、配置相机内参
-
- 1.下载内参文件
- 2.使用内参文件
- 3.启动launch
- 六、RVIZ查看点云
-
- 1.启动rviz
- 2.查看点云
- 3.快捷启动rviz
- 4.保存点云信息
- 5.查看pcd文件
一、Astra相机简介
Astra相机（售价150）是由乐视与奥比中光合作生产的一款体感相机，其对标微软Kinect相机（售价800+），可用于机器视觉、3D点云、opencv、SLAM学习，支持ROS框架能够在ubuntu、windows、Android等系统下进行开发。其官方（https://orbbec3d.com/develop/）提供了相应的SDK供开发者使用。
相机的具体参数如下所示，本文主要讲解如何在Ubuntu端搭建基于ROS的开发环境。
二、搭建ROS工作空间
1.下载ROS驱动功能包
Astra相机官方提供了ROS驱动进行开发，该驱动目前仅支持ROS Kinetic 和 Melodic版本。
该项目的官方地址为https://github.com/orbbec/ros_astra_camera，由于处于外网原因，建议将其搬运至国内码云后进行下载，此处提供我搬运的码云地址：https://gitee.com/jasonli0012/ros_astra_camera
2.安装依赖
下载完项目源码后，需要先进行安装依赖文件。此处安装命令中的**$ROS_DISTRO**将根据你的ROS版本不同而不同，此处我选择Melodic版本进行开发，Astra相机同样支持ROS Kinetic版本的开发。
sudo apt install ros-$ROS_DISTRO-rgbd-launch ros-$ROS_DISTRO-libuvc ros-$ROS_DISTRO-libuvc-camera ros-$ROS_DISTRO-libuvc-ros
3.配置工作空间
完成安装依赖文件后，需要新建一个工作空间用于对Astra相机的ROS开发。
# 新建工作空间
mkdir -p astra/src
cd astra
catkin_make
source devel/setup.bash
# 将下载的源码移动至src目录下
cd src
mv ~/ros_astra_camera ~/ws/astra/src/
# 编译
cd ..
catkin_make
编译成功后如图所示：
此处建议大家将source devel/setup.bash写入 .bashrc文件中，以防止之后重复操作。此处我用的命令行为zsh所以修改的文件为 .zshrc，加载的文件为 setup.zsh。
# bash
sudo vi ~/.bashrc
# 填写你自己的工作空间目录
source ~/ws/astra/devel/setup.bash
# zsh
sudo vi ~/.zshrc
# 填写你自己的工作空间目录
source ~/ws/astra/devel/setup.zsh
三、配置设备节点
1.固定设备串口号
为了方便之后进行开发，需要将Astra相机的串口号固定表示。其官方功能包中就自带脚本，只需要直接运行即可。
roscd astra_camera
# 运行脚本
./scripts/create_udev_rules
出现如下图所示内容即表明成功。
随后再次编译工作空间即可。
# 到达工作空间下
roscd astra_camera
cd ../..
# 编译
catkin_make -j7
上述命令中编译命令catkin_make后带的参数表示使用几核（CPU核心）进行编译，此处表明使用7核心进行编译以达到快速编译。
2.获取设备信息
由于官方提供的launch文件是通过设备的 vendor （设备贴牌）和 product （设备ID）进行启动节点的，所以首先我们需要确定设备的贴牌和ID 。
在命令行输入命令lsusb分别查看Astra相机插拔前后的设备信息，可以发现设备信息。
通过对比，排除多出的USB驱动外，剩余的两项即为设备信息
Bus 001 Device 019: ID 2bc5:0502
Bus 001 Device 018: ID 2bc5:0403
其中设备的贴牌为 2bc5 ，而0502 代表彩色摄像头，0403代表深度摄像头。
3.修改launch文件
在获取设备信息后，我们需要修改官方提供的launch文件。
# 找到launch文件所在目录
roscd astra_camera/launch
# 编辑launch文件
sudo gedit astra_pro。launch
打开launch文件后，找到第71行，将设备的属性修改为彩色相机的设备ID。
四、启动相机节点
启动launch文件，运行节点。出现如下图所示内容即表示运行成功。此处黄色报警内容可暂时忽略。
roslaunch astra_carma astrapro.launch
另开命令行运行rqt节点
rosrun rqt_image_view rqt_image_view
在rqt工具上方选择所需订阅的话题即可调出不同的图片，此处展示为彩色图片（rgb）中的原图（image_raw），此外也可以选择深度、红外等所需图像。
五、配置相机内参
1.下载内参文件
由于相机本身存在畸变，所以需要使用一些配置文件来完成去畸变工作。此处给出Astra相机中彩色相机和深度相机的内参配置文件。
camera.yaml文件
image_width: 640
image_height: 480
camera_name: camera
camera_matrix:
rows: 3
cols: 3
data: [577.54679, 0. , 310.24326,
0. , 578.63325, 253.65539,
0. , 0. , 1. ]
camera_model: plumb_bob
distortion_model: plumb_bob
distortion_coefficients:
rows: 1
cols: 5
data: [0.125197, -0.196591, 0.006816, -0.006225, 0.000000]
rectification_matrix:
rows: 3
cols: 3
data: [1., 0., 0.,
0., 1., 0.,
0., 0., 1.]
projection_matrix:
rows: 3
cols: 4
data: [590.55457, 0. , 306.57339, 0. ,
0. , 592.83978, 256.43008, 0. ,
0. , 0. , 1. , 0. ]
depth.yaml 文件
image_width: 640
image_height: 480
camera_name: depth_Astra_Orbbec
camera_matrix:
rows: 3
cols: 3
data: [582.795354, 0.000000, 326.415982, 0.000000, 584.395006, 249.989410, 0.000000, 0.000000, 1.000000]
distortion_model: plumb_bob
distortion_coefficients:
rows: 1
cols: 5
data: [-0.068613, 0.174404, 0.001015, 0.006240, 0.000000]
rectification_matrix:
rows: 3
cols: 3
data: [1.000000, 0.000000, 0.000000, 0.000000, 1.000000, 0.000000, 0.000000, 0.000000, 1.000000]
projection_matrix:
rows: 3
cols: 4
data: [586.186035, 0.000000, 329.702427, 0.000000, 0.000000, 590.631409, 250.167765, 0.000000, 0.000000, 0.000000, 1.000000, 0.000000]
复制上述文件并放置到cfg文件夹中即可。
#路径
roscd astra_camera/cfg
2.使用内参文件
为了在启动launch文件时调用内参文件，需要对其进行修改。
roscd astra_camera/launch
sudo gedit astrapro.launch
此处使用gedit编辑器打开launch文件并修改其25、26行内容，将内参文件的地址填写入内。
# 原内容：
<arg name="rgb_camera_info_url" default="" />
<arg name="depth_camera_info_url" default="" />
# 替换为：
<arg name="rgb_camera_info_url" default="file://$(find astra_camera)/cfg/camera.yaml" />
<arg name="depth_camera_info_url" default="file://$(find astra_camera)/cfg/depth.yaml" />
随后向下，找到第84行修改为如下内容：
# 原内容：
<param name="camera_info_url" value="" />
# 替换为：
<param name="camera_info_url" type="string" value="$(arg rgb_camera_info_url)" />
3.启动launch
配置完成后可以再次启动节点，查看校准后的图像内容。
原始的深度图：
校准后的深度图：
六、RVIZ查看点云
1.启动rviz
除了使用rqt工具进行查看图像外，还可以使用rviz工具进行查看图像。命令行中直接启动rviz工具。
rviz
此时的rviz内尚未订阅任何节点，此时可以订阅查看图像信息。点击左下方Add按钮选择image类型，添加图像节点。
随后在左侧打开选项卡image，在image Topic中选择自己订阅的节点即可。
上述步骤可重复进行，从而达到订阅多个摄像头节点。如下图即为同时打开三个摄像头。
2.查看点云
同样再次点击左下方Add按钮，选择PointCloud2类型新建内容。
随后，在左侧PointCloud2选项下订阅 /camera/depth_registered/points话题，并将Global Options下Fixed Frame选为camera_depth_optical_frame。完成上述操作后，即可在中央查看到点云选项。
3.快捷启动rviz
为了方便之后减少重复打开rviz添加上述内容的工作，此处提供了rviz的参数文件以方便再次打开。
Panels:
- Class: rviz/Displays
Help Height: 0
Name: Displays
Property Tree Widget:
Expanded:
- /Global Options1
- /Status1
- /PointCloud21
- /Depth1
- /ir1
- /RGB1
Splitter Ratio: 0.5
Tree Height: 361
- Class: rviz/Selection
Name: Selection
- Class: rviz/Tool Properties
Expanded:
- /2D Pose Estimate1
- /2D Nav Goal1
- /Publish Point1
Name: Tool Properties
Splitter Ratio: 0.5886790156364441
- Class: rviz/Views
Expanded:
- /Current View1
Name: Views
Splitter Ratio: 0.5
- Class: rviz/Time
Experimental: false
Name: Time
SyncMode: 0
SyncSource: PointCloud2
Preferences:
PromptSaveOnExit: true
Toolbars:
toolButtonStyle: 2
Visualization Manager:
Class: ""
Displays:
- Alpha: 0.5
Cell Size: 1
Class: rviz/Grid
Color: 159; 147; 147
Enabled: true
Line Style:
Line Width: 0.029999999329447746
Value: Lines
Name: Grid
Normal Cell Count: 0
Offset:
X: 0
Y: 0
Z: 0
Plane: XZ
Plane Cell Count: 10
Reference Frame: camera_depth_optical_frame
Value: true
- Alpha: 1
Autocompute Intensity Bounds: true
Autocompute Value Bounds:
Max Value: 9.859000205993652
Min Value: 0.5799999833106995
Value: true
Axis: X
Channel Name: intensity
Class: rviz/PointCloud2
Color: 255; 255; 255
Color Transformer: RGB8
Decay Time: 0
Enabled: true
Invert Rainbow: false
Max Color: 255; 255; 255
Max Intensity: 4096
Min Color: 0; 0; 0
Min Intensity: 0
Name: PointCloud2
Position Transformer: XYZ
Queue Size: 10
Selectable: true
Size (Pixels): 3
Size (m): 0.009999999776482582
Style: Squares
Topic: /camera/depth_registered/points
Unreliable: false
Use Fixed Frame: true
Use rainbow: true
Value: true
- Class: rviz/Image
Enabled: true
Image Topic: /camera/depth/image_rect
Max Value: 1
Median window: 5
Min Value: 0
Name: Depth
Normalize Range: true
Queue Size: 2
Transport Hint: raw
Unreliable: false
Value: true
- Class: rviz/Image
Enabled: true
Image Topic: /camera/ir/image
Max Value: 1
Median window: 5
Min Value: 0
Name: ir
Normalize Range: true
Queue Size: 2
Transport Hint: raw
Unreliable: false
Value: true
- Class: rviz/Image
Enabled: true
Image Topic: /camera/rgb/image_raw
Max Value: 1
Median window: 5
Min Value: 0
Name: RGB
Normalize Range: true
Queue Size: 2
Transport Hint: raw
Unreliable: false
Value: true
Enabled: true
Global Options:
Background Color: 48; 48; 48
Default Light: true
Fixed Frame: camera_depth_frame
Frame Rate: 30
Name: root
Tools:
- Class: rviz/Interact
Hide Inactive Objects: true
- Class: rviz/MoveCamera
- Class: rviz/Select
- Class: rviz/FocusCamera
- Class: rviz/Measure
- Class: rviz/SetInitialPose
Theta std deviation: 0.2617993950843811
Topic: /initialpose
X std deviation: 0.5
Y std deviation: 0.5
- Class: rviz/SetGoal
Topic: /move_base_simple/goal
- Class: rviz/PublishPoint
Single click: true
Topic: /clicked_point
Value: true
Views:
Current:
Class: rviz/Orbit
Distance: 3.863161325454712
Enable Stereo Rendering:
Stereo Eye Separation: 0.05999999865889549
Stereo Focal Distance: 1
Swap Stereo Eyes: false
Value: false
Focal Point:
X: 2.0370023250579834
Y: -1.0987344980239868
Z: -0.031386714428663254
Focal Shape Fixed Size: true
Focal Shape Size: 0.05000000074505806
Invert Z Axis: false
Name: Current View
Near Clip Distance: 0.009999999776482582
Pitch: 0.004796733148396015
Target Frame: <Fixed Frame>
Value: Orbit (rviz)
Yaw: 2.4886555671691895
Saved: ~
Window Geometry:
Depth:
collapsed: false
Displays:
collapsed: false
Height: 961
Hide Left Dock: false
Hide Right Dock: false
QMainWindow State: 000000ff00000000fd0000000400000000000001fa00000323fc020000000afb0000001200530065006c0065006300740069006f006e00000001e10000009b0000005c00fffffffb0000001e0054006f006f006c002000500072006f0070006500720074006900650073020000019b000001b500000185000000a3fb000000120056006900650077007300200054006f006f02000001df000002110000018500000122fb000000200054006f006f006c002000500072006f0070006500720074006900650073003203000002880000011d000002210000017afb000000100044006900730070006c006100790073010000003d000001a6000000c900fffffffb0000000a0044006500700074006801000001e9000000ae0000001600fffffffb00000006005200470042010000029d000000c30000001600fffffffb0000002000730065006c0065006300740069006f006e00200062007500660066006500720200000138000000aa0000023a00000294fb00000014005700690064006500530074006500720065006f02000000e6000000d2000003ee0000030bfb0000000c004b0069006e0065006300740200000186000001060000030c00000261000000010000019200000323fc0200000005fb0000001e0054006f006f006c002000500072006f00700065007200740069006500730100000041000000780000000000000000fb0000000a00560069006500770073010000003d00000211000000a400fffffffb000000040069007201000002540000010c0000001600fffffffb0000000a0049006d00610067006501000002fb000000c00000000000000000fb0000001200530065006c0065006300740069006f006e010000025a000000b200000000000000000000000200000490000000a9fc0100000001fb0000000a00560069006500770073030000004e00000080000002e10000019700000003000007800000003efc0100000002fb0000000800540069006d0065010000000000000780000002eb00fffffffb0000000800540069006d00650100000000000004500000000000000000000003e80000032300000004000000040000000800000008fc0000000100000002000000010000000a0054006f006f006c00730100000000ffffffff0000000000000000
RGB:
collapsed: false
Selection:
collapsed: false
Time:
collapsed: false
Tool Properties:
collapsed: false
Views:
collapsed: false
Width: 1920
X: 0
Y: 27
ir:
collapsed: false
新建文件astra_camera.rviz并将上述文件保存其内，最后将文件反正如下目录即可。
# 打开功能包根目录
roscd astra_camera
# 新建文件夹
mkdir rviz
cd rviz
# 复制上述文件至astra_camera.rviz
sudo vi astra_camera.rviz
最后，即可快捷启动rviz环境了！
roscd astra_camera/
rviz -d rviz/astra_camera.rviz
4.保存点云信息
如果需要实时保存当前点云信息，可以直接运行如下节点。该节点将把当前点云信息保存至当前目录下。
rosrun pcl_ros pointcloud_to_pcd input:=/camera/depth_registered/points
保存点云信息时，要注意及时停止（Ctrl+C）否则会生产大量的pcd文件。
5.查看pcd文件
查看pcd文件需要使用特定工具，此处介绍工具pcl_viewer
# 安装
sudo apt-get install pcl-tools
查看文件的方式如下，其中xxxx替换为所需查看的文件名。
pcl_viewer xxxx.pcd
打开后，可以使用鼠标进行放大、缩小、移动，操作同rviz一样。同时可以点击键盘上的数字键1~5切换不同的颜色。
