在 ROS 中提取 Kinect 图像信息

引言

在机器人和计算机视觉领域，微软的游戏外设 Kinect 是非常流行的感知设备。它可以同时提供普通的 RGB 图像，红外图像、深度图像以及 RGB图像与深度图像的点集匹配（point set registration 或者称为 point matching）。

Kinect 有两个比较常见的版本：

在本项目中我们选用 Kinect v2。

为了将 Kinect 的图像信息发布到 ROS 中，需要做两方面的工作

本文主要参考了下边的文章，并对其中的部分内容做了修改、更新
https://github.com/code-iai/iai_kinect2
https://github.com/OpenKinect/libfreenect2

平台

尽管我们的机子上有 Nvidia 显卡，也装了 CUDA，但是在之前的使用中经常出现与 CUDA 相关的问题。所以为了避免麻烦，我们在后续的编译过程中将禁用 CUDA。

安装编译工具

sudo apt-get install build-essential cmake pkg-config

安装 libusb，用来与 usb 设备交互
```
sudo apt-get install libusb-1.0-0-dev
```
安装 TurboJPEG，用于 JPEG 格式图片编码与压缩
```
sudo apt-get install libturbojpeg libjpeg-turbo8-dev
```
安装 OpenGL
```
sudo apt-get install libglfw3-dev
```

安装视频硬件加速 API — VAAPI

sudo apt-get install libva-dev libjpeg-dev

安装 OpenNI2
```
sudo apt-get install libopenni2-dev
```
下载 libfreenect2 源文件并编译
```
git clone https://github.com/OpenKinect/libfreenect2.git
cd libfreenect2
mkdir build 
cd build
cmake .. -DCMAKE_INSTALL_PREFIX=$HOME/freenect2  -DENABLE_CUDA=OFF
make
make install
```
其中 -DENABLE_CUDA=OFF 参数就是禁用 CUDA。
在编译过程中如果出现了与 libusb 有关的错误，可能是 ubuntu kernel 的问题，换一个 kernel 就可以了。可以用软件 ukuu 安装新的 kernel，图形界面操作，非常直观。
权限设置。一般情况下要与硬件设备交互需要超级用户权限，即用 sudo 。为了避免这种麻烦，我们用如下的方法设置权限：
```
sudo cp ../platform/linux/udev/90-kinect2.rules /etc/udev/rules.d/
```
测试。重新插拔一下 Kinect，然后执行如下程序：
```
./bin/Protonect
```
执行以上程序时，当前目录依然是 build 文件夹。
如果一切顺利，会出现 viewer 窗口，包括四个画面，分别是 RGB，红外，深度，以及深度与 RGB 的点匹配画面。

安装 ROS package 的依赖

cd iai_kinect2
rosdep install  --from-paths .  --ignore-src

有了 Kinect 发布的 RGB 和 Depth 图像，后续就是具体的项目应用了，这部分内容将在其他文章中介绍。