关于IMU、激光雷达、Kinect的融合构想

1. Kinect有三个镜头，中间的镜头是 RGB 彩色摄影机，用来采集彩色图像。左右两边镜头则分别为红外线发射器和红外线CMOS 摄影机所构成的3D结构光深度感应器，用来采集深度数据（场景中物体到摄像头的距离）。彩色摄像头最大支持1280*960分辨率成像，红外摄像头最大支持640*480成像。Kinect还搭配了追焦技术，底座马达会随着对焦物体移动跟着转动。Kinect也内建阵列式麦克风，由四个麦克风同时收音，比对后消除杂音，并通过其采集声音进行语音识别和声源定位。

下图给出了Kinect的整体结构。Kinect一共有3个摄像头，中间一个是RGB摄像头，用来获取640×480的彩色图像，每秒钟最多获取30帧图像；两边的是两个深度传感器，左侧的是红外线发射器，右侧的是红外线接收器，用来检测玩家的相对位置。Kinect的两侧是一组四元麦克风阵列，用于声源定位和语音识别；下方还有一个带内置马达的底座，可以调整俯仰角。

深度检测是Kinect的核心技术，开发者可以通过Kinect获取到用户的深度信息，判断用户的位置。Kinect v1的深度检测用的是Light Coding的方式:红外投影机投射红外光谱，照射到粗糙物体或者毛玻璃后，光谱发生扭曲，形成散斑。因为散斑具有高度随机性，所以空间中每一个散斑的图案都不相同。在空间中打上这样的结构光，整个空间即被标记，当物体放在这个空间中时，红外摄像机接收到反馈信息，就可根据物体上散斑图案判断物体位置，形成深度图像。Kinect v2的深度检测用的是Time Of Light的方式：通过红外摄像头投射红外线形成反射光，根据光线飞行时间判断物体位置，形成深度图像。

总结：其实也可以当单目相机用，只接受topic：image_raw就可以了。

------------------------------10月8日补充-------------------------------------------------------------

这里谈到了是否能把Kinect当单目相机用，原因是实验室的设备上没有单目相机，而我想做的是把GPS、INS、相机、激光雷达中的一部分融合（没说全融合），首先买的下面的MTI-710既然带了GPS，就想用用他不然白买了，这样在室内GPS就不好用了，就只能去室外，室外的话，Kinect又不好用了是吧，因为它对光敏感；所以就想把它当单目用（虽然有点浪费，起码还能用），这样就是做的最多的单目+IMU了。然后又想，我们有激光雷达啊能不能用一下，最近思考了下，觉得不太容易，因为GPS的失效位置就是室内和多遮盖地区，要让GPS能用，就得去室外空旷环境（比如操场），但一空旷，激光雷达的数据就不一定能传回来啊，太远了什么都有检测不到是吧。。。愁人。。。

2.

论文中使用的是 ZED 和 MTI-G-710 硬件设备。

使用 HUAWEI Honor V9 手机采集 GPS 信号，得到原始观测值，采样频率是 1Hz，使用最小二乘求解载体位置。

3.数据采集系统由陆地车辆、速度里程计、角度编码器、2D 激光扫描仪和 GPS 接收机组成。速度里程计和角度编码器分别用于输出车辆行驶速度和测量车辆舵向角，两者构成车辆 2D 航位推算系统，测量精度分别约为 0． 3m/s 和 3°，输出频率为 40Hz。SLAM 系统以激光扫描仪为观测敏感器，以树干为环境特 征点，通 过在 水平 方 向180°视角扫面，返回特征点相对车辆距离与视线角，测量精度分别为 1m/s 和 1． 5°，输出频率为5Hz。GPS 输出位置信息精度为 3m，频率 1Hz。SLAM 问题求解中采用分支界限联合兼容数据关联方法与压缩卡尔曼滤波方法。

这是篇小论文，没有太多介绍。

4.几个还没看的github，感觉有点相关：

https://github.com/GSORF/Visual-GPS-SLAM

https://github.com/wuzhengy/gpsCalibration

有用的博客：

https://blog.csdn.net/qq_18661939/article/details/53574981

5.关于IMU

MTi-G-710位置姿态传感器是Xsens公司MTi-100系列产品中一款基于卫星导航与惯性导航相结合的导航与稳定控制应用的解决方案。是具有一体式结构的传感器系统，可输出高频率的位置和姿态数据，且系统无法获得磁场时可实现出色的航向跟踪，并且输出数据可配置，能够与第三方设备同步 。该产品有如下特点：

完整的传感器融合算法

• 针对长期的瞬态加速度的补偿

• 可以应对GNSS的中断

• 不以磁性航向做参考

• 针对振动条件下的性能进行调整

• 适用于各种应用的可选滤波器配置

易于软件集成

• 广泛的可配置输出格式，都在MTi-G-710上计算所得

• 具有直观图形用户界面的MT软件套件

• 针对所有操作系统的完整软件开发包

• 支持机器人操作系统（ROS）

• XSENS XBus协议或ASCII（NMEA）

• 可访问Xsens的知识库和社区论坛BASE

一流硬件设计

• 最高质量的工业级部件

• 抗振的陀螺仪和加速度计

• 内置多种GNSS接收器(GPS, GLONASS, BeiDou,

Galileo) 及气压计

• 广泛的（时间）同步选项

性能亮点

• 无需磁场条件下的真北输出

• IP67封装版或OEM版本

• 多种接口可选并具备机载USB接口

• 所有XSENS产品都是完全可互换的

• 经济高效的系统集成解决方案

• 输出位置，速度和姿态信息

三维姿态测量系统MTi-100

MTi-100系列包括MTi-100,MTi-200,MTi-300,MTi-700四个型号。

710-GNSS/INS(带GPS)价格16000 300-AHRS(不带GPS)价格12000

MTi-G-710 GPS/INS是一款GPS辅助，IMU增强型GPS/INS。产品提供高质量定向和定位，属于高性能MTi 100系列。内部处理器功耗低。输出的航向角没有漂移，同时提供经过较核的三维加速度，角速度以及磁场强度。对于照相机，机器人，车辆等其他系列设备的稳定和控制，MTi 是一款性能非常优秀的测量产品。