SLAM学习 | 小觅相机的图像与IMU时间戳对齐分析

概要： 接前文——SLAM学习 | 使用小觅相机MYNTEYE-S1030收集数据集，得到了图像与IMU数据之后，由于两者采样频率相差很大，所以首先需要分析他们各自的时间戳对齐情况。相机官网上说已经通过相关芯片进行了硬件对齐，且误差保持在5ms以内，那就正好来验证一下吧。
关键字： 小觅相机; 视觉-IMU时间戳对齐
 

1 在时间轴上标注时间戳

   在前文中提到，一次采集可以得到5种数据，分别是4种图像数据——深度图depth、差分图disparity、光学左图left、光学右图right和1种运动数据——IMU数据，如图1所示：

图1 小觅相机运行record例程采集到的数据的文件结构

 
   其中4种图像的时间戳相同，因此只需比较一种图像，如left的时间戳与IMU时间戳。时间戳数据如下例所示：

2047232990

   数据精确到微秒，当前时刻是2047秒232990微秒。

   在时间轴上分别标识left与IMU的时间戳，如图2所示：

图2 图像（红点）与IMU（蓝点）时间戳

 
   其中红点、蓝点分别表示图像、IMU时间戳。从图中大致可以看出，每两个红点之间存在8个蓝点间隔，这与预设的图像帧率25fps、IMU频率200Hz吻合。

2 时间戳对齐误差

   为了更进一步分析两者对齐情况，对每个图像时间戳，从IMU时间戳中筛选出最接近的那一个，并计算两者误差，得到如图3所示的误差曲线：

图3 图像与IMU时间戳对齐误差

 
   由图3所示，图像与IMU时间戳误差大致在0-2500微秒区间内呈周期性波动，最大误差也仅有2.5毫秒左右，这对40毫秒的图像采样间隔来说一般是可以接受的。

   在同样的图像帧率、IMU频率（25fps，200Hz）下再做两组实验，得到的结果如图4(1)(2)所示，结论一致。

图4(1) 图像与IMU时间戳对齐误差（第二组实验） 图4(2) 图像与IMU时间戳对齐误差（第三组实验）

3 通过增加IMU频率减小对齐误差

   更进一步，如果对时间戳对齐误差容忍度更低，则可以通过增加IMU频率实现。保持图像帧率为25fps，将IMU帧率提高到50Hz，则每帧图像与其时间最接近的IMU时间戳之间的误差如图5所示：

图5 IMU在500Hz频率下，图像与IMU时间戳对齐误差

   可以看到，当IMU频率提高到500Hz时，图像-IMU时间戳对齐误差的波动区间由原来的0-2500us降低到0-1000us。

   一般地，设IMU频率为f（单位：Hz），则图像-IMU时间戳对齐误差的波动上限UP=1000/(2*f)（单位：毫秒），波动区间为[0, UP]。