2020机甲大师赛，空中机器人的视觉定位方案是怎么样的？Q&A

        【讨论有奖】参与赠送100IC币

在RoboMaster比赛中，与其他兵种有着本质性区别的空中机器人，在团队中扮演着独特又重要的作用。
PS：还不明白RM比赛中的兵种分类及定位?赶紧戳链接看视频补课！
https://www.icxbk.com/game-video/detail?vid=1162
本期嘉宾Richard是Dji的软件工程狮，同时也是RoboMaster2020赛季空中机器人开源方案的负责人。以Q&A的方式为大家解答2020RM比赛中空中机器人的视觉定位方案问题。大家一起来了解！
【讨论有奖】各位观众也一起聊聊自己玩无人机时遇到的飞控、视觉、定位问题，或是遇到过什么有趣的经历？
回帖参与后将在7/1日截止后统一结算
赠送100IC币！

Q1：今天的主题是2020空中机器人的视觉定位方案，能跟大家说说今年的空中机器人视觉方案与以往有什么不同之处吗？:
A1：由于Guidance停产的问题，将会导致新参赛队伍的空中机器人无法实现室内定位的功能。目前官方已经提供了SDK二次开发例程，经过验证同样满足室内定位的要求。官方的SDK二次开发例程仅是提供参考，参赛队伍要根据自己的需求决定自己的解决方案，编写SDK二次开发程序。

Q2：那SDK开发的具体流程是怎么样的呢？
A2：
1.看官网的资料，找到自己板载对应的开发教程；
2.使用官方的程序，先用模拟器跑一边，看下具体的现象，分析一下代码；
3.理清楚API的作用，可以自己尝试写下其它功能，并且在模拟器上看现象，看是否跟自己写的是一致的；
4.模拟器仿真正常后，就可以在实际场景进行测试飞行

Q3：在SDK开发过程中，有需要注意什么吗？
A3：
1.要保证遥控能够可以随时抢夺飞机的控制权（保证在调试过程中出现问题，可以退出SDK模式），同样，可以安装灯或者能够明显提醒飞手的标志物，实时显示飞机当前的控制状态（是否在SDK开发模式）。
2.开发新功能时，一定要在模拟器中先进行试验，不要立马进行实际飞行，要确保自身安全。
3实现定位功能前，飞机的基本参数要调试好（调试参数时不要飞太低，地效影响严重），先保证飞机定高模式飞行是十分稳定的，不会出现抖动现象，再去实现其他功能。

Q4：2020空中机器人一定要采用该方案实现室内定位吗？可否采用其它方式实现呢？
A4：不一定，目前这个方案是为了能让大家快速实现定位功能。采用的光流是已经将数据进行融合，不需要参赛队伍去处理便可以直接使用，减小了很多麻烦的步骤。参赛队员在学有余力的情况下，可以试试沈老师的vins开源算法+Realsense+manifold2，或者买下其它款式的光流，自己融合一下数据试试。

Q5：有些同学发现在隔一段时间后，定位效果与之前不一样了，这是为什么呢
A5：1.重量发生很大的变化时，原先调试的参数可能已经不适用了。
2.光流是采用摄像头的数据，进行前后二帧特征点的对比。灯光的变化，以及场地的变化都会给光流的数据带来影响，所以参赛队开发的时候，要考虑周全，避免换了环境后定位效果发生很大的变化。

Q6：有时候还会出现板载板子无法跟飞控进行通讯，这是什么问题呢？
A6：首先，要确保飞控成功启动，板载STM32再进行对应的一系列初始化和通讯，可以再STM32程序中进行延时，或者等飞控成功启动后再给板载板子上电。
通讯失败也可能是板载STM32初始化出现失败或者其它问题，具体问题可以查看打印出来的消息，可以迅速定位问题（一般可以使用数传或者蓝牙等进行数据传输，可以很方便地观看各种数据，方便自己调试）。

Q7：室内GPS用不了吧？
A7：室内的话是用不了GPS的，室内的话可以考虑使用UWB

Q8：UWB数据可以尝试读，雷达也可以尝试建立世界坐标，这是可以试一下的吧？
Q8：是可行的，UWB是可以读取后跟飞控的数据进行融合，是可以实现室内定位，不过目前比赛是不建议使用，因为UWB的标签太多，延时会严重一些

Q9：场地光线对视觉定位的影响大吗？
A9：场地光线是会影响对定位效果的，因为光流实质就是图像特征点的对比，不过光流一般都是需要跟加速度计陀螺仪进行数据融合的，效果会好一些

Q10：基于光流进行视觉定位的话，采用哪一种方法得到的光流数据进行定位会比较好呢？
Q10：原始的光流数据进行定位的话肯定效果不好，实质上需要跟加速度计陀螺仪的数据进行融合，你可以尝试拉取飞控的数据，不过要注意时间同步问题

Q11：水平定位的必要性大吗，在实际场地中，竖直方向定高的环境变化较小，水平方向定点周围环境变化较大（灯光，场地遮挡物等），加装水平定点的效果与姿态模式或gps模式的效果相比优化有多大
A11：水平定位是必要的，因为室内没有GPS信号，所以需要其他传感器提高飞机的水平移动信息。姿态模式的话飞机水平会漂移，无法实现悬停功能

Q12：感觉如果使用匿名的光流的话只给出到地面的激光测距对空间定位的准确性不高啊
A12：使用激光或者超声波只是来辅助定高功能。因为室内飞行的话，纯气压计定高，长时间会出现掉高现象。

Q13：模拟器是调参系统里面的模拟器吗，那个模拟器不应该是在GPS模式下的吗，可以测试我们开发的新功能？
A13：你可以看下论坛发布的开源资料，里面提到这个问题。大家再进行光流调试的时候，飞控是处于定高的模式，所以现在的飞机在模拟器中是会漂移的。测试光流定位的时候，你可以手动拿起飞机，移动飞机的时候，模拟器中的飞机会朝着你移动相反的方向飞行。当你手中的飞机回到起初的位置时，模拟器中的飞机也会停下来https://www.icxbk.com/game/detail/157