在这里,你的无人机可以任性炸机,还可以顺便「调教」人工智能

人工智能的发展离不开数据的积累,在一些涉及到飞行器或自动驾驶交通工具的项目里,如果使用实体的测试设备来收集训练数据的话,成本会变得很高,一旦在测试时出现坠落或撞墙,损失会较为惨重。为了降低数据收集的成本,微软研发团队于今年 2 月份在 Github 上开源了一套基于虚幻引擎 4(Unreal Engine 4,以下简称 UE4)构建的无人机模拟飞行插件——AirSim,方便大家能以「不炸机」的方式收集用于深度学习和人工智能研究的数据。

在这里,你的无人机可以任性炸机,还可以顺便「调教」人工智能_第1张图片

UE4 在游戏开发上的表现极为出色,而 AirSim 则内置了 UE4 商城里的一个名为「Modular Neighborhood Pack」环境包,里面高度还原了一个逼真虚拟环境,模拟了阴影、阳光炫光、阴霾和道路表面积水等真实世界的环境细节,使用者可以在里面模拟无人机的操作。

在这里,你的无人机可以任性炸机,还可以顺便「调教」人工智能_第2张图片

使用方法

添加遥控器操作

安装好 AirSim 后,你可以使用外接遥控器进行模拟飞行。按照 AirSim 文档里 Remote Control 的描述,AirSim 支持 DJI、PX4 等无人机的遥控器及一些可用的控制器,包括 XBox 360、Playstation 3 的游戏手柄,但如果要接入这些外接遥控器,就必须在电脑上进行相应的配置。幸好,在最新的代码中,AirSim 内置了名为「simple_flight」的模拟遥控器,你可以跳过配置外接遥控器的繁琐事了。

在这里,你的无人机可以任性炸机,还可以顺便「调教」人工智能_第3张图片

程序控制
AirSim 允许你通过 APIs 与虚拟的飞行器进行操作交互。如下面的 hello_drone.py 中,设置了「按任意键以 5m/s 的速度飞往(-10,10,-10)的坐标点上」以及「按任意键拍照」的功能:

from PythonClient import *

# connect to the AirSim simulator 
client = AirSimClient()
client.confirmConnection()
client.enableApiControl(True)
client.armDisarm(True)

AirSimClient.wait_key('Press any key to takeoff')
client.takeoff()

AirSimClient.wait_key('Press any key to move vehicle to (-10, 10, -10) at 5 m/s')
client.moveToPosition(-10, 10, -10, 5)

AirSimClient.wait_key('Press any key to take images')
responses = client.simGetImages([
    ImageRequest(0, AirSimImageType.DepthVis), 
    ImageRequest(1, AirSimImageType.DepthMeters, True)])
print('Retrieved images: %d', len(responses))

for response in responses:
    if response.pixels_as_float:
        print("Type %d, size %d" % (response.image_type, len(response.image_data_float)))
        AirSimClient.write_pfm(os.path.normpath('/temp/py1.pfm'), AirSimClient.getPfmArray(response))
    else:
        print("Type %d, size %d" % (response.image_type, len(response.image_data_uint8)))
        AirSimClient.write_file(os.path.normpath('/temp/py1.png'), response.image_data_uint8)

收集训练数据
从 AirSim 中生成用于深度学习的数据,最简单的方法是按右下角的记录按钮,点击后,系统会记录并写入每一帧的飞行姿态和图像信息。当然,你也可以接入其 APIs,根据训练项目的需求,获取你想要的训练数据。

在这里,你的无人机可以任性炸机,还可以顺便「调教」人工智能_第4张图片

计算机视觉模式
在该模式下,你可以通过键盘或 APIs 代码指令来控制飞行器的姿态并获取当前显示图像的深度、视差、地面法线、图像分割等信息,你还可以设置分辨率、人称视角、动态模糊等参数。

在这里,你的无人机可以任性炸机,还可以顺便「调教」人工智能_第5张图片

小结

如果只是用 AirSim 来练习飞行技巧的话,就有点「大材小用」了,微软开发 AirSim 的初衷是希望帮助你做些 AI-things。AirSim 的 APIs 采用 RPC 协议,支持 C++,Python,C# 和 Java 等多种语言。同时,APIs 被封装成独立的跨平台库,模拟器的执行代码也可以在真实的无人机上进行编译执行,所以训练数据是可以互通的。

AirSim 可以记录使用者的操控行为,并作为深度学习神经网络的训练数据,比如通过大量记录使用者躲避障碍物的操控方式,可以让 AI 学习区分阴影与深色墙壁的差别。虽然虚拟环境不能完全替代现实环境下的测试,但能以这种低成本的方式获得海量的数据,对于要开发无人机或自动驾驶技术的公司来说,简直是一项大福利。

最后说句,因为钟德夫(就是 DroneDev 啦)上周出差了,所以拖延了一把,本来文章里还会提到 AirSim 的安装方法,不过没曾想单是 UE4 在 Mac OS 上的环境配置就有那么多坑,所以具体的配置方法和上手体验会放到下一篇推送里,嘿嘿。

你可能感兴趣的:(在这里,你的无人机可以任性炸机,还可以顺便「调教」人工智能)