Habitat 是一个具体人工智能研究平台,包括:
Habitat-Sim
:一种灵活的高性能 3D 模拟器,具有可配置代理、多个传感器和通用 3D 数据集处理(内置对 MatterPort3D、 Gibson和其他数据集的支持)。
Habitat-Sim 通常与 Habitat-Lab一起使用,Habitat-Lab 是一个模块化高级库,用于嵌入式 AI 中的端到端实验 - 定义具身 AI 任务(例如导航、指令跟踪、问答)、训练代理(通过模仿或强化学习,或者像经典的 SensePlanAct 管道那样根本不学习),并使用标准指标对定义的任务的性能进行基准测试。
Habitat Lab
:用于具身智能端到端开发的模块化高级库 - 定义嵌入式人工智能任务(例如导航、指令遵循、问答)、配置嵌入式代理(物理形式、传感器、功能)、训练这些代理(通过模仿或强化学习,或者像经典 SLAM 那样根本不学习),并使用标准指标在定义的任务上对他们的表现进行基准测试。
为了实现这一目标,Habitat-Lab 旨在支持以下功能:
灵活的任务定义:允许用户在各种单智能体和多智能体任务中训练智能体(例如导航、重新排列、遵循指令、回答问题、人类跟随),以及定义新颖的任务。
多样化的体现代理:配置和实例化一组多样化的体现代理,包括商业机器人和人形机器人,指定它们的传感器和功能。
训练和评估智能体:提供用于单智能体和多智能体训练的算法(通过模仿或强化学习,或者像 SensePlanAct 管道中那样根本不学习),以及使用标准指标在定义的任务上对其性能进行基准测试的工具。
人机交互:为人类与模拟器交互提供框架,从而能够收集具体数据或与训练有素的代理交互。
使用conda创建环境,与读者的主开发环境分离开
# We require python>=3.9 and cmake>=3.10
conda create -n habitat python=3.9 cmake=3.14.0
conda activate habitat
按照官方教程,找不到habitat-smi
手动打开https://conda.anaconda.org/aihabitat/win-64
发现win-64位下并没有相应版本
只能在Linux上用,即使是Windows也需要在其Linux子系统中
更换Linux后安装成功
conda install habitat-sim withbullet -c conda-forge -c aihabitat
下载测试数据验证
python -m habitat_sim.utils.datasets_download --uids habitat_test_scenes --data-path [目标目录(e.g ~/hdm)]
下载后切换到下载数据集的目录,笔者是~/hdm
habitat-viewer ./scene_datasets/habitat-test-scenes/skokloster-castle.glb
测试物理数据
python -m habitat_sim.utils.datasets_download --uids replica_cad_dataset
此时当前目录会多一个data
目录
habitat-viewer --enable-physics --dataset data/replica_cad/replicaCAD.scene_dataset_config.json -- apt_1
经过上一步我们已经有了habitat
的conda
环境
拉取项目源码安装
git clone --branch stable https://github.com/facebookresearch/habitat-lab.git
cd habitat-lab
pip install -e habitat-lab # install habitat_lab
pip install -e habitat-baselines # install habitat_baselines
如果读者下载的速度比较慢的话,可以切换国内源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/
安装成功后
我们回到数据集的目录,下载点导航测试数据集(按照官方教程实际上还有一步下载场景数据,但是我们在habitat-sim的安装过程中已经完成)
# 读者自己选择自己的目录
cd ~/hdm
python -m habitat_sim.utils.datasets_download --uids habitat_test_pointnav_dataset --data-path data/
# 此处读者应该与自己的环境呼应
cd /home/moresweet/Projects/gitCloneZone/habitat-lab
python examples/example.py
pip install pygame==2.0.1 pybullet==3.0.4
python examples/interactive_play.py --never-end