OpenAI_ROS做强化学习
文章目录
- 一、主要资源
-
- 1、The openai_ros package
- 2、网页教程（免费）
- 3、在线课程（收费）
- 二、CSDN上的资源
-
- 1、抚琴弹出情调零
- 2、zhangrelay
- 3、天涯0508
- 4、lxlong89940101
- 5、RainStarX
- 三、FYO_踩坑记录
-
- 1、初步尝试
- 2、官方教程
- 3、参考‘天涯0508’
一、主要资源
1、The openai_ros package
作为连接RL与ROS & Gazebo的桥梁，openai_ros包一定需要了解，链接为：
openai_ros
Learn the basics of openai_ros using a Turtlebot2 simulation
2、网页教程（免费）
主页
20180814_[ROS Projects] – Use OpenAI_ROS with Turtlebot2 Step by Step – PE
20180719_[ROS Projects] – Use OpenAI_ROS with Turtlebot2 Step by Step #Part 1
20180730_[ROS Projects] – Use OpenAI_ROS with TurtleBot2 Step-by-Step #Part 2
3、在线课程（收费）
主页
课程网页
二、CSDN上的资源
1、抚琴弹出情调零
主页
gym-gazebo安装
系统: ubuntu18.04 ubuntu16.04(已弃用) ubuntu14.04(已弃用)
ROS: Melodic
Gzebo: 9.0
20190809_openai_ros教程（ ros gazebo 深度强化学习）
测试环境：ubuntu16.04，kinetic
2、zhangrelay
其人应该是ROS界的大牛。
主页
20190430ROS、OpenAI和Gazebo机器人与人工智能仿真与实践教研杂记（一）安装配置
课程教学实践环境：
系统：Ubuntu 18.04.2 LTS + ROS Melodic（1.0）1.14.3 ~ 1943 + ROS Crystal（2.0）0.6.1 ~ 541 etc.
仿真：Gazebo 9.8.0 + V-Rep 3.6.1 + Webots 2019a.1 etc.
实物：Cozmo/Vector + Leap Motion + Joystick + Camera + Microphone + Speaker + Phone（ios&android）+ Arduino etc.
镜像：ROS2Go ver2.0 + 实验楼ROS + Exbot ROS iso indigo&kinetic etc.
书籍：ROS机器人高效编程 + ROS机器人项目开发11例 etc.
编程：Matlab 2018a + Python 2.7 + Python 3.6 + C++ etc.
智能：Tensorflow + Caffe + OpenAI etc.
语音：科大讯飞 + 百度语音 + Sphinx etc.
Ubuntu 18.04.2 LTS
gym-gazebo支持ROS Melodic（1.0）
gym-gazebo2支持ROS Crystal（2.0）
20190513_ROS、OpenAI和Gazebo机器人与人工智能仿真与实践教研杂记（三）深度学习
关于ROS、OpenAI和Gazebo已经测试过环境包括：
Ubuntu 16.04 + ROS 1 Kinetic + OpenAI + Gazebo 7
Ubuntu 18.04 + ROS 1 Melodic + OpenAI +Gazebo 9
3、天涯0508
开发环境为Ubuntu 16.04、ROS版本为kinetic、py2。
主页
20180830_ROS开发笔记（8）——Turtlebot3 Gazebo仿真环境下深度强化学习DQN（Deep Q-Learning）开发环境构建
20180909_ROS开发笔记（9）——ROS 深度强化学习应用之keras版本dqn代码分析
20180914_ROS开发笔记（10）——ROS 深度强化学习dqn应用之tensorflow版本(double dqn/dueling dqn/prioritized replay dqn)
4、lxlong89940101
主页
20190528_强化学习实现四旋翼无人机的路径选择(Gym+Gym-Gazebo+Gazebo+Ros)
20190410_ROS+Gazebo+Gym+Gym_gazebo安装配置
5、RainStarX
主页
20181010_安装Airsim并在Airsim仿真环境下进行DDPG DQN强化学习算法无人机训练
三、FYO_踩坑记录
1、初步尝试
按照“一、1”与“二、1”中的教程进行操作都不太顺利，于是把openai_examples_projects中的turtle2_openai_ros_example全部拷下来，仍然问题不断、不得其解。
当前阶段的最大问题在于gym-gazebo总是不能安装好：
$ sudo pip install -e
[sudo] password for fyo:
Usage:
pip install [options] <requirement specifier> [package-index-options] ...
pip install [options] -r <requirements file> [package-index-options] ...
pip install [options] [-e] <vcs project url> ...
pip install [options] [-e] <local project path> ...
pip install [options] <archive url/path> ...
-e option requires an argument
2、官方教程
找到了gym-gazebo的官方安装教程
里面写着几大打字：
Installation
Ubuntu 18.04
Ubuntu 16.04 (deprecated)
Ubuntu 14.04 (deprecated)
后面俩被官方弃用？！
不过后面也给出了Ubuntu 16.04 Basic requirements:
ROS Kinetic (/rosversion: 1.12.7)
Gazebo 8.1.1
Python 3.5.2
OpenCV3, installed from sources for Python 3 (git clone https://github.com/Itseez/opencv.git)
OpenAI gym
3、参考‘天涯0508’
Gazebo的版本倒还好说，但是python这恐怕是个大问题吧？当初为了安装ROS，特地建了一个使用python2.7的虚拟空间来着，现在忽然提到python3.5？我需要琢磨琢磨。
另外，即使未来可能出现兼容方面的问题，那也不应该此时安装不了呀？
‘天涯0508’和我的当前配置最为接近，我打算以他的内容为主要参考进行研究。完全参考他的这篇进行安装。安装tensorflow时有报错，回头再应对。
启动turtlebot3 gazebo环境等节点：
roslaunch turtlebot3_gazebo turtlebot3_stage_1.launch
发生报错：
根据这篇文章得以顺利解决：
export TURTLEBOT3_MODEL=burger
成功启动turtlebot3 gazebo环境等节点，调出仿真环境。
打开另外一个终端，启动DQN算法等节点：
source activate tensorflow
roslaunch turtlebot3_dqn turtlebot3_dqn_stage_1.launch
有报错：
错误：ImportError: libcublas.so.9.0: cannot open shared object file: No such file or directory
问题：找不到cuda9.0的版本。
出现该错误的主要原因：cuda未安装或者cuda的版本有问题
接下来python、tensorflow、cuda、cudnn、ros之间的版本都需要进行统筹规划。目前py27虚拟环境中并没有安装cuda等，但是有tf。
接下来的安装过程重点参考这篇文章
另外，既然官方已经弃用了ubuntu16,那么我在尝试16.04上搭建环境之后，其实也应该尽快尝试搭建18.04环境！