Carla Gym
1. Gym简介
Gym是一类用于强化学习的环境，从官网中的一段代码示例就能看到这个环境的主要构成部分。
- 创建环境：
gym.make() - 重置环境：
env.reset() - 执行单步动作：
env.step() - 关闭环境：
env.close() - 渲染环境：
env.render()
2. 如何定义Gym环境
如果想用Gym的环境的话，我们需要定义以下内容：
- 动作空间：油门/刹车、转向角
- 状态空间：自身的状态，包括位置速度等信息，或者传感器状态，包括摄像头雷达等信息
- 奖励：设定不同的奖励，鼓励智能体采取某种行为，如保持车道线给与正的奖励
2.1 状态空间
observation_space_dict = {
'camera': spaces.Box(low=0, high=255, shape=(self.obs_size, self.obs_size, 3), dtype=np.uint8),
'lidar': spaces.Box(low=0, high=255, shape=(self.obs_size, self.obs_size, 3), dtype=np.uint8),
'birdeye': spaces.Box(low=0, high=255, shape=(self.obs_size, self.obs_size, 3), dtype=np.uint8),
'state': spaces.Box(np.array([-2, -1, -5, 0]), np.array([2, 1, 30, 1]), dtype=np.float32)
}如果我们在源代码调用_get_obs()函数，就可以得到上述四个观测，它们的维度分别是三个（255，255，3）的图像（'camera'、'lidar'、'birdeye'），和一个（4，）的'state'（与车道线的横向距离，与车道线的夹角，当前速度，和前方车辆的距离）
2.1 动作空间
self.discrete = params['discrete']
self.discrete_act = [params['discrete_acc'], params['discrete_steer']] # acc, steer
self.n_acc = len(self.discrete_act[0])
self.n_steer = len(self.discrete_act[1])
if self.discrete:
self.action_space = spaces.Discrete(self.n_acc*self.n_steer)
else:
self.action_space = spaces.Box(np.array([params['continuous_accel_range'][0],
params['continuous_steer_range'][0]]), np.array([params['continuous_accel_range'][1],
params['continuous_steer_range'][1]]), dtype=np.float32) # acc, steerReferences:
[1] gym-carla环境实现DQN算法_Wqc423的博客-CSDN博客
[2] Carla封装Gym指南 - 知乎
[3] Installation — Stable Baselines 2.10.3a0 documentation