Gym小记（三）
浅析Continuous Mountain Car环境
上一篇博客《浅析Gym中的env》中我们简要介绍了倒立摆（Pendulum）环境，本文中，我们主要介绍小车上山环境，参考Github上的continuous_mountain_car.py源码。
与分析Pendulum环境一样，我们仍然先来看看state、observation、action。
虽然python文件叫做continuous_mountain_car.py，但是在我们使用gym.make时，传入的参数是“MountainCarContinuous-v0”，所以我们暂且将这个环境简写为MCC。
关于MCC环境，我们直接看_step()函数：
def _step(self, action):
position = self.state[0]
velocity = self.state[1]
force = min(max(action[0], -1.0), 1.0)
velocity += force*self.power -0.0025 * math.cos(3*position)
if (velocity > self.max_speed): velocity = self.max_speed
if (velocity < -self.max_speed): velocity = -self.max_speed
position += velocity
if (position > self.max_position): position = self.max_position
if (position < self.min_position): position = self.min_position
if (position==self.min_position and velocity<0): velocity = 0
done = bool(position >= self.goal_position)
reward = 0
if done:
reward = 100.0
reward-= math.pow(action[0],2)*0.1
self.state = np.array([position, velocity])
return self.state, reward, done, {}从最后的self.state=np.array([position,velocity])中可以看出，MCC的状态包括位置（position）和速度（velocity），此外，在__init__()函数中，有如下语句：
self.action_space = spaces.Box(self.min_action, self.max_action, shape = (1,))
self.observation_space = spaces.Box(self.low_state, self.high_state) observation space和action space都有上下限，这些在__init__()函数中有声明：
self.min_action = -1.0
self.max_action = 1.0
self.min_position = -1.2
self.max_position = 0.6
self.max_speed = 0.07
self.goal_position = 0.45 # was 0.5 in gym, 0.45 in Arnaud de Broissia's version
self.power = 0.0015
self.low_state = np.array([self.min_position, -self.max_speed])
self.high_state = np.array([self.max_position, self.max_speed])
self.action_space = spaces.Box(self.min_action, self.max_action, shape = (1,))
self.observation_space = spaces.Box(self.low_state, self.high_state)接着reward进行分析：
done = bool(position >= self.goal_position)
reward = 0
if done:
reward = 100.0
reward-= math.pow(action[0],2)*0.1这是_step()函数中的语句片段，也就是说，每执行一个step，就会检查看自己是否越过了右边的山峰，据此来给done赋值，如果没有越过山峰，则在这一个step, reward将会记为-math.pow(action[0],2)*0.1，也就是这一个时间步我们耗费了多少能量，我们当然不希望耗油太多。一旦小车越过右边的山峰，也即有done=True，这一个时间步就会马上得到100-math.pow(action[0],2)*0.1的奖励。
与Pendulum环境一样，我们这里同样也有max_episode_steps的限制，Pendulum是200，而这里是999，此外，MCC还多了一项对于奖励的限制，reward_threshold = 90.0。（这些都是定义在gym/envs/__init__.py中）
MCC环境分析就到这里咯～