如何创建自己的gym环境

我们为什么要创建一个gym的环境呢?因为需要,哈哈哈,这是一句废话,但是也是一句真话。因为我不想自己写强化学习的算法了,我想用一些现成的框架,这些框架训练的都是gym的游戏,那我把我自己想要训练的东西改成一个gym的框架,不就可以直接用强化学习的框架来训练了嘛。就是这么一个简单的需求,我们开始吧。

顺便说一下,我这里的gym是比较老的版本,新版本的gym有一些不同,新版本的gym在step函数中返回的是一个五元组,reset返回的是一个二元组,这都与旧版本不同,但是这些强化学习的框架还没有改过来,所以我们也就使用了旧版本函数,不过这也不是什么大问题。

需要实现的函数

__init__()

构造函数中我们需要定义两个变量self.action_spaceself.observation_space, 为了覆盖父类的变量,这两个变量的名字是固定的。它们定义了强化学习中的动作空间和状态空间的类型和大小,如果是离散的,则使用Discrete创建,参数为离散量的个数,比如CartPole中,CartPole中的 self.action_space实际就是用Discrete(2)创建的,如果是连续的,则使用Box创建,比如CartPole这个例子中,状态有四维,而且状态空间的每个维度都有定义域,那么就可以如下创建:

self.action_space = Discrete(2)

high = np.array([        
		self.x_threshold * 2,
        np.finfo(np.float32).max,               # finfo可以显示响应类型的机器限制,这里为浮点数最大值 
        self.theta_threshold_radians * 2,
        np.finfo(np.float32).max,
        ])
self.observation_space = spaces.Box(-high, high, dtype=np.float32)

reset()

调用这个方法可以重置模拟器环境,并返回重启后的模拟器中agent的初始state

step()

调用该方法以实现agent与simulator进行一次交互。我们的奖励机制也需要写在这个函数中,所以该函数非常重要。该函数的返回值必须是四元组,包含:

state 状态,也就是状态空间

reward 奖励,交互后agent得到的奖励

done 结束,true表示已经结束,False表示没有结束

info 信息,是一个字典,用来debug,一般用不到

render()

用来显示画面,一般pass,如果有能力写动画的话也可以

seed()

用来设置随机种子,一般pass,如果程序中有一些随机性的行为,可以在这里设置随机种子。

定义一个简单的环境

我们定义我们的动作空间为两个值,范围均为 [-1,1],状态空间或者说观测空间为离散的5个变量,奖励为两个动作的和,状态转移均为从0到1234,状态到4就结束。看一下代码

import gym
from gym import spaces
from stable_baselines3 import A2C
import numpy as np

class MySim(gym.Env):
    def __init__(self):
        low = np.array([-1,-1],dtype=np.float32)
        high = np.array([1,1],dtype=np.float32)
        self.action_space = spaces.Box(low,high,dtype=np.float32)
        self.observation_space = spaces.Discrete(5)
        self.state = 0
    
    def step(self,action):
        self.state += 1
        reward = action[0] + action[1] # 这里的reward的类型是np,float32,不是python内建的float
        done = False
        if self.state == 4:
            done = True
        info = {}
        return self.state, float(reward), done, info
    
    def reset(self):
        self.state = 0
        return 0
    
    def render(self,mode="human"):
        pass

    def seed():
        pass

可以用一些工具来检测这个环境是否正确,比如 stable_baselines3 下的 check_env,就可以帮助我们进行环境的检测

from stable_baselines3.common.env_checker import check_env 
if __name__ == '__main__':  
    env = MySim()
    check_env(env)

如果没有任何报错就说明环境正常,可以用这个环境来训练一些代码了,我们用了A2C算法

if __name__ == '__main__':
    
    env = MySim()
    check_env(env)

    model = A2C(policy="MlpPolicy", env=env)
    model.learn(total_timesteps=10000)
    
    obs = env.reset()
    # 验证一次
    for _ in range(10):
        action, state = model.predict(observation=obs)
        print(action[0] + action[1])
        obs, reward, done, info = env.step(action)
        if done:
            break

输出为

2.0
2.0
2.0
2.0

可以预见的输出正确。

你可能感兴趣的:(#,强化学习,python,gym,RL)