强化学习笔记(一）基于表格型方法求解RL，Sarsa和Q-learning

以下笔记是在听了百度飞桨七天强化学习的课程，老师讲得确实不错，深入浅出，适合初学者入门。

在此对课程的主要内容做一个总结，课程大致讲了这几个部分：
一、强化学习概念及应用，一些常见的环境，如GYM，PARL库（百度出的强化学习算法框架）
二、基于表格的RL方法，Sarsa和Q-learning算法
三、基于神经网络方法求解RL之DQN
四、基于策略梯度求解RL之Policy Gradient算法
五、连续动作空间上求解RL之DDPG算法

一、Sarsa和Qlearning

Sarsa,展开为(state,action,reward,next_state,next_action)这么一个五元组，Q-learning为（state,action,reward,next_state）的四元组。

一个回合中包含状态，动作，奖励的序列

image.png

Sarsa的Q函数更新公式:

image.png

其中α为学习率，γ为奖励折现因子，∈[0,1]，γ越大表示关注长期受益，越小表示关注短期受益。
TD-error，时序差分，下一个状态和当前状态收益的差值，我们希望|Q（st,at）-Q(st+1,at+1)|越小越好

image.png

Qlearning的Sarsa异同，主要是以下三处，初始化状态，Q函数的更新和状态-动作的更新:

saVsq.png

解释：
Sarsa是一种on-policy的算法（边学习边预测）从它的五元组中也可以看出多了一个next_aciton,这个action是通过查表得到的；Q-learning是一种off-policy的算法（先学习后预测）。

Sarsa的代码部分：
玩的是Frozen-lake游戏，希望从左上到右下的黄色（goal）,状态是格子位置，动作是上下左右，奖励，白色1，黑色-100,黄色100。https://github.com/openai/gym/wiki/frozenlake-v0

image.png

import gym
import numpy as np
import time
#Agent
class SarsaAgent(object):
    def __init__(self, obs_n, act_n, learning_rate=0.01, gamma=0.9, e_greed=0.1):
        self.act_n = act_n      # 动作维度，有几个动作可选
        self.lr = learning_rate # 学习率
        self.gamma = gamma      # reward的衰减率
        self.epsilon = e_greed  # 按一定概率随机选动作
        self.Q = np.zeros((obs_n, act_n))

    # 根据输入观察值，采样输出的动作值，带探索
    def sample(self, obs):
        #e-gredy贪婪策略，<表示利用，否则为探索
        if(np.random.uniform(0,1)<1-self.epsilon):
            action = self.predict(obs)
        else:
            action = np.random.choice(self.act_n)
        return action

    # 根据输入观察值，预测输出的动作值
    def predict(self, obs):
        q_list = self.Q[obs,:]
        max_a = np.max(q_list)
        action_list = np.where(max_a==q_list)[0]  ## maxQ可能对应多个action
        action = np.random.choice(action_list)      
        return action

    # 学习方法，也就是更新Q-table的方法
    def learn(self, obs, action, reward, next_obs, next_action, done):
        """ on-policy
            obs: 交互前的obs, s_t
            action: 本次交互选择的action, a_t
            reward: 本次动作获得的奖励r
            next_obs: 本次交互后的obs, s_t+1
            next_action: 根据当前Q表格, 针对next_obs会选择的动作, a_t+1
            done: episode是否结束
        """
        if(done):
            target_q = reward
        else:
            target_q = reward + self.gamma*self.Q[next_obs,next_action]
        self.Q[obs,action] += self.lr*(target_q-self.Q[obs,action])
        
    # 保存Q表格数据到文件
    def save(self):
        npy_file = './q_table.npy'
        np.save(npy_file, self.Q)
        print(npy_file + ' saved.')
    
    # 从文件中读取数据到Q表格中
    def restore(self, npy_file='./q_table.npy'):
        self.Q = np.load(npy_file)
        print(npy_file + ' loaded.')

#训练&&测试
def run_episode(env, agent, render=False):
        total_steps = 0 # 记录每个episode走了多少step
        total_reward = 0

        obs = env.reset() # 重置环境, 重新开一局（即开始新的一个episode）
        action = agent.sample(obs) # 根据算法选择一个动作

    while True:
        next_obs, reward, done, _ = env.step(action) # 与环境进行一个交互
        next_action = agent.sample(next_obs) # 根据算法选择一个动作
        # 训练 Sarsa 算法
        agent.learn(obs, action, reward, next_obs, next_action, done)

        action = next_action
        obs = next_obs  # 存储上一个观察值
        total_reward += reward
        total_steps += 1 # 计算step数
        if render:
            env.render() #渲染新的一帧图形
        if done:
            break
    agent.save()
    return total_reward, total_steps

def run_episode1(env,agent,render=False):
    ##获取s,a
    total_reward = 0
    steps = 0
    obs = env.reset()
    action = agent.sample(obs)
    #开启循环
    while(True):
        #评估a获得s_,r,done
        next_obs,reward,done,_ = env.step(action)
        #获取a'
        next_action = agent.sample(next_obs)
        #训练sarsa算法
        agent.learn(obs,action,reward,next_obs,next_action,done)
        #更新s,a
        obs = next_obs
        total_reward += reward
        action = next_action
        steps += 1
        if(render):
            env.render()
        if(done):
            break
    agent.save()
    return total_reward,steps

def test_episode(env, agent):
    total_reward = 0
    obs = env.reset()
    while True:
        action = agent.predict(obs) # greedy
        next_obs, reward, done, _ = env.step(action)
        total_reward += reward
        obs = next_obs
        # time.sleep(0.5)
        # env.render()
        if done:
            break
    return total_reward

#创建环境和Agent，启动训练
# 使用gym创建迷宫环境，设置is_slippery为False降低环境难度
env = gym.make("FrozenLake-v0", is_slippery=False)  # 0 left, 1 down, 2 right, 3 up

# 创建一个agent实例，输入超参数
agent = SarsaAgent(
        obs_n=env.observation_space.n,
        act_n=env.action_space.n,
        learning_rate=0.1,
        gamma=0.9,
        e_greed=0.1)


# 训练500个episode，打印每个episode的分数
for episode in range(500):
    ep_reward, ep_steps = run_episode1(env, agent, False)
    print('Episode %s: steps = %s , reward = %.1f' % (episode, ep_steps, ep_reward))

# 全部训练结束，查看算法效果
test_reward = test_episode(env, agent)
print('test reward = %.1f' % (test_reward))

Q-learning算法的sample和predict方法与Sarsa完全一致，不同的地方在于learn方法：

 #学习方法，也就是更新Q-table的方法
 def learn(self, obs, action, reward, next_obs, done):
       """ off-policy
           obs: 交互前的obs, s_t
           action: 本次交互选择的action, a_t
           reward: 本次动作获得的奖励r
           next_obs: 本次交互后的obs, s_t+1
           done: episode是否结束
       """
       if(done):
           target_q = reward
       else:
           target_q = reward + self.gamma*np.max(self.Q[next_obs,:])
       self.Q[obs,action] += self.lr*(target_q - self.Q[obs,action])

Q-learning与环境的交互

q_learning.png

Sarsa与环境的交互

sarsa.png

该节课程的总结：

TIM截图20200617213048.png

附上课程地址和仓库地址
课程地址：https://aistudio.baidu.com/aistudio/education/group/info/1335
github地址：https://github.com/PaddlePaddle/PARL/tree/develop/examples/tutorials