机器学习入门——实战篇之强化学习

这是本篇文章是《机器学习入门》系列文章的第五篇，该系列有如下文章：
《机器学习入门——基础篇》
《机器学习入门——实战篇之监督学习》
《机器学习入门——实战篇之非监督学习》
《机器学习入门——实战篇之深度学习》
《机器学习入门——实战篇之强化学习》

在《机器学习入门——基础篇》中已经介绍过强化学习的概念，也介绍了动态规划和蒙特卡洛方法。因为这两部分内容都是可以写成专著的大块头，本文不做详述，咱们直接进入实战，用一个简单的栗子来进入强化学习的世界。

有这么一个经典案例，就是“机器人走迷宫”，通过强化学习算法，让机器人自己学会寻找走出迷宫的办法，并不断优化这个路径，最后得到较优解。

在该项目中，使用强化学习算法，实现一个自动走迷宫机器人。

14-robot.png

1、如上图所示，智能机器人显示在右上角。在我们的迷宫中，有陷阱（红色炸弹）及终点（蓝色的目标点）两种情景。机器人要尽量避开陷阱、尽快到达目的地。
2、机器人可执行的动作包括：向上走 u、向右走 r、向下走 d、向左走 l。
3、执行不同的动作后，根据不同的情况会获得不同的奖励，具体而言，有以下几种情况。
撞到墙壁：-10
走到终点：50
走到陷阱：-30
其余情况：-0.1

正式开始代码之前，我们先来理一理思路，强化学习作为机器学习算法的一种，其模式是让智能体在“训练”中学到“经验”，以实现给定的任务。但不同于监督学习与非监督学习，在强化学习的框架中，我们更侧重通过让被训练的对象与环境的交互来学习。通常在监督学习和非监督学习任务中，被训练对象往往需要通过给定的训练集，辅之以既定的训练目标（如最小化损失函数），通过给定的学习算法来实现这一目标。然而在强化学习中，被训练对象则是通过其与环境交互得到的奖励进行学习。这个环境可以是虚拟的（如虚拟的迷宫），也可以是真实的（自动驾驶汽车在真实道路上收集数据）。

在强化学习中有五个核心组成部分，它们分别是：
环境（Environment）
智能体（Agent）
状态（State）
动作（Action）
奖励（Reward）

在某一时间节点 t：
智能体在从环境中感知其所处的状态: $s_t$
智能体根据某些准则选择动作: $a_t$
环境根据智能体选择的动作，向智能体反馈奖励 $r_{t+1}$
通过合理的学习算法，智能体将在这样的问题设置下，成功学到一个在状态 $s_t$ 选择动作 $a_t$ 的策略

对应“机器人走迷宫”这个题目，我们就能得到以下名词的含义：

环境 : 迷宫的各条路径，迷宫路径上的陷阱，最终迷宫的出口也就是目标位置

状态 : 为了便于将机器人走迷宫的问题抽象成一个数学上好操作的模型，我们在迷宫中加入了左边，例如（0，0）这样的点，这样机器人在任何一个时间点都会对应一个位置坐标，同时，这个坐标会结合环境具体情况带给机器人一个激励，有正向激励，也有负向激励，这些激励会直接被带入我们的算法公式，算出具体值，来刺激机器人做出下一步动作的决策；比如终点坐标带来的激励就是很大的一个正向值50，比如陷阱坐标所带来的就是一个很大的负向值-30，而如果不是什么特别的位置的坐标，也就是其余情况，就会给一个恰当的负向激励，刺激机器人继续寻找目标；以上描述就是这个模型的状态

动作 : 向上，向下，向左，向右各种方向上的移动

奖励 : 撞到墙壁：-10；走到终点：50；走到陷阱：-30；其余情况：-0.1
这个项目中，我们采用基于 Q-Learning 的强化学习算法。Q-Learning 是一个值迭代（Value Iteration）算法。与策略迭代（Policy Iteration）算法不同，值迭代算法会计算每个”状态“或是”状态-动作“的值（Value）或是效用（Utility），然后在执行动作的时候，会设法最大化这个值。因此，对每个状态值的准确估计，是我们值迭代算法的核心。通常我们会考虑最大化动作的长期奖励，即不仅考虑当前动作带来的奖励，还会考虑动作长远的奖励。

在 Q-Learning 算法中，我们把这个长期奖励记为 Q 值，我们会考虑每个 ”状态-动作“ 的 Q 值，具体而言，它的计算公式为：

$q(s_t, a) = R_{t+1} + \gamma \times maxq((a, s_t))$

也就是对于当前的“状态-动作” $(s_t, )$ ，我们考虑执行动作后环境给我们的奖励 $_{+1}$ ，以及执行动作到达 $s_{t+1}$ 后，执行任意动作能够获得的最大的Q值 $maxq(a,s_{t+1})$ , $\gamma$ 为折扣因子。

不过一般地，我们使用更为保守地更新 Q 表的方法，即引入松弛变量 ℎ，按如下的公式进行更新，使得 Q 表的迭代变化更为平缓。

$q(s_t, a) = (1-\alpha) \times q(s_t, a) + \alpha \times (R_{t+1}, \gamma \times maxq(a, s_{t+1}))$

在强化学习中，「探索-利用」问题是非常重要的。具体来说，根据上面的定义，我们会尽可能地让机器人在每次选择最优的决策，来最大化长期奖励。但是这样做有如下的弊端：

在初步的学习中，我们的 Q 值会不准确，如果在这个时候都按照 Q 值来选择，那么会造成错误。

学习一段时间后，机器人的路线会相对固定，则机器人无法对环境进行有效的探索。

因此我们需要一种办法，来解决如上的问题，增加机器人的探索。由此我们考虑使用 epsilon-greedy 算法（是一种贪心算法，加入了随机因子epsilon的贪心算法），即在小车选择动作的时候，以一部分的概率随机选择动作，以一部分的概率按照最优的 Q 值选择动作。同时，这个选择随机动作的概率应当随着训练的过程逐步减小。

简单的实现以下这个贪心算法epsilon-greedy，有如下代码：

import random
# 动作列表如下
actions = ['u','r','d','l']
qline = {'u':1.2, 'r':-2.1, 'd':-24.5, 'l':27}
# epsilon以0.3的概率进行随机选择
epsilon = 0.3 
def choose_action(epsilon):
    action = None
    # 以前面定义好的一个epsilon进行选择
    if epsilon < random.random(): 
        # 随机选择一个动作
        action = random.choice(actions)  
else: 
    # 否则选择具有最大 Q 值的动作
        action = max(qline, key=qline.get) 
return action

接下来我们就可以生成迷宫啦，本文开始的时候看到的迷宫太过简单，我们给一个稍微有点难度的。

from Maze import Maze
myMaze = Maze(maze_size=(10,11), trap_number=5)

Python是不是很温馨又简单，居然有Maze这个东西。

好了，我们生成好了这么一个迷宫，准备去训练小机器人。接下来，就是最核心的部分，我们的小机器人啦，也就是要一个Robot类。

Robot类中，我们需要实现诸多功能，以使得我们成功实现一个强化学习智能体。总体来说，之前我们是人为地在环境中移动了机器人，但是现在通过实现 Robot 这个类，机器人将会自己移动。通过实现学习函数，Robot 类将会学习到如何选择最优的动作，并且更新强化学习中对应的参数。

首先 Robot 有多个输入，其中 alpha=0.5, gamma=0.9, epsilon0=0.5 表征强化学习相关的各个参数的默认值，这些在之前我们已经了解到，Maze 应为机器人所在迷宫。

随后需要一个 Robot.update 函数，它指明了在每次执行动作时，Robot 需要执行的指令。下面我们来看一看Robot这个类。

需要一个初始化函数将参数引入：

def __init__(self, maze, alpha=0.5, gamma=0.9, epsilon0=0.5):

还需要一个更新函数，每次把参数做一个更新：

def update_parameter(self):
    self.t = self.t + 1
    if self.testing:
        # 测试
        self.epsilon = self.epsilon0
    else:
        # 学习过程中更新参数，让epsilon逐渐变小
        # 从而实现参数的收敛
        if self.epsilon0 - self.t * 0.03 > 0:
            self.epsilon = self.epsilon0 - self.t * 0.03
        else:
            self.epsilon = 0.01
    return self.epsilon

然后有这么一个选择动作的函数：

def choose_action(self):
    def is_random_exploration():
        if random.random() < self.epsilon:
            return True
        else:
            return False
    if self.learning:
        if is_random_exploration():
            return self.valid_actions[random.randint(0, 3)]
        else:
            return max(self.Qtable[self.state], key = self.Qtable[self.state].get)
    elif self.testing:
        return max(self.Qtable[self.state], key = self.Qtable[self.state].get)
    else:
        return self.valid_actions[random.randint(0, 3)]

当然了，必须要有一个更新知识表的函数：

def update_Qtable(self, r, action, next_state):
    if self.learning:
        q_with_cur_state = self.Qtable[self.state][action]
        q_with_next_state = r + self.gamma * max(self.Qtable[next_state].values())
        self.Qtable[self.state][action] += self.alpha * (q_with_next_state - q_with_cur_state)

最后有一个整体的更新函数：

def update(self):
    self.state = self.sense_state() # 取得目前的状态
    self.create_Qtable_line(self.state) # 生成Qtable的记录        
    action = self.choose_action() # 选择一个动作
    reward = self.maze.move_robot(action) # 移动机器人
    next_state = self.sense_state() # 下一个状态
    self.create_Qtable_line(next_state) # 下一个记录
    if self.learning and not self.testing:
        # 更新Qtable，注意，这个表是机器人的“经验”所在
        # 初始化的时候这个表里面都设置成0
        # 随着训练的深入，可以逐步更新这个表，从而指导机器人移动
        self.update_Qtable(reward, action, next_state)
        self.update_parameter() # 更新参数
    return action, reward

上述部分并不是全部的代码，我们略去了一些小的方法，只讲了比较核心的几个函数，有心的读者可以自己去补充并实现这个项目。

在实现了上述内容之后，我们就可以开始对我们 Robot 进行训练并调参了。这里我们使用了另一个类Runner用来迭代这个模型，从而实现整个训练过程及可视化。使用如下的代码，可以成功对机器人进行训练。并且在当前文件夹中生成一个视频，记录整个训练的过程。通过观察该视频，我们能够发现训练过程中的问题，并且优化代码及参数。

# 可选的参数：
epoch = 40
epsilon0 = 0.5
alpha = 0.5
gamma = 0.9

maze_size = (10,11)
trap_number = 5

from Runner import Runner
g = Maze(maze_size=maze_size,trap_number=trap_number)
r = Robot(g,alpha=alpha, epsilon0=epsilon0, gamma=gamma)
r.set_status(learning=True, testing=False)
runner = Runner(r, g)
runner.run_training(epoch, display_direction=True)
# 我们姑且把整个训练的过程记录成process.mp4文件吧
runner.generate_movie(filename = "process.mp4")

至此，我们这个项目的主要代码就介绍完了，希望大家可以对强化学习有一个直观的认识：）

机器学习入门——实战篇之强化学习

你可能感兴趣的:(机器学习入门——实战篇之强化学习)