强化学习基本概念

一、概述

强化学习是智能体与环境不断交互，从而不断强化自己的决策能力的过程。

首先环境(Env)会给智能体(Agent)一个观测值(Observation)(有时也称状态State)，智能体接收到环境给的观测值之后会做出一个动作(Action)，环境接收到智能体给的动作之后会做出一系列的反应，例如对这个动作给予一个奖励(Reward)，以及给出一个新的观测值。智能体根据环境给予的奖励值去更新自己的策略(Policy)。可以说，强化学习的目的就是为了得到最优的策略。

二、基本概念

1.策略

Policy是智能体的行为函数，是一个从状态到动作的映射，它告诉智能体如何挑选下一个action。
强化学习中有两类policy: Deterministic policy和Stochastic policy。前一种又称确定性策略，即对于这个映射，输入一个状态，输出的是某一个确定的action。后一种是不确定性策略，即对于这个映射，输入一个状态，输出的是每个action的概率。

2.Episode

一个Episode由一系列的observation, reward, action组成。

从initial observation到terminal observation。

3.奖励Reward

奖励Rt是一个反馈信号，是一个数值，表明这个智能体在step t 时做得有多好。

4.Return

又称累积折扣奖励(cumulative discounted reward)。step t 时的return为：

其中γ表示折扣因子，表示你对之后得到的reward的重视程度。0<=γ<=1，是一个由用户决定的参数。

智能体的任务就是去最大化累积奖励。然而由上面的式子我们可以看出，一条样本（即一个episode）对应一个Return，而episode是不确定的，有很多种可能发生的情况，因此Return是一个变量。

由此智能体的任务是最大化累积奖励的期望，即下面的值函数。

5.值函数

一个状态state s对应的值函数为：

这种值函数也称状态值函数。对给定的s, V(s)是一个确定的值。它表示，从state s开始，遵循策略π时的return的期望值。

还有一种值函数称为状态动作值函数：

 它表示，从state s开始， 采取动作a，遵循策略π时的return的期望值。

三、强化学习中的两类问题：

智能体的学习过程是一个反复与环境进行交互，不断试错又不断进步的过程。在这个迭代过程中的每一步，我们需要完成强化学习中的两个问题：
1、Prediction 即给定一个策略，求值函数
2、Control 根据值函数寻找最优策略

四、强化学习与传统机器学习的区别

1、不同于传统机器学习的有监督或无监督，强化学习基于的是reward。
2、强化学习的数据是有序的，而传统机器学习的数据是iid的。因此传统机器学习的分布式系统对于强化学习不可用。
3、智能体的动作对于后续接收到的数据有影响。