【强化学习的数学原理】课程笔记（三）——贝尔曼最优公式

说明：本内容为个人自用学习笔记，整理自b站西湖大学赵世钰老师的【强化学习的数学原理】课程，特别感谢老师分享讲解如此清楚的课程。

两个概念（optimal state value and optimal policy）+一个工具（Bellman optimality equation ）

1. 最优策略（optimal policy）的定义

通过state value 评估一个 policy的好坏，如果两个策略 ${\pi }_1,{\pi }_2$ 满足以下式子，则认为策略 ${\pi }_1$ 比 ${\pi }_2$ 更好
$$v_{{\pi }_1}(s)\ge v_{{\pi }_2}(s)foralls\in S$$
最优策略的定义：

A policy ${\pi }^{\ast }$ is optimal if $v_{{\pi }^{\ast }}\ge v_{\pi }(s)$ for any other policy $\pi$ .

四个问题：策略是否存在；是否唯一；随机还是确定；如何得到；

2. Bellman optimal policy(BOE)

• elementwise form
  $$\begin{array}{rl}v(s)& =\underset{\pi }{\max }\sum _a\pi (a|s)\left(\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })\right),\forall s\in S.\\ & =\underset{\pi }{\max }\sum _a\pi (a|s)q(s,a)\end{array}$$

  • 已知 $p(r|s,a)$ ，$p(s^{\prime }|s,a)$ ，未知需求 $v_{\pi }(s)$ ，$v_{\pi }(s^{\prime })$
  • bellman equation 是依赖于给定的 $\pi$ ，bellman optimal eqation 未给定

• matrix-vector form
  $$\begin{array}{r}{v}_{=}\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }v)\end{array}$$

  • 如何求解，方程是否有解，解是否唯一，和最优策略的关系

3. Rewrite Equation

$$\begin{gathered} v(s)=\underset{\pi }{\max }\sum _a\pi (a|s)q(s,a)=\underset{a\in \mathcal{A}(s)}{\max }q(s,a) \\ {a}^{\ast }=\arg \underset{a}{\max }q(s,a) \\ \pi (a|s)=\{\begin{array}{ll}1& \text{a=a∗}\\ 0& \text{a=a∗}\end{array} \end{gathered}$$

Let
$$f(v):=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }v)$$
则 bellman optimal equation 成为(固定v，求解)
$$v=f(v)$$
其中，
$$[f(v){]}_s=\underset{a}{\max }\pi (a|s)q(s,a)s\in S$$

4. Contraction Mapping Theorem

For any equation that has the form of $x=f(x)$ , if $f$ is a contarction mapping, then

• Existence: there exists a fixed point $x^{\ast }$ satisfying $f(x^{\ast })=x^{\ast }$
• Uniqueeness: The fixed point $x^{\ast }$ is unique
• Algorithm: Consider a sequence $\{x_k\}$ where $x_{k+1}=f(x_k)$ then $x_k\to x^{\ast }$ as $k\to \infty$ . Moreover, the convergence rate is exponentially.

5. Solution

$$v=f(v)=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }v)$$

$f(v)$ is contraction mapping.

根据 Contraction Mapping Theorem可以得出：

• bellman 最优方程存在最优解且解唯一。
• 给定任意的 $v_0$，最终 $v_k$ 会以指数速度收敛于 $v^{\ast }$ ，收敛速度取决于 $\gamma$

6. Analyzing optimal policies

$$v(s)=\underset{\pi }{\max }\sum _a\pi (a|s)\left(\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })\right),\forall s\in S.$$

• 最优策略的影响因素
  • Reward design: r（r $\to$ ar+b 不会改变最优策略，Absolute reward values is not matter, it’s their relative values!）
  • System model: $p(r|s,a)$ , $p(s^{\prime }|s,a)$
  • Discount rate: $\gamma$ (越小越近视，关注当前的收益)
• $\gamma$ 决定了Agent选择最短路径。