强化学习基础

强化学习

策略网络输入状态s，输出动作a的概率分布如下： $$\pi (a|s)$$

多次训练轨迹如下

• r表示回报
• 横轴为T, 1个回合的步骤数
• 纵轴为N, 回合数，1行代表1条轨迹，符合概率分布P

[ s 11 a 11 r 11 … … s 1 t a 1 t r 1 t … … s 1 T a 1 T r 1 T … … … … … … s n 1 a n 1 r n 1 … … s n t a n t r n t … … s n T a n T r n T … … … … … … s N 1 a N 1 r N 1 … … s N t a N t r N t … … s N T a N T r N T ] \begin{bmatrix} s_{11} a_{11} r_{11} …… s_{1t} a_{1t} r_{1t} …… s_{1T} a_{1T} r_{1T}\\ …… …… ……\\ s_{n1} a_{n1} r_{n1} …… s_{nt} a_{nt} r_{nt}…… s_{nT} a_{nT} r_{nT} \\ …… …… ……\\ s_{N1} a_{N1} r_{N1} …… s_{Nt} a_{Nt} r_{Nt} …… s_{NT} a_{NT} r_{NT}\\ \end{bmatrix} ​s11​a11​r11​……s1t​a1t​r1t​……s1T​a1T​r1T​………………sn1​an1​rn1​……snt​ant​rnt​……snT​anT​rnT​………………sN1​aN1​rN1​……sNt​aNt​rNt​……sNT​aNT​rNT​​ ​

策略轨迹 $$\tau =s_1{a}_1,s_2{a}_2，\dots \dots ，s_T{a}_T$$

发生的概率
$$P(\tau )=P(s_1{a}_1,s_2{a}_2，\dots \dots ，s_T{a}_T)$$
$$=P(s_1)\pi (a_1|s_1)P(s_2|s_1,a_1)\pi (a_2|s_2)P(s_3|s_1,a_1,s_2,a_2)\dots \dots$$
$$=P(s_1)\prod _{t=1}^{T-1}\pi (a_t|s_t)P(s_{t+1}|s_1,a_1,......,s_t,a_t)$$

根据 马尔科夫性(Markov Property)，简化为：
$$P(\tau )=P(s_1)\prod _{t=1}^{T-1}\pi (a_t|s_t)P(s_{t+1}|s_t,a_t)$$