a-c

1、rl的要素

状态、动作、环境、奖励、价值函数

2、SARSA

   1）初始化状态S

   2）在状态S执行动作A，得到新状态S1和奖励R

   3）在状态S1用贪婪法选择新动作A1

   4）更新价值函数

3、qlearn

   1）初始化状态S

   2）用ϵ−贪婪法在当前状态S选择出动作A

   3）在状态S执行当前动作A,得到新状态S′和奖励R

   4）更新价值函数Q(S,A)

4、状态价值函数

qlearn和sarsa只限于状态有限的情况。

为了解决状态量大的情况，可以定义状态价值函数，输入为状态，输出为状态的价值。同理，可以定义动作价值函数，输入为状态或动作，输出为动作的价值，这里隐含动作的个数是离散值。

5、dqn

   1)初始化S为当前状态序列的第一个状态, 拿到其特征向量ϕ(S)

   2)在Q网络中使用ϕ(S)作为输入，得到Q网络的所有动作对应的Q值输出。用ϵ−贪婪法在当前Q值输出中选择对应的动作A

   3)在状态S执行当前动作A,得到新状态S′对应的特征向量ϕ(S′)和奖励ϕ(S′)和奖励R$,是否终止状态is_end

   4)将{ϕ(S),A,R,ϕ(S′),is_end}{ϕ(S),A,R,ϕ(S′),is_end}这个五元组存入经验回放集合DD

   5)S=S′

   6)从经验回放集合DD中采样mm个样本{ϕ(Sj),Aj,Rj,ϕ(S′j),is_endj},j=1,2.,,,m{ϕ(Sj),Aj,Rj,ϕ(Sj′),is_endj},j=1,2.,,,m，计算当前目标Q值yjyj：yj={RjRj+γmaxa′Q(ϕ(S′j),A′j,w)is_endjistrueis_endjisfalseyj={Rjis_endjistrueRj+γmaxa′Q(ϕ(Sj′),Aj′,w)is_endjisfalse

   7)使用均方差损失函数1m∑j=1m(yj−Q(ϕ(Sj),Aj,w))21m∑j=1m(yj−Q(ϕ(Sj),Aj,w))2，通过神经网络的梯度反向传播来更新Q网络的所有参数ww

   8)如果S′是终止状态，当前轮迭代完毕，否则转到步骤2)