强化学习-强化学习的启动和运行(第1章)

 来源书籍:

TENSORFLOW REINFORCEMENT LEARNING QUICK START GUIDE

《TensorFlow强化学习快速入门指南-使用Python动手搭建自学习的智能体》

著者:[美]考希克·巴拉克里希南(Kaushik Balakrishnan)

译者:赵卫东

出版社:Packt    机械工业出版社

1.强化学习的启动和运行

1.1为何选择强化学习

强化学习-强化学习的启动和运行(第1章)_第1张图片

强化学习-强化学习的启动和运行(第1章)_第2张图片

强化学习-强化学习的启动和运行(第1章)_第3张图片

 1.2agent及其环境之间的关系

强化学习-强化学习的启动和运行(第1章)_第4张图片

1.2.1定义agent的状态

强化学习-强化学习的启动和运行(第1章)_第5张图片1.2.2定义agent的行为

agent执行行为(动作)以探索环境。获取动作矢量是强化学习的主要目标。理想情况下,需要怒率获得最佳行为。

强化学习-强化学习的启动和运行(第1章)_第6张图片

1.2.3了解策略、价值函数和优势函数

强化学习-强化学习的启动和运行(第1章)_第7张图片

强化学习-强化学习的启动和运行(第1章)_第8张图片

1.3认识回合

强化学习-强化学习的启动和运行(第1章)_第9张图片

 1.4认识奖励函数和折扣奖励 

强化学习-强化学习的启动和运行(第1章)_第10张图片

 1.5学习马尔可夫决策过程

强化学习-强化学习的启动和运行(第1章)_第11张图片

1.6定义贝尔曼方程

强化学习-强化学习的启动和运行(第1章)_第12张图片

 1.7同步策略与异步策略学习

强化学习-强化学习的启动和运行(第1章)_第13张图片

强化学习-强化学习的启动和运行(第1章)_第14张图片

1.8无模型训练和基于模型训练

强化学习-强化学习的启动和运行(第1章)_第15张图片

 思考题:

①对于同步策略或异步策略的强化学习算法是否需要重放缓冲区?

答:同步策略算法通常没有缓冲区,一般经验是在原地训练模型,将agent从时间t的状态移动到时间t+1的状态的相同策略用来评估性能的好坏。例如:SARSA、A3C、TRPO和PPO。

许多异步策略算法使用重(回)放缓冲区来存储经验,并从重放缓冲区中采样数据以训练模型。在训练步骤中,随机抽取一小批经验数据并用于训练策略和价值函数。例如:DQN、DDQN和DDPG。

②为什么需要折扣奖励?

答:折扣系数通常由γ表示,0≤γ≤1,其幂乘以r_{t}。γ=0,使agent目光短浅,只针对眼前的奖励。γ=1,使agent目光长远,考虑到它完成最终目标的程度。因此,0~1范围内的γ值(不包括0和1)用于确保agent既不会目光过于短浅,也不会太有远见。由于0≤γ≤1,对未来的奖励远低于agent在不久的将来可以获得的奖励。这有助于agent不浪费时间,并优先处理其操作。

③如果折扣系数γ>1,将会发生什么?

答:如果折扣系数大于1, 会导致agent的训练不稳定,无法学习最优策略。

④既然有环境状态模型,那么基于模型的RL agent是否总是比没有模型的RL agent表现更好?

答:基于模型的可能会具有良好性能,但不能保证它比无模型的agent表现更好,因为构建的环境模型不一定总是好的。当然,建议一个足够精确的环境模型也很困难。

⑤强化学习和深度强化学习有什么区别?

在深度强化学习中,深度神神经网络用于Q\left ( S,a\right )和actor策略(后者在Actor-Critic背景中是真实的)。在传统的强化学习算法中使用表格Q\left ( S,a\right ),但是状态的数量是非常大时是不能使用表格的,通常在大多数问题中都是这种情况。

你可能感兴趣的:(深度强化学习,Python,TensorFlow,深度学习,强化学习,深度强化学习,人工智能)