RL:prat1:key_concepts_in_RL强化学习

强化学习概念

States and Observations

• state是对世界状态的完全描述，
• observation是对state的部分描述

Action Spaces

• 离散，如一些游戏
• 连续，如机器人的运动速度和角度

Policies

• agent决定如何action
• 可以是确定的：
• 可以是随机的,由概率分布决定:

Trajectories

• 
• 是初始的状态分布 ~ 
• 可以是确定的：
• 可以是随机的： ~ 

Reward and Return

• 当前步奖励Reward:
• 累计奖励

The RL Problem

• select a policy which maximizes expected return when the agent acts according to it.

• 首先计算给定策略特定发生的概率：
• 策略期望return:
• RL优化问题可以表示为：,最优策略；

Value Functions

• value是知以指定状态，或状态-action为起始的期望回报 expected return ；
• The On-Policy Value Function:
• The On-Policy Action-Value Function:
• The Optimal Value Function, :
• The Optimal Action-Value Function:
• 关系：

Bellman Equations