深度强化学习理论学习

强化学习-RL

1. 强化学习 是一种学习如何能够最大化当前场景中的奖励值得学习方法,实际上就是一种从状态到动作的映射关系的学习,通过奖励值最大化来终结学习。
2. 两大特征: 实验式求解方式(试错法)、奖励延迟机制
3. 核心理论:通过一个智能体来感知和该问题相关的环境状态,并且在与环境交互的过程中得到最大收益的目标。
4. 机器学习的分类:监督学习、无监督学习、强化学习
5. 监督学习:通过从带有监督信息的样例进行学习
6. 强化学习考虑的是一个整体问题---一个以目标为导向的智能体和未知环境进行交互的问题
7. 组成部分:策略、奖励函数、值函数、一个可有可无的环境模型
    7.1 策略:决定了某一时刻做出的行为,即一种从观测状态到执行动作的映射
    7.2 奖励函数:强化学习的目标,即观测环境变量到奖励值的映射,衡量该状态的内在满意度。
    7.3 值函数:从当前状态到将来的某个状态下的累计奖励值---长期满意度
    7.4 环境模型:对智能体与环境状态进行建模

深度学习-DL

1. 深度学习 = 深度神经网络
2. 组成:输入层、隐含层、输出层
3. 简单理解:一个神经元就是一个函数(f(wx)),给定一个带权重的输入x,输出一个y,一般这个f(wx)是一个简单的非线性函数
4. 应用领域:计算机视觉、语音识别、自然语言处理、生物信息
5. 深度学习框架:深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)

深度强化学习-DRL

1. DRL:在强化学习中使用深度学习来进行函数的拟合、模型的拟合等。函数的拟合包括值函数的拟合、Q函数的拟合等。模型的拟合包括策略的拟合。
2. 不例外乎,模型、数据、求解算法也是深度强化学习的三元素
3. 特点:无需准备数据,数据的获取通过一步一步采样获得,数据的标签延迟
4. 两类学习算法:有模型学习算法、无模型学习算法---样本采样的学习算法---蒙特卡洛算法(MC算法,如REINFOREC算法)、时序差分算法(TD算法,如Sarsa算法、Q学习算法)。
5. MC算法:很高的方差、学习过程收敛比较慢,加入一个基准可以缓解
6. TD算法:无MC算法的缺点,Q算法应用广泛

注:学习深度强化学习入手三方面:1. 理论基础 2. 仿真平台 3. 实践项目

1. 推荐学习理论书籍:Reinforecment Learning: An Introduction 、DeepMind论文、从深度Q学习到双Q学习、从确定性策略梯度算法(DDPG)到A3C算法
2. 学习平台:OpenAI的 Gym和Universe、Google的DeepMind的 DeepMind Lab
3. 项目推荐:Flappy Bird(深度Q学习)

你可能感兴趣的:(深度强化学习)