深度强化学习面试问题集锦

深度强化学习面试题目总结

1. 什么是强化学习？

强化学习（Reinforcement Learning, RL），又称增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F2xUwqQo-1595932389184)(https://i.loli.net/2020/07/28/qKgrVp1Gaxme2E6.png)]

2. 强化学习和监督学习、无监督学习的区别是什么？

监督学习一般有标签信息，而且是单步决策问题，比如分类问题。监督学习的样本一般是独立
同分布的。无监督学习没有任何标签信息，一般对应的是聚类问题。强化学习介于监督和无监督学习之间，每一步决策之后会有一个标量的反馈信号，即回报。通过最大化回报以获得一个最优策略。因此强化学习一般是多步决策，并且样本之间有强的相关性。

3. 强化学习适合解决什么样子的问题？

强化学习适合于解决模型未知，且当前决策会影响环境状态的（序列）决策问题。Bandit问题可以看成是一种特殊的强化学习问题，序列长度为1，单步决策后就完事了，所以动作不影响状态。当然也有影响的bandit问题，叫做contextual bandit问题。

4. 强化学习的损失函数（loss function）是什么？和深度学习的损失函数有何关系？

累积回报。依赖于不同的问题设定，累积回报具有不同的形式。比如对于有限长度的MDP问题直接用回报和作为优化目标。对于无限长的问题，为了保证求和是有意义的，需要使用折扣累积回报或者平均回报。深度学习的损失函数一般是多个独立同分布样本预测值和标签值的误差，需要最