强化学习是目前热门的研究方向。对不同强化学习的方法与paper进行分类有助于我们进一步了解针对不同的应用场景，如何使用合适的强化学习方法。本文将对强化学习进行分类并列出对应的paper。
1. Model free RL
a. Deep Q-Learning系列
算法名称：DQN
论文标题：Playing Atari with Deep Reinforcement Learning
发表会议：NIPS Deep Learning Workshop, 2013.
论文链接：https://www.cs.toronto.edu/~vmnih/docs/dqn.pdf
当前谷歌学术引用次数：5942
算法名称：Deep Recurrent Q-Learning
论文标题：Deep Recurrent Q-Learning for Partially Observable MDPs
发表会议：AAAI Fall Symposia, 2015
论文链接：https://arxiv.org/abs/1507.06527
当前谷歌学术引用次数：877
算法名称：Dueling DQN
论文标题：Dueling Network Architectures for Deep Reinforcement Learning
发表会议：ICML, 2016
论文链接：https://arxiv.org/abs/1511.06581
当前谷歌学术引用次数：1728
算法名称：Double DQN
论文标题：Deep Reinforcement Learning with Double Q-learning
发表会议：AAAI, 2016
论文链接：https://arxiv.org/abs/1509.06461
当前谷歌学术引用次数：3213
算法名称：Prioritized Experience Replay (PER)
论文标题：Prioritized Experience Replay
发表会议：ICLR, 2016
论文链接：https://arxiv.org/abs/1511.05952
当前谷歌学术引用次数：1914
算法名称：Rainbow DQN
论文标题：Rainbow: Combining Improvements in Deep Reinforcement Learning
发表会议：AAAI, 2018
论文链接：https://arxiv.org/abs/1710.02298
当前谷歌学术引用次数：903
b. Policy Gradients系列
算法名称：A3C
论文标题：Asynchronous Methods for Deep Reinforcement Learning
发表会议：ICML, 2016
论文链接：https://arxiv.org/abs/1602.01783
当前谷歌学术引用次数：4739
算法名称：TRPO
论文标题：Trust Region Policy Optimization
发表会议：ICML, 2015
论文链接：https://arxiv.org/abs/1502.05477
当前谷歌学术引用次数：3357
算法名称：GAE
论文标题：High-Dimensional Continuous Control Using Generalized Advantage Estimation
发表会议：ICLR, 2016
论文链接：https://arxiv.org/abs/1506.02438
当前谷歌学术引用次数：1264
算法名称：PPO-Clip, PPO-Penalty
论文标题：Proximal Policy Optimization Algorithms
发表会议：Arxiv
论文链接：https://arxiv.org/abs/1707.06347
当前谷歌学术引用次数：4059
算法名称：PPO-Penalty
论文标题：Emergence of Locomotion Behaviours in Rich Environments
发表会议：Arxiv
论文链接：https://arxiv.org/abs/1707.02286
当前谷歌学术引用次数：528
算法名称：ACKTR
论文标题：Scalable trust-region method for deep reinforcement learning using Kronecker-factored approximation
发表会议：NIPS, 2017
论文链接：https://arxiv.org/abs/1708.05144
当前谷歌学术引用次数：408
算法名称：ACER
论文标题：Sample Efficient Actor-Critic with Experience Replay
发表会议：ICLR, 2017
论文链接：https://arxiv.org/abs/1611.01224
当前谷歌学术引用次数：486
算法名称：SAC
论文标题：Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
发表会议：ICML, 2018
论文链接：https://arxiv.org/abs/1801.01290
当前谷歌学术引用次数：1447
c. Deterministic Policy Gradients系列
算法名称：DPG
论文标题：Deterministic Policy Gradient Algorithms
发表会议：ICML, 2014
论文链接：http://proceedings.mlr.press/v32/silver14.pdf
当前谷歌学术引用次数：1991
算法名称：DDPG
论文标题：Continuous Control With Deep Reinforcement Learning
发表会议：ICLR, 2016
论文链接：https://arxiv.org/abs/1509.02971
当前谷歌学术引用次数：5539
算法名称：TD3
论文标题：Addressing Function Approximation Error in Actor-Critic Methods
发表会议：ICML, 2018
论文链接：https://arxiv.org/abs/1802.09477
当前谷歌学术引用次数：839
d. Distributional RL系列
算法名称：C51
论文标题：A Distributional Perspective on Reinforcement Learning
发表会议：ICML, 2017
论文链接：https://arxiv.org/abs/1707.06887
当前谷歌学术引用次数：600
算法名称：QR-DQN
论文标题：Distributional Reinforcement Learning with Quantile Regression
发表会议：AAAI, 2018
论文链接：https://arxiv.org/abs/1710.10044
当前谷歌学术引用次数：188
算法名称：IQN
论文标题：Implicit Quantile Networks for Distributional Reinforcement Learning
发表会议：ICML, 2018
论文链接：https://arxiv.org/abs/1806.06923
当前谷歌学术引用次数：139
算法名称：Dopamine
论文标题：Dopamine: A Research Framework for Deep Reinforcement Learning
发表会议：ICLR, 2019
论文链接：https://openreview.net/forum?id=ByG_3s09KX
当前谷歌学术引用次数：107
e. Policy Gradients with Action-Dependent Baselines系列
算法名称：Q-Prop
论文标题：Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic
发表会议：ICLR, 2017
论文链接：https://arxiv.org/abs/1611.02247
当前谷歌学术引用次数：259
算法名称：Stein Control Variates
论文标题：Action-depedent Control Variates for Policy Optimization via Stein’s Identity
发表会议：ICLR, 2018
论文链接：https://arxiv.org/abs/1710.11198
当前谷歌学术引用次数：46
算法名称：The Mirage of Action-Dependent Baselines in Reinforcement Learning
论文标题：The Mirage of Action-Dependent Baselines in Reinforcement Learning
发表会议：ICML, 2018
论文链接：https://arxiv.org/abs/1802.10031
当前谷歌学术引用次数：66
f. Path-Consistency Learning系列
算法名称：PCL
论文标题：Bridging the Gap Between Value and Policy Based Reinforcement Learning
发表会议：NIPS, 2017
论文链接：https://arxiv.org/abs/1702.08892
当前谷歌学术引用次数：223
算法名称：Trust-PCL
论文标题：Trust-PCL: An Off-Policy Trust Region Method for Continuous Control
发表会议：ICLR, 2018
论文链接：https://arxiv.org/abs/1707.01891
当前谷歌学术引用次数：68
g. Other Directions for Combining Policy-Learning and Q-Learning系列
算法名称：PGQL
论文标题：Combining Policy Gradient and Q-learning
发表会议：ICLR, 2017
论文链接：https://arxiv.org/abs/1611.01626
当前谷歌学术引用次数：58
算法名称：Reactor
论文标题：The Reactor: A Fast and Sample-Efficient Actor-Critic Agent for Reinforcement Learning
发表会议：ICLR, 2018
论文链接：https://arxiv.org/abs/1704.04651
当前谷歌学术引用次数：42
算法名称：IPG
论文标题：Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
发表会议：NIPS, 2017
论文链接：http://papers.nips.cc/paper/6974-interpolated-policy-gradient-merging-on-policy-and-off-policy-gradient-estimation-for-deep-reinforcement-learning
当前谷歌学术引用次数：117
算法名称：Equivalence Between Policy Gradients and Soft Q-Learning
论文标题：Equivalence Between Policy Gradients and Soft Q-Learning
发表会议：Arxiv
论文链接：https://arxiv.org/abs/1704.06440
当前谷歌学术引用次数：170
h. Evolutionary Algorithms
算法名称：ES
论文标题：Evolution Strategies as a Scalable Alternative to Reinforcement Learning
发表会议：Arxiv
论文链接：https://arxiv.org/abs/1703.03864
当前谷歌学术引用次数：802
参考
https://spinningup.openai.com/en/latest/