Value-based or Policy-based

采用什么方法完全取决于取得的效果。现在的研究发现policy gradient的方法效果比Q-learning这种单纯基于value的方法好，所以选择policy gradient，事实上是把两者结合起来的actor-critic效果是最好的！只是说actor-critic的关键在于policy gradient。
从方法上讲，Policy Gradient显然比基于Value的方法更直接，输入感知，输出控制。按道理来说是更符合人类行为的方法。特别在控制上，但是在一些离散的决策上，人类也是评估各方好坏value来做选择的，所以这一块Q-Learning应该会做的更好。未来机器人控制很可能会是深度学习要占领的一块地盘，在连续控制上，基于value的方法本身就不好做，连续DQN比如那个NAF方法使用了很多小技巧。而基于Policy的方法则很直接。