前几篇我们介绍了一个重点概念model-base和model-free，其中model-base是建立在存在某个环境模型，从模型中可以获得状态、动作、奖励的转移信息，比如动态规划方法，当我们确定了状态动作的转换概率

本次内容主要关注的是model-free的部分，对于model-base的内容，在这次就不进行深入的探讨了。这个博客会首先从policy-base的方法开始讲起，然后过渡到value-base的方法。

按给定条件，强化学习可分为基于模式的强化学习（model-base

2048小游戏感觉本身复杂度还可以，又是个model-base的模型，检查起来比较方便，并且可以简化到2x2,3x3，所以感觉是个很不错的demo案例。

介绍model-free方法planningmodel-base方法dyna方法关于使用sample的forwardsearch方法的理解各种机制的总结介绍前面说的value-base方法（除了动态规划）也好，policy-base的方法也好，都是假设没有模型而直接与实际环境交互来学习的，我们把没有用到模型的方法叫做model-free方法，但并不是说value-base和policy-base方