PARL强化学习心得

参加了百度的PaddlePaddle下的强化学习框架的学习。感谢百度提供了这次学习的机会，并提供了作业与项目练习，计算平台，并且邀请大神给我们做了这次学习讲课，收益良多。

该框架的几个特点如下：

1、结构很清晰，按照model，Algorithm, agent，来定义整个强化学习所需要的组件，通过调用PARDL来实现整个强化学习核心算法与环境的交互，对初学者来说了解了整个框架以后结构就比较清晰；
2、PARDL框架下实现了一些常用的函数功能，比如对target网络的参数复制，交叉熵等等，熟悉以后对写新的框架还是很有帮助的，不用对底层太细节与通用的部分自己进行重写；
3、提供了比较好的代码示例，有助于学习使用，效果目前看还是挺好的，有时间的时候可以与pytorch与tensorflow写的对比一下，或者与Baselines这样封装的比较好的框架进行一下对比。
4、多线程或者分布式训练的方式简单易用，这是对强化学习应用的比较好的一个准备。

希望更加完善的地方：

1、希望后续版本能够更加稳健，兼容性更强，目前如果环境配置的版本号不对，或者用了最新的版本等等，有时候会有一些问题；
2、文档还不够详细，一些借口的具体用途或者说明的不够清晰，或者查询路径有点复杂；
3、可能目前接触使用的开发者还不多，一些问题只能自己摸索，希望百度继续以开放的良性互动的方式引领国内人工智能的发展，打造良好互动的社区。

总体而言，百度的强化学习框架还是让人眼前一亮，易用性好，可调性高，通过这次课程的学习，让我对强化学习在理论和代码层面上都有了更进一步的理解。感谢百度老师和工作人员无私的付出，希望看到百度能够引领国内人工智能领域的发展，树立良性的发展氛围。