【一】环境配置+python入门教学-强化学习及PARL框架｛飞桨｝

PaddlePaddlle强化学习及PARL框架｛飞桨｝

【一】-环境配置+python入门教学

【二】-Parl基础命令

【三】-Notebook、&pdb、ipdb 调试

【四】-强化学习入门简介

【五】-Sarsa&Qlearing详细讲解

【六】-DQN

【七】-Policy Gradient

【八】-DDPG

【九】-四轴飞行器仿真

飞桨PARL_2.0&1.8.5（遇到bug调试修正）

---

一、AI Studio 项目详解【VisualDL工具】

二、AI Studio 项目详解【环境使用说明、脚本任务】

三、AI Studio 项目详解【分布式训练-单机多机】

四、AI Studio 项目详解【图形化任务】

五、AI Studio 项目详解【在线部署及预测】

---

1.PaddlePaddlle强化学习及PARL框架

PARL 的名字来源于 PAddlepaddle Reinfocement Learning，是一款基于百度 PaddlePaddle 打造的深度强化学习框架。

该强化学习框架主要有以下特点：

• 可复现性保证。我们提供了高质量的主流强化学习算法实现，严格地复现了论文对应的指标。
• 大规模并行支持。框架最高可支持上万个CPU的同时并发计算，并且支持多GPU强化学习模型的训练。
• 可复用性强。用户无需自己重新实现算法，通过复用框架提供的算法可以轻松地把经典强化学习算法应用到具体的场景中。
• 良好扩展性。当用户想调研新的算法时，可以通过继承我们提供的基类可以快速实现自己的强化学习算法。

百度这次推出的强化学习7日训练营https://aistudio.baidu.com/aistudio/course/introduce/1335由百度NeurIPS全球顶会冠军团队亲自授课，

框架结构

PARL的目标是构建一个可以完整复杂任务的智能体。以下是用户在逐步构建一个智能体的过程中需要了解到的结构：

Model

Model 用来定义前向(Forward)网络，这通常是一个策略网络(Policy Network)或者一个值函数网络(Value Function)，输入是当前环境状态(State)。

Algorithm

Algorithm 定义了具体的算法来更新前向网络(Model)，也就是通过定义损失函数来更新Model。一个Algorithm包含至少一个Model。

Agent

Agent 负责算法与环境的交互，在交互过程中把生成的数据提供给Algorithm来更新模型(Model)，数据的预处理流程也一般定义在这里。

2. 2.版本安装

飞桨安装链接【https://www.paddlepaddle.org.cn/install/quick?docurl=/documentation/docs/zh/install/pip/windows-pip.html】

                                                  

安装完成后您可以使用 python 进入python解释器，输入import paddle ，再输入 paddle.utils.run_check()如果出现PaddlePaddle is installed successfully!，说明您已成功安装。

如何卸载

请使用以下命令卸载PaddlePaddle：

• CPU版本的PaddlePaddle:

  python -m pip uninstall paddlepaddle

  遇到问题：

                                                                                           

解决方案：https://blog.csdn.net/qq_43422918/article/details/90271684

imp 从 Python 3.4 之后弃用了，建议使用 importlib 代替

1，在第一行，注释掉 imp，导入 importlib

2，注释 imp.load_source，使用 importlib.machinery.SourceFileLoader 加载模块

#module = imp.load_source(moduleName, fileName)
module = importlib.machinery.SourceFileLoader(moduleName, fileName).load_module()

改动后代码

其余不做改动。

安装成功：

                                                                                             

可能存在问题，会使tensorflow程序出现问题imp未安装，如果出现此问题，请改回原来程序

 

小心踩雷

看清楚版本号......        踩雷：装的2.1版本的 ，居然用了1.6版本例子 尴尬了！~~~~

1.8.5安装指令

python -m pip install paddlepaddle==1.8.5 -i https://mirror.baidu.com/pypi/simple

采用1.8  paddle------------考虑到目前开源程序采用的都是1.8版本及之前的   所以安装2.0运行代码调试问题比较大，迁移工具也无法完全改进成功，2种版本我都试过，BUG遇到的都会写出来

这里提示安装成功会显示：PaddlePaddle is installed successfully!

这里提示:官网

这一步安装2.0以前的版本可以直接忽视！！！
最后补充一句：新建一个环境哦，别和之前比如tensorflow装在一起，有时候会出现莫名错误！慎重！

---

3.课程笔记【强化学习7日打卡营-1】

课程链接【https://aistudio.baidu.com/aistudio/projectdetail/539136?pV=108080】

常见数学公式【高数、线代、概率】｛https://aistudio.baidu.com/aistudio/projectdetail/541362?pV=108606｝

【Python语法】https://aistudio.baidu.com/aistudio/projectdetail/551789?pV=110664  方便查询。

---

第一节python基础语法                                                                                                                                     

附链接【https://blog.csdn.net/sinat_39620217/article/details/114695142?spm=1001.2014.3001.5501】                                                               

                                                                                                                                                     

 第二节python常见的数据结构

附链接【https://blog.csdn.net/sinat_39620217/article/details/114695281】

 

第三节python For 循环、While 循环                                                                                                                    

链接【https://blog.csdn.net/sinat_39620217/article/details/114698213】                                                                                        

                                                                                                                         

 第四节python 中定义函数       

链接【https://blog.csdn.net/sinat_39620217/article/details/114698719】  

第五节python 面向对象编程                                                                                                                

链接【https://blog.csdn.net/sinat_39620217/article/details/114699868】                                                                                                        

                                                                                                           

第六节python 面向对象编程 

链接【https://blog.csdn.net/sinat_39620217/article/details/114705409】

 

---