模仿学习对比强化学习

模仿学习介绍

模仿学习是将专家经验作为样本进行强监督学习的一种方法。

模仿学习对比强化学系

模仿学习
优点：
1.简单、稳定的监督学习过程
缺点：
1.需要提供榜样行为数据
2.需要处理多解型行为（例如 绕过障碍物，可以从左边或者右边，但是专家数据不一定覆盖所有行为，可以用多元高斯分布去等方法去处理）
3.不能超越人类水平

强化学习
优点：
1.可以超越人类水平
缺点：
1.需要设置奖励函数
2.必须解决策略探索性问题
3.训练可能不收敛、不稳定

结合模仿学习和强化学习：Pretrain＆Finetune

1.使用模仿学习训练出模型，作为预训练。
2.使用强化学习对模型进行改进。