百度强化7日打卡学习心得

百度七日强化学习链接视频:https://aistudio.baidu.com/aistudio/education/group/info/1335

首先很感谢百度提供了一个能学习强化学习的机会。课程安排也很合理,从浅到深的介绍,满足了大部分人的需求。通过这七日的学习,我不仅了解了强化学习的经典算法而且还动手训练了算法模型,更进一步地理解了强化学习可以解决哪些实际问题。

 

强化学习包含智能体和智能体所在的环境两部分,如下图,

百度强化7日打卡学习心得_第1张图片

智能体又要和环境进行交互,交互主要是指智能体的动作会根据环境的状态获得奖励或惩罚,如下图,

百度强化7日打卡学习心得_第2张图片

强化学习的应用也很广泛,如下图,

百度强化7日打卡学习心得_第3张图片

强化学习和其他学习的关系,如下图,

百度强化7日打卡学习心得_第4张图片

强化学习对比其他学习注重的是决策问题,通过智能体与周边环境的交互学会了如何能获得更多的奖励。

从这次学习当中,也了解到了parl,PARL(PAddlepaddle Reinfocement Learning)是百度推出的基于PaddlePaddle(飞桨)的深度强化学习框架,具有可复用性强、扩展性好、支持大规模并行计算等优点。

PARL除了用来开发强化学习算法,提供了十分便捷的Python多线程并行计算接口,可以单独拿来做运算加速。众所周知,Python由于GIL(全局锁)的存在,不能充分利用多核CPU实现真正意义的多线程并行运算。多进程虽然可以避免全局锁的问题,但进程间通讯会增加开发难度。PARL在底层解决了这些问题,用户在写代码时只需在需要并行计算的地方添加修饰符(@parl.remote_class),然后按照一般多线程的写法编程即可利用多CPU实现真正的并行化。这个真的很赞。

在提交强化学习作业时,如果pip install xxx模块很慢时,建议使用pip install xxx -i -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com可以加快pip模块下载安装

如果大家有算力,可以使用paddlegpu来训练模型,具体操作为

选择高级版运行环境

百度强化7日打卡学习心得_第5张图片

安装paddle-gpu

!pip install paddlepaddle-gpu==1.6.3.post107 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

如果训练意外中断,在train代码中可以加入agent.restore()从上一次中断的模型中找一个作为其实模型继续训练。

if os.path.exists(os.path.join('model_dir_3','steps_210863.ckpt')):
    agent.restore(os.path.join('model_dir_3','steps_210863.ckpt'))

最后,分享一些训练心得,学习率要和BATCH_SIZE一起调,BATCH_SIZE设置越大学习率要设置小一些,因为输入样本量越大可以防止出现局部最优,学习率此时设置小一点可以更好的让模型收敛,以上为我个人见解,如有问题,欢迎大家随时沟通!

 

你可能感兴趣的:(百度强化7日打卡学习心得)