强化学习 之重要性采样

重要性用于离线蒙特卡洛的不足：

（1）使用重要性采样时会用什么方法避免pi非零而mu为零的问题？
一般使用一些平滑算法，例如拉普拉斯一类的平滑

这里beta是平滑的超参数。
还有一种就是clip，也就是ratio如果绝对值超过了某个阈值a，那就设置成这个a值（符号不变）。
这些方法其实都是损失了一点点bias，来换来bias的巨大下降。

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

如果大家喜欢这篇文章的话，希望大家收藏、转发、关注、评论、点赞，转载请注明出自这里。 PS：本随笔属个人学习小结，文中内容有参考互联网上的相关文章。如果您博文的链接被我引用，我承诺不会参杂经济利益；如果有版权纠纷，请私信留言。其中如果发现文中有不正确的认知或遗漏的地方请评论告知，谢谢！ 还是那句话：不是我喜欢copy，是站在巨人的肩膀上~~