RLAI

强化学习（RLAI）读书笔记第十六章Applications and Case Studies（不含alphago）

强化学习（RLAI）读书笔记第十六章ApplicationsandCaseStudies（不含alphago）16.1TD-Gammon16.2Samuel'sCheckersPlayer16.3Watson

无所知·2023-10-07 07:03

Arcpy批量投影栅格数据

#outws：输出路径#Coordinate_System：目标投影坐标系importglobimportosimportarcpy#输入路径应该注意，中文路径，会导致读不出文件inws=r"F:\\RLAI

好学的山楂·2023-04-19 12:23

【RLaI】动态规划求value的算法（Policy Evaluation）

背景ReinforcementLearning,anIntroduction第二版4.1PolicyEvaluation(Prediction)中提到两种求value的算法。当我们已知环境模型时，我们可以根据状态值函数的Bellman方程得到v(s)和v(s')的关系，也就是当前状态下的value和下一状态下value的关系，表达如下:状态值value的递推求解对于实际问题，我们通常已知环境信息，

哪种生活可以永远很轻松·2023-03-30 07:58

强化学习（RLAI）读书笔记第九章On-policy Prediction with Approximation

这一章学习使用on-policy的数据对状态值函数进行逼近，也就是在策略下估计值函数。这一章的重点在于估计的值函数不是使用表格来表示而是使用参数w的函数形式。一般来说权重参数的数量是远远比状态的数量要小的，而且改变一个权重的大小会影响到很多个状态值的估计。于是一个值函数的更新会带来很多其它值函数的改变。这种泛化能力非常有用但更难操作和理解。而且把强化学习延伸到函数逼近的形式也使得它能够应用于部分可

无所知·2022-11-20 19:19

强化学习（RLAI）读书笔记第三章有限马尔科夫决策过程（finite MDP）

第三章有限马尔科夫决策过程有限马尔科夫决策过程（MDP）是关于评估型反馈的，就像多臂老虎机问题里一样，但是有是关联型的问题。MDP是一个经典的关于连续序列决策的模型，其中动作不仅影响当前的反馈，也会影响接下来的状态以及以后的反馈。因此MDP需要考虑延迟反馈和当前反馈与延迟反馈之间的交换。MDP是强化学习问题的一个数学理想化模型，以此来精确地从理论上描述。这章将会介绍强化学习里的一些关键问题，比如反

无所知·2020-08-26 07:19

强化学习（RLAI）读书笔记第一章介绍

前言：sutton的《reinforcementlearning:anintroduction》新版已经基本完成，结合他在学校开设的课程609，进行强化学习的系统学习。609的课程资料等等在这里。博客主要包括书籍的读书笔记，可能会包括609的作业。第一章：Introduction1.1reinforcementlearning强化学习是学习怎么做，怎么从状态映射到动作来最大化一个数值奖励（rewa

无所知·2020-08-26 07:15

强化学习（RLAI）读书笔记第十三章策略梯度方法（Policy Gradient Methods）

强化学习（RLAI）读书笔记第十三章策略梯度方法（PolicyGradientMethods）13.1PolicyApproximationanditsAdvantages13.2ThePolicyGradientTheorem13.3REINFORCE

无所知·2020-08-25 01:18

RLAI读书笔记-第十二章-Eligibility Traces

12EligibilityTraces10章的近似函数扩展Wt+1=Wt+α*{Vπ(St)-V^(S,W)}*▽wV^(S,W)公式P2231.α是步长误差{Vπ(St)-V^(S,W)}变大则α需要变小2.Vπ(St)即Gt通过本章的λ-return计算3.▽wV^(S,W)通过资格迹来优化看第九章资格迹==优化后的函数微分(因为TD算法的V^(S,W)估计值是不精确的)12.1λ-retur

cuixuange·2020-08-23 12:55

强化学习（RLAI）读书笔记第十二章资格迹（Eligibility Traces）

资格迹是强化学习算法中的一个基本机制。比如很流行的其中的指的就是资格迹的使用。基本上所有的TD算法都能够和资格迹进行组合从而得到一个更通用的算法。资格迹把TD和MC方法统一了起来。当TD算法和资格迹进行组合使用时，得到了一组从一步TD延伸到MC算法的算法家族。一般中间部分的算法效果比两端的好。资格迹同样提供了一种在线continuing形式的问题上使用MC算法的实现方式。之前第七章使用n步TD法已

无所知·2020-08-23 11:24

【RLaI】value iteration算法计算最优策略optimal policy(Example 4.4)

问题Example4.3:Gambler’sProblemAgamblerhastheopportunitytomakebetsontheoutcomesofasequenceofcoinﬂips.Ifthecoincomesupheads,hewinsasmanydollarsashehasstakedonthatﬂip;ifitistails,heloseshisstake.Thegameen

哪种生活可以永远很轻松·2018-11-19 10:26

强化学习（RLAI）读书笔记第七章n步自举（n-step Bootstrapping）

第七章：n-stepBootstrapping这一章中我们把蒙特卡洛算法(MC)和一步差分算法(one-stepTD)统一起来。MC算法和一步TD算法都不可能永远是最好的。这两个方法都是比较极端的形式，可能使用它们中间形式会更好一些。另一个看待n步TD算法的优势的角度是它解决了固定时间步骤的缺点。比如一步TD算法固定了每次选择动作和更新值的时间间隔。很多应用中想要把发生的改变快速更新到值函数中，但

无所知·2018-09-05 19:53

强化学习（RLAI）读书笔记第六章差分学习（TD-learning）

第六章：Temporal-DifferenceLearningTD-learning算法是强化学习中一个独具特色而又核心的想法，结合了蒙特卡洛算法和动态规划的想法。和MC一样不需要环境模型直接从sample里学习，也像DP一样使用bootstrap通过别的状态值的估计更新当前状态值。首先也关注的是给定策略进行prediction或者叫policyevaluation。对于control（找到最优策

无所知·2018-09-04 20:41

强化学习（RLAI）读书笔记第四章动态规划

第四章：动态规划动态规划是指一类在MDP下对环境有完全建模的计算最优策略的算法。经典的DP算法在强化学习中应用有限，不仅是因为需要对环境进行完全建模，而且还需要很多的计算资源。但是这个算法在理论上依然很重要。实际上，书中后面章节的所有算法都可以看成想要使用更少的计算资源而且不需要对环境完全建模的尽可能达到DP的效果的尝试。一般我们假设环境是有限状态MDP。尽管动态规划也可以应用到连续状态和连续动作

无所知·2018-08-30 17:03

Reinforcement Learning Resource

reinforcementlearningtoolkit-apythonimplementationofRLbySuttonhttp://rlai.cs.ualberta.ca/RLAI/RLtoolkit

ariesjzj·2009-10-23 22:00

推荐频道