E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
on-policy
初探强化学习(6)到底TMD什么是model-based和model-free(基于模型的强化学习和基于模型的强化学习 TMD的到底是什么)
0如何定义无模型和有模型Model-based和Model-free方法对比Model-based：一旦model学好后，就是采用
On-Policy
的算法；一旦model学好后，就不需要与真实环境有过多地互动
难受啊！马飞...
·
2022-11-26 02:19
强化学习
机器学习
人工智能
深度强化学习面试题汇总
off-policy和
on-policy
的好与坏？表格式
小郁同学
·
2022-11-21 21:59
强化学习工作准备
强化学习
强化学习工作
人工智能
Easy RL - 8.PPO算法
关键词同策略（
on-policy
）：要学习的智能体和与环境交互的智能体是同一个时对应的策略。异策略（off-policy）：要学习的智能体和与环境交互的智能体不是同一个时对应的策略。
加油呀，哒哒哒
·
2022-11-20 19:58
Easy
RL
算法
人工智能
强化学习（RLAI）读书笔记第九章
On-policy
Prediction with Approximation
这一章学习使用
on-policy
的数据对状态值函数进行逼近，也就是在策略下估计值函数。这一章的重点在于估计的值函数不是使用表格来表示而是使用参数w的函数形式。
无所知
·
2022-11-20 19:19
强化学习
RLAI
离线强化学习与在线强化学习
on-policy
采用的是
小郁同学
·
2022-07-27 07:17
强化学习笔记
机器学习
算法
深度学习
强化学习
李宏毅深度强化学习笔记
文章目录增强学习（RL）的一些基本概念：RL的基本组成：三者相互作用的过程：Policy：轨迹的概率：ExpectedReward：Policygradient:
On-policy
→\rightarrow
Solitary tian
·
2022-07-10 07:52
机器学习
神经网络
强化学习之PPO（Proximal Policy Optimization Algorithms）算法
on-policy
与off-policy的区别
on-policy
的意思是
王又又upupup
·
2022-07-05 07:08
强化学习
强化学习
算法
强化学习之图解PPO算法和TD3算法
1.3Actor网络的更新流程1.4Critic网络的更新流程2.TD3算法2.1网络结构2.2产生experience的过程2.3Actor网络的更新流程2.4Critic网络的更新流程2.5总结0.引言关于
on-policy
ReEchooo
·
2022-07-05 07:27
强化学习基础理论
算法
深度强化学习笔记之PPO算法理解（1）
PolicyGradient：该方法是PPO的前身，与基于价值的强化学习方法不同，策略梯度法是对策略进行更新；
On-policy
|Off-policyAddconstraint：对PolicyGradient
Atarasin
·
2022-07-05 07:58
机器学习笔记
强化学习
深度学习
python
强化学习（1）：Q-Learning 算法
本文主要讲解有关Q-Learning算法的内容，主要包括
on-policy
和off-policy的概念、Q-Learning算法的基本思想和算法流程，最后还会讲解一个莫烦大神的例子。
棉花糖灬
·
2022-04-09 07:34
强化学习
强化学习
q-learning
on-policy
off-policy
强化学习从入门到放弃（二）Q-learning 与 Sarsa
他们的区别是q-learning是off-policy的，sarsa是
on-policy
的。
Lixian ma
·
2022-04-09 07:33
强化学习
强化学习
算法
强化学习点滴- model-free vs. model-based；
on-policy
vs. off-policy
Model-free:不需要知道状态之间的转移概率（transitionprobability），仅仅依赖agent和environment进行实时的交互。并不一定使用当前策略产生的样本。Model-freemethodattemptstolearntheoptimalpolicyinONEstep,suchasQ-learning,whichlearnstheoptimalpolicyinthe
致知在格物，物格而后知至
·
2022-03-29 07:22
学习控制
强化学习(Sarsa与q-learning)代码示例
一、Sarsa算法Sarsa算法是
on-policy
的，行为策略是什么，目标策略就是什么，即优化的是他实际执行的策略，所以使用Sarsa算法的agent在探索时显得有点“胆小”。
前行_的路上
·
2021-11-24 10:52
强化学习
python
强化学习
算法学习（七）——一些基本概念：model base和model free，
On-Policy
和 Off-Policy，On-Line 学习和 Off-Line 学习
On-Policy
和Off-Policy：指更新状态矩阵的方法和选择策略的方式是否一致，一致就是
On-Policy
，不一致就是Off-
星之所望
·
2021-01-17 10:34
强化学习
算法
python
机器学习
人工智能
基于近似的
on-policy
控制方法--阅读笔记【Reinforcement Learning An Introduction 2nd】
文章目录基于近似的
on-policy
控制方法前言1.episodic半梯度控制2.半梯度n-stepsarsa3.平均奖励：针对连续任务的一种新的回报形式4.弃用折扣设置deprecatingthediscountingsetting5
EdenJin
·
2020-09-12 15:38
#
RL
An
Introduction
2nd读书笔记
强化学习
深度学习
强化学习入门
PolicyIteration）策略评估（PolicyEvaluation）策略提升（PolicyImprovement）价值迭代（ValueIteration）无模型算法——蒙特卡罗方法探索性初始化同策略（
On-policy
Super_Whw
·
2020-08-25 01:34
强化学习
李宏毅教授Policy Gradient课程笔记总结
)Tip1：将回报值的期望作为基线，使得每次计算的回报有正负区别Tip2：不将整场游戏得到的reward作为权重，为每个动作分配应有的权重，权重即为从当前时间t开始所有reward的累加改进：增加折扣
On-policy
lueluewaaa
·
2020-08-25 01:33
强化学习笔记
强化学习(Reinforcement Learning)学习笔记DAY01（RL分类和Q Learning简单例子）
要说的最后一种分类：在线学习（
On-Policy
）、离线学习（Off-Polic
沙鳄鱼
·
2020-08-25 01:28
[强化学习] off-policy和
on-policy
、Q-learning和Sarsa的区别、Sarsa-lambda、Q-lambda
看了莫凡大神(link)关于Q-learning和Sarsa的视频之后，大概了解了Q-learning和Sarsa，但是对其区别还是有点懵懵懂懂，这篇博客便是后续对其理解的过程记录。Q-learning和Sarsa都是时序差分模型，这部分后面将再次介绍。提到Q-learning和Sarsa的区别，避免不了提到“off-policy”和“online-policy”策略，下面我将首先介绍“off-p
nana-li
·
2020-08-25 01:06
Reinforcement
Learning
强化学习
Q-learning
Sarsa
Q-lambda
时间差分方法Q-learning和sarsa的区别
中,行动策略(产生数据的策略)和要评估的策略不是一个策略，因此称之为异策略(off-policy),而在sarsa中，正好相反，也就是行动策略(产生数据的策略)和要评估的策略是一个策略，称之为同策略(
on-policy
小蚂蚁呀
·
2020-08-25 01:19
A thorough understanding of
on-policy
and off-policy in Reinforcement learning
我这篇文章主要想借着理解
on-policy
和off-policy的过程来加深对其他RL算法的认识。
qiusuoxiaozi
·
2020-08-25 01:39
强化学习
Bourne强化学习笔记1：用简单例子说明Off-policy的思想与使用方法
Analogy/Diagram/Example/Plain/TechnicalDefinition）的学习规律，本人给出直观理解、数学方法、图形表达、简单例子和文字解释，来介绍off-policy，而
on-policy
Bourne_Boom
·
2020-08-25 00:08
机器学习
强化学习
《强化学习导论》：
On-policy
Prediction with Approximation
这一章讨论
on-policy
下的价值函数近似均方价值误差u(s)是状态的分布函数，定义如下如何使误差变小？
初七123
·
2020-08-25 00:40
深度强化学习
on-policy
和 off-policy
on-policy
布谷AI
·
2020-08-25 00:42
强化学习
强化学习
on-policy
跟off-policy的区别
on-policy
：生成样本的policy（valuefunction）跟网络更新参数时使用的policy（valuefunction）相同。
小草cys
·
2020-08-25 00:35
博士生涯
机器学习
强化学习中的
on-policy
和off-policy解释
首先引经据典一番，在sutton的introductiontoreinforcement中，82页（第二版，November5,2017）中写道：On-policymethodsattempttoevaluateorimprovethepolicythatisusedtomakedecisions,whereasoff-policymethodsevaluateorimproveapolicydi
Lovelation
·
2020-08-25 00:29
深度强化学习
深度学习中sarsa算法和Q-learning算法的区别
sarsa的处理方式是episinon+greedy，和St选择aciton采取的方法是一样的，称为
on-policy
；Q-learning的处理方式是greedy，但
zhaoying9105
·
2020-08-25 00:28
增强学习
机器学习
算法
时序差分
强化学习中的off-policy 和
on-policy
强化学习可以分成off-policy（离线）和
on-policy
（在线）两种学习方法，按照个人理解，判断一个强化学习是off-policy还是
on-policy
的依据在于生成样本的policy（value-funciton
茄砸
·
2020-08-25 00:49
深度强化学习笔记
深度强化学习笔记
真 离线强化学习《An Optimistic Perspective on Offline Reinforcement Learning》阅读笔记
强化的分类，不仅是off-policy和
on-policy
参考
hehedadaq
·
2020-08-20 00:05
论文阅读笔记
机器人
文献
offline
RL
深度强化学习
论文阅读
DQN——Deep Q Network
3、DQN是
on-policy
还是off-policy?DQN是off-p
CKH001
·
2020-08-17 17:36
Soft Actor-Critic 论文笔记
有些同策略算法（
On-policy
）样本效率低。比如TRPO，A3C，PPO等是同策略，他们每一步梯度计算都需要新的样本收集。而异策略算法（Off-policy
geter_CS
·
2020-08-16 12:46
强化学习
强化学习经典算法笔记(十五)：Soft Actor-Critic算法实现
强化学习经典算法笔记(十五)：SoftActor-Critic算法实现算法简介SoftActorCritic，SAC算法是一种Off-policy算法，相比于PPO这种
On-policy
算法，sampleefficiency
赛艇队长
·
2020-08-16 10:45
强化学习
[归纳]强化学习导论 - 第九章：基于拟合器的
on-policy
预测
文章目录1.本章内容概要2.值函数拟合器3.预测目标VE4.随机梯度和半梯度方法5.线性方法6.线性方法的特征构建6.1.多项式特征6.2.傅里叶特征6.3.粗糙编码特征6.4.瓦片编码特征6.5.径向基特征7.手动选择步长参数8.非线性函数拟合器：人工神经网络9.最小平方TD10.基于记忆的函数拟合器11.基于核的函数拟合器12.更关注部分更新：Interest和Emphasis13.总结参考文
OneLonelyTree
·
2020-08-16 08:39
强化学习
强化学习Sarsa，Q-learning的收敛性最优性区别（
on-policy
跟off-policy的区别）
1.Sarsa与Q-learningQ-learning在每一步TD中贪心的获取下一步最优的状态动作值函数。而Sarsa则是e-greedy的选取TD中的下一个状态动作值函数。在这种情况下，Q-learning更倾向于找到一条最优policy，而Sarsa则会找到一条次优的policy。这是由于Sarsa在TD误差中随机的选取下一个状态动作值函数，这样可能会使整体的状态值函数降低。如下示例进一步说
贰锤
·
2020-08-12 13:24
强化学习
强化学习薄荷糖
强化学习
强化学习笔记（四）无模型控制（Model-Free Control）
强化学习笔记（四）无模型控制（Model-FreeControl）Q1：
On-Policy
和Off-Policy的区别？
_Epsilon_
·
2020-08-12 12:05
强化学习
强化学习笔记(4)无模型控制Model-Free Control(
On-policy
learning, off-policy learning, GLIE, Sarsa, Q-learning)
文章目录Introduction概念On-PolicylearningOff-PolicylearningMonte-CarloControl问题1：使用行为价值函数代替状态价值函数贪婪策略基于行为价值函数的更新：问题2：使用贪婪算法的局限性例解决方案：ϵ−greedy\epsilon-greedyϵ−greedyGLIE定理：GLIEMonte-CarloControl定理TDControlSa
SpadeA_Iverxin
·
2020-08-12 10:27
强化学习RL
【强化学习】确定性策略强化学习-DPG&DDPG算法推导及分析
一、DGP推导本篇介绍确定性策略梯度算法，该算法主要用于off-policy（
on-policy
也能用）。
贰锤
·
2020-08-09 14:10
强化学习
强化学习薄荷糖
基于SARSA算法的自主寻路绕障
机器智能实验课自选实验设计说明选题在Secondlife上模拟基于SARSA算法的自主寻路绕障算法介绍强化学习算法可以分为在策略(
on-policy
)和离策略(off-policy)两类。
大喵与小喵
·
2020-07-15 12:59
Reinforcement Learning 2
1.两种PolicyPolicyBased的强化学习有两种训练方法：
On-policy
，要学的Agent边学边玩Off-policy，要学的Agent看别人玩前文讲解的PolicyGradient其实是
GodWriter
·
2020-07-14 04:52
强化学习
精简强化学习总结
决策我们的行为)，Env，Reward（我们不能控制环境）主要方法：model-baed（对Env建模，actor可以理解环境）,model-free(policy-based，value-based)；
on-policy
fada_away
·
2020-07-14 00:01
PPO学习记录
2020.4.23更新1、ppo是一种
on-policy
，先利用old_pi进行一轮互动得到N个experience，用这些经验对策略进行多次训练更新得到new_pi，在此过程中限制new_pi的更新幅度
虹777
·
2020-07-12 11:51
强化学习
强化学习经典算法笔记(十一)：近端策略优化算法（PPO）实现，基于A2C（上）
强化学习经典算法笔记(十一)：近端策略优化算法（PPO）实现，基于A2CPPO算法是一种
On-policy
算法，可以被用于连续空间任务和离散空间任务。
赛艇队长
·
2020-07-04 17:26
强化学习
强化学习
PPO
深度学习
机器学习
Proximal Policy Optimization(PPO 近似策略优化)---李宏毅课堂笔记
PolicyGradigent就是
on-policy
。
Zrf@
·
2020-06-29 02:32
神经网络自动搜索
[归纳]强化学习导论 - 第十章：基于拟合器的
on-policy
控制
文章目录1.本章内容概要2.episodic半梯度控制3.半梯度n-stepSarsa4.平均回报：针对连续任务一种新的回报形式5.连续任务中不要再用折扣回报了6.微分半梯度n-stepSarsa7.总结参考文献1.本章内容概要这一章，我们回到control问题，并结合参数化的动作值的拟合函数q^(s,a,w)≈q∗(s,a),\hat{q}(s,a,\mathbf{w})\approxq_{*}
OneLonelyTree
·
2020-06-27 07:21
强化学习
强化学习-Vanilla Policy Gradient(VPG)
QuickFactsVPG是一个
on-policy
算法VPG能用于连续或者离散动作空间的
Mystery_zu
·
2020-06-22 14:57
强化学习
深度学习
[强化学习]易混知识勘误_from李宏毅P5——Sparse Reward的解决方法（目标太难怎么办）
知识勘误其他笔记链接易混知识勘误_from李宏毅P1-----PolicyGradient易混知识勘误_from李宏毅P2——PPO\Off-policy\
On-policy
易混知识勘误_from李宏毅
Love_marginal
·
2020-04-15 14:33
强化学习
【笔记2-2】李宏毅深度强化学习笔记（二）Proximal Policy Optimization (PPO)
李宏毅深度强化学习-ProximalPolicyOptimizationPolicyGradient术语和基本思想PolicyGradient从
on-policy
到off-policy（反复多次使用经验
jessie_weiqing
·
2019-02-24 19:09
笔记
李宏毅深度强化学习笔记
策略梯度
策略优化是
on-policy
的，即仅使用遵循最新策略所获得的数据来更新参数。最简单的策略梯度我们考虑随机策略π
csdnqixiaoxin
·
2018-11-19 11:35
强化学习
[强化学习] 理解
on-policy
和 off-policy
我们把用来指导个体产生与环境进行实际交互行为的策略称为行为策略，把用来评价状态或行为价值的策略或者待优化的策略称为目标策略。如果个体在学习过程中优化的策略与自己的行为策略是同一个策略时，这种学习方式称为同步策略学习（on-policylearning），如果个体在学习过程中优化的策略与自己的行为策略是不同的策略时，这种学习方式称为异步策略学习（off-policylearning）
winddy_akoky
·
2018-10-15 15:40
强化学习：
On-Policy
与 Off-Policy 以及 Q-Learning 与 SARSA
刚接触强化学习，都避不开OnPolicy与OffPolicy这两个概念。其中典型的代表分别是Q-learning和SARSA两种方法。这两个典型算法之间的区别，一斤他们之间具体应用的场景是很多初学者一直比较迷的部分，在这个博客中，我会专门针对这几个问题进行讨论。以上是两种算法直观上的定义。我们都称Q-Learning是OffPolicy.SARSA是OnPolicy这个应该怎么理解呢？我们先列出来
Johnny_Cuii
·
2018-10-13 21:52
强化学习
上一页
1
2
3
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他