论文：《Gen6D:GeneralizableModel-Free6-DoFObjectPoseEstimationfromRGBImages》Code：https://github.com/liuyuan-pal/gen6d（469star）摘要：现有的可推广姿态估计器要么需要高质量的对象模型，要么在测试时需要额外的深度图或对象掩码，这大大限制了其应用范围。为了满足实际应用中的需求，我们认为姿态

人脸三维重建发展概述三维人脸重建主要有两种思路：model-based和model-free。

文章目录前言MonteCarloMethods（MC）1.特点2.策略评估3.first-visitMC策略评估4.every-visitMC策略评估5.价值函数更新方式总结前言RL学习笔记——蒙特卡洛算法MonteCarloMethods（MC）基于动态规划的求解值函数与策略需要知道环境的模型，也就是状态转移函数与奖励函数，而蒙特卡洛采样方法是不需要知道这些内容即可求解值函数与最优策略。1.特点

强化学习基础篇（十五）蒙特卡洛预测1、Model-free方法通过贝尔曼方程求解最优策略有3种基本方法：动态规划法、蒙特卡洛法和时间差分法。

强化学习算法主要有两大类Model-based的方法和Model-free的方法，modelbased的方法也可以叫做dynamicprogramming：Model-baseddynamicprogramming

策略评估2)策略改进3)策略迭代过程2.价值迭代3.寻宝问题给定一个马尔科夫决策过程（MDP），根据状态转移概率P\mathcalPP是否已知，强化学习可分为基于模型（Model-based）和无模型（Model-free

像之前我们讨论的大量强化学习方法（DQN,DoubleDQN,PriorizedDQN,PolicyGradient,PPO等等）都是基于model-free的，这也是RL学习的主要优势之一，因为大部分情况下

Q-learningQ-learning是强化学习的经典算法之一，它是一个value-based算法，同时也是一个model-free的算法。

解释强化学习中model-based和model-free,online和offline，onpolicy和offpolicy的关系与区别在强化学习中，有四个重要的概念，它们描述了不同的学习方法和策略评估方式

人脸三维重建发展概述三维人脸重建主要有两种思路：model-based和model-free。

强化学习基础篇（二十九）策略梯度(一)之前我们一直都是对价值函数或者动作值函数进行参数化近似：其中策略是间接得通过值函数进行贪婪策略产生，但本文将介绍如何在model-free场景中对策略进行参数化：1

16年的MARL概览:Acomprehensivesurveyofmultiagentreinforcementlearning（谷歌学术）Model-free时学习均衡：NashQ-learning：

前几篇我们介绍了一个重点概念model-base和model-free，其中model-base是建立在存在某个环境模型，从模型中可以获得状态、动作、奖励的转移信息，比如动态规划方法，当我们确定了状态动作的转换概率

PG可用于model-free或model-based。缺点是容易陷入局部最优

etal.Playingatariwithdeepreinforcementlearning[J].arXivpreprintarXiv:1312.5602,2013.概述DeepReinforcementLearning(DQN)是一个model-free

可以看出强化学习可以分为Model-Free(无模型的)和Model-based(有模型的)两大类。Model-Free又分成基于PolicyOptimi

Model-free：不依赖环境，不尝试去理解环境，Agent会根据现实环境的反馈采取下一步的动作，一步一步等待真实世界的反馈，再根据反馈采取下一步行动。■例如Q-learning，S

强化学习基础篇（二十七）Model-free控制终于推进到控制部分了，控制的问题才是核心。1、预测与控制预测与控制的区别在于：预测问题中是输入一个MDP以及一个策略，然后输出基于当前策略的价值函数。

该算法是model-based和model-free的混合方法，比model-free方法需求更少的样本，又能很好的解决model-based方法难以成功学习复杂不连续全局动态模型的问题。

1、Model-Free与Model-Based强化学习Model-Free强化学习是智能

前言：在本节，我们首先介绍算法。其次，我们将说明算法的前向视角（Forward-view）以及后向视角（BackwardView）。1.算法介绍。上一节中介绍的算法，指的是只通过当前这一步实际得到的反馈来更新我的value值，即。如果根据后续步实际得到的反馈来更新我的value值的话，则变成了算法。算法可以表示成如下形式：image.png从图中我们可以看出，中表示的是向后看的深度。如果我们将增加

Model-FreeRLMethodInmodel-basedmethod,weneedfirstlymodeltheenvironmentbylearning/estimatingthetransitionandrewardfunctions.However,inmodel-freemethod,weconsiderlearningthevalue/utilityfunctionsororact

【强化学习纲要】学习笔记系列引入model-free模型可以针对未知的MDP问题已知的MDPPolicy和Reward都是exposetoagent，因此，可以方便地进行policyiteration和

实现3.1Planner类3.2ValueIterationPlanner类4.运行结果及分析1.前言在强化学习中，根据是否依赖于（环境的）模型，可以分为有模型（model-based）学习和无模型（model-free

3.1classPolicyIterationPlanner()3.2测试代码3.3运行结果3.3.1价值估计结果3.3.2策略迭代得到的最终策略1.前言在强化学习中，根据是否依赖于（环境的）模型，可以分为有模型（model-based）学习和无模型（model-free

model-free(免模型)RLagent，它没有去直接估计环境状态的转移，也没有得到环境的具体转移变量。它通过学习价值函数和策略函数进行决策。Model-free的模型里面没有一个环境转移的模型。

强化学习的术语和概念非常多，网上博客和教程鱼龙混杂，针对model-based和model-free的解释就有很多种，现总结一些博客中常出现的误区：【误区一】model-based和model-free

强化学习的分类  RL算法可以分为基于模型的方法(Model-based)与免模型的方法(Model-free)。  1）前者主要发展自最优控制领域。

MFAPC称为无模型自适应预测控制，就是在无模型自适应控制MFAC的基础上加入预测机制，即利用到未来时刻的目标输出值。同样的结合代码与公式简述一下MFAPC的基本原理和实现。数据驱动的基本思想就是指下一时刻的输入可以由前几个时刻的控制输入和实际输出来获得，即而引入紧格式动态线性化理论，即可以将上式简写成，当然，线性化需要满足几个基本的假设，一个是函数f要是连续可导，一个是系统要满足Lipschit

总所周知，样本效率低下是强化学习的一个重要问题，本文试图从本质上分析造成这一问题的原因本文仅限于model-free方法，不定期更新因为想申请CSDN博客认证需要一定的粉丝量，而我写了五年博客才700多粉丝

最近组里在讨论接下来在强化学习这块的研究方向，在讨论之前，我们把强化学习各个子方向的论文都粗略过了一下，涉及到model-free/model-based/multi-agent/deepexploration

/p/89058164github：https://github.com/PaddlePaddle/PARL/blob/develop/papers/archive.md整体介绍这篇文章主要介绍经典的model-free

开始正文之前，首先要弄清楚两个概念：Model-free和Model-based。

论文地址，点这里有关TRPO的论文解读，可参考我的另一篇论文笔记之TRPOPPO作为目前比较火热的model-free类强化学习算

本文集中在DRL的model-free方法的Value-based和Policy-base方法，详细介绍下RL

前面几章已经讲了model-based(如：动态规划)和model-free(蒙特卡洛、时序差分)方法。这两种方法的区别在于计算价值函数的时候是否已知模型（这里指状态转移概率）。

0如何定义无模型和有模型Model-based和Model-free方法对比Model-based：一旦model学好后，就是采用On-Policy的算法；一旦model学好后，就不需要与真实环境有过多地互动

Model-Free：环境对输入的响应就是一个映射，withoutmodel，如常见的深度强化学习DQN/A3C/PPO等；Model-Based：环境对输入的响应是统计概率分布P(s_new|s,a)

,at]P:probability状态转移概率p[st+1,rt|st,at]强化学习是一系列决策的过程,通过当前的环境状态和收到的奖励来决定下一次执行的动作Model-based:P函数和R函数已知Model-free

DQN属于model-free、value-based、off-policy的方法。

目录摘要关键词1引言2概念和术语2.1深度学习2.2强化学习2.2.1强化学习算法原理2.2.2强化学习算法分类1.无模型（model-free）算法和基于模型（model-based）的算法2.基于价值

强化学习经典model-free方法总结1.基于值函数(value-based)的方法1.1sarsa1.2Q-learning1.3DQN1.4DoubleDQN1.5DuelingDQN1.6QR-DQN1.7Rainbow2

文章目录前言背景MethodRL方法输入模块关系模块输出模块实验BOX-WORLDResults前言这是一个使用结构化特征上关系推理的机制帮助model-free的深度强化学习的方法，提高了表现、学习有效性

Markov2.1Markov奖励过程和Markov决策过程2.2预测与控制2.3策略迭代和价值迭代2.3.1策略迭代2.3.2价值迭代三、表格型方法3.1如何求Vπ(s)V_\pi(s)Vπ(s)(model−free)(model-free

End-to-EndModel-FreeReinforcementLearningforUrbanDrivingusingImplicitAfforda思维导图摘要1引言2相关工作2.1用RL实现端对端无人驾驶2.2辅助任务和学习能力3Carla的挑战4.方法4.1RL设置Rainbow-IQNApe-X4.2奖励设计（rewardshaping）4.3网络结构5在复杂的自动驾驶任务中应用RL的挑

时序差分学习可以直接从与环境互动的经验中学习策略，无需构建关于环境动态特性的模型，也就是常说的model-free方法。像上文的动态规划方法就需要已知环境的动态特性，属于model-b

参考：周博磊老师的教程ReinforcementLearningCoursebyDavidSilverRichardS.Sutton《ReinforceLearning》第5章、第6章强化学习（四）用蒙特卡罗法（MC）求解强化学习（五）用时序差分法（TD）求解之前我们探讨了：使用DP方法解环境MDP已知（model-based）情况下的prediction和control问题：强化学习笔记（3）—

Model-free:不需要知道状态之间的转移概率（transitionprobability），仅仅依赖agent和environment进行实时的交互。并不一定使用当前策略产生的样本。

Policy-based和Value-based是RL中Model-free的两大分支，关于value-based的课程笔记，点这里(个人认为将李宏毅教授的强化学习笔记结合Sutton强化学习书籍一起学习会更好

Lecture4:Model-FreePrediction无模型预测https://www.davidsilver.uk/wp-content/uploads/2020/03/MC-TD.pdfIntroduction上节课中我们讲了动态规划方法，DP既可用于预测（使用固定的policy，只更新值函数），又可用于控制（值函数和policy都更新）。但DP是需要知道转移矩阵P和奖励函数R的，这两者组