深度强化学习CS285-Lec18 Meta-Learning in RL

概述

Meta-Learning为元学习，也称为Learning to learn，其目的是希望能从过去的任务经验中习得学习技巧，然后将学习技巧放在新任务上实现快速学习。
所以Meta-Learning的数据集设置，与standrad RL、标准的监督学习都不同。

Meta-Learning的一些定位：

1. Transfer Learning的第三种方法，从Multi-Task中学习一些东西，然后Transfer到New Task
2. 主要从Multi-Task中提炼知识，因此其数据集的设定非常特殊
3. 对于New Task而言，只需要少量样本数据就能快速学习

本文介绍Meta-Learning从CV开始再到RL，在此之前先说清楚问题定义、Meta的来源。

一、问题定义

先记住几个符号：

1. $\varphi$为任务模型的参数，$\theta$为Meta模型的参数
2. $D$为训练数据

1.1 监督学习

$D=\{(x_1,y_1),\cdots ,(x_k,y_k)\}$，$x$为image，$y$为label

新任务目标为：
$$\begin{array}{rl}\underset{\varphi }{\mathrm{argmax}}logp(\varphi |D)& =\underset{\varphi }{\mathrm{argmax}}log\frac{p(D,\varphi )}{p(D)}\\ & =\underset{\varphi }{\mathrm{argmax}}logp(\varphi )p(D|\varphi )\\ & =\underset{\varphi }{\mathrm{argmax}}logp(\varphi )+logp(D|\varphi )\\ & =\underset{\varphi }{\mathrm{argmax}}\sum _{i}logp(y_i|x_i,\varphi )+logp(\varphi )\end{array}$$

总结：监督学习是，在一个任务的数据集D上，最大化MAP学习模型参数$\varphi$（点估计，后续会引入Bayes）

1.2 元学习

$D_{meta-train}=\{D_1,...,D_n\},D_i=\{(x_1^i,y_1^i),\cdots ,(x_k^i,y_k^i)\}$
$D_{new-task}=\{(x_1,y_1),\cdots ,(x_k,y_k)\}$

加入多任务后的新任务目标为：
$$\begin{array}{rl}& \underset{\varphi }{\mathrm{argmax}}logp(\varphi |D_{new-task},D_{meta-train})\\ & =\underset{\varphi }{\mathrm{argmax}}log\int p(\varphi |D_{new-task},\theta )p(\theta |D_{meta-train})d\theta \\ & \approx \underset{\varphi }{\mathrm{argmax}}logp(\varphi |D_{new-task},{\theta }^{\ast })+logp({\theta }^{\ast }|D_{meta-train})\\ & =\underset{\varphi }{\mathrm{argmax}}p(\varphi |D_{new-task},{\theta }^{\ast })\end{array}$$

解释一下：
1. 目标为结合多任务的训练集$D_{meta-train}$来学习新任务$D_{new-task}$的模型参数 $\varphi$
2. 目标近似分解成两部分：从多任务中Meta-Learning的元模型参数${\theta }^{\ast }$，在元参数${\theta }^{\ast }$的条件下最大化新任务$D_{new-task}$的MAP目标

因此称${\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}logp(\theta |D_{meta-train})$为Meta-Learning Problem
而${\varphi }^{\ast }=\underset{\varphi }{\mathrm{argmax}}logp(\varphi |D_{new-task},{\theta }^{\ast })$为Adaptation Problem

1.3 Meta-Learning的数据集设定与学习方式

1.3.1 元学习的数据集是怎样的？

为了更好评价元模型参数，我们得对数据集设定清楚：
n个任务的$D_{meta-train}=\{(D_1^{tr},D_1^{ts}),...,(D_n^{tr},D_n^{ts})\}$，每一个任务$D_i$都分为训练集$D_i^{tr}$与测试集$D_i^{ts}$有，其中训练集有$k$个样本，测试集有$l$个样本，具体而言：
$$\begin{gathered} D_i^{tr}=\{(x_1^i,y_1^i),\cdots ,(x_k^i,y_k^i)\} \\ {D}_i^{ts}=\{(x_1^i,y_1^i),\cdots ,(x_l^i,y_l^i)\} \end{gathered}$$

于是每一个任务，现在简记为${\mathrm{T}}_i=\{D_i^{tr},D_i^{ts}\}$，或者$D_i$，如下所示：

1.3.2 Meta-Learning的学习方式

为了评价$\theta$，必须得通过$\varphi$，记住，在Meta-Train这一步我们只想要${\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}logp(\theta |D_{meta-train})$，但是却没有关于$\theta$的明确标签，因为一个样本$(x,y)$的问题模型参数$\varphi$是由任务设定的，而$\theta$是多任务的知识提取，因此需要用到多任务中的具体任务标签来进行评价，即通过$\varphi$来调整$\theta$。
总结一句：多任务共有的元学习参数$\theta$得通过第i个任务中设定的模型参数${\varphi }_i$进行评价并进行调整，因为只有每一个任务的label，而没有多任务的label

在用公式表述前，记$D_{tr}=\{D_1^{tr},...,D_n^{tr}\},D_{ts}=\{D_1^{ts},...,D_n^{ts}\},D_{meta-train}=\{D^{tr},D^{ts}\}$（在训练$\theta$的时候，不需要使用到$D_{new-task}$)

Meta-Learning的General Form：
$$\begin{gathered} {\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}logp(\theta |D^{tr},D^{ts}) \\ {\varphi }^{\ast }=\underset{\varphi }{\mathrm{argmax}}logp(\varphi |D^{tr},{\theta }^{\ast }) \end{gathered}$$

目标是学习一个多任务共有的$\theta$使得单一任务上的$\varphi =f_{\theta }(D_i^{tr})$，与测试集$D^{ts}$差不多，所以最重要的是下面的这个形式！一定要理解透！

$$\begin{gathered} {\theta }^{\ast }=\underset{\theta }{\max }\sum _{i=1}^{n}logp({\varphi }_i|D_i^{ts}) \\ {\varphi }_i=f_{\theta }(D_i^{tr}) \end{gathered}$$

解释一下：

1. 将第$i$个任务的训练集$D_i^{tr}$输入元模型$f_{\theta }$，得到第$i$个任务的问题模型参数${\varphi }_i$，然后根据测试集$D_i^{ts}$在第$i$个任务上进行指标验证即$p({\varphi }_i|D_i^{ts})$
2. 要学习的参数$\theta$，应该要使n个任务的似然指标${\sum }_{i=1}^{n}logp({\varphi }_i|D_i^{ts})={\sum }_{i=1}^{n}logp(D_i^{ts}|{\varphi }_i)+logp({\varphi }_i)$最大
3. 多任务共有的$\theta$，通过单一任务$D_i^{tr}$得到specified 任务的模型参数${\varphi }_i$，目的是找到这个$\theta$使得到多任务的距离最短

对比一下，Meta-Learning与Multi-Task Learning中一种去学习多任务共同模型参数的方法相似：

1. 当$f_{\theta }(D_i^{tr})=\theta$即n个任务用一个模型参数$\theta$去学，使n个任务评价最好，为multi-task Learning；
2. 当$f_{\theta }(D_i^{tr})={\varphi }_i$即n个任务，每一个任务的模型参数${\varphi }_i$都不同，学习一个$\theta$到${\varphi }_i$的映射使得，n个任务的评价最好
3. 所以Multi-task的这种方法是Meta-Learning的一个Special Case

1.4 Meta-Learning的一些理解

1. 一个网络的权重参数为$\varphi$，一个网络的超参数(batch、learning rate等)为$\theta$
2. 一个网络的权重参数为$\varphi$，一个网络的结构为$\theta$

二、Meta-RL

2.1 问题描述：

• Standrad RL:学习一个policy即${\pi }_{\theta }$
  $${\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}{E}_{{\pi }_{\theta }(\tau )}[r(\tau )]=f_{RL}(MDP)=f_{RL}(M)$$

• Meta-RL:学习一个Adaptation Rule即$f_{\theta }$
  $$\begin{gathered} {\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}{E}_{{\pi }_{{\varphi }_i}(\tau )}[r(\tau )] \\ {\varphi }_i=f_{\theta }(MD{P}_i)=f_{\theta }(M_i) \end{gathered}$$

RL中一个task为一个$MDP=\{S,A,P,r\}$，因此有$(M_{train}=\{M_1,M_2,...,M_n\},M_{test})$，如下：

于是Meta-RL有两个值得记住的循环：

• Meta-Training Outer Loop:
  $${\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}{E}_{{\pi }_{{\varphi }_i}(\tau )}[r(\tau )]$$
• Adaptation Inner Loop
  $${\varphi }_i=f_{\theta }(M_i)$$

解释一下：

• Adaptation Rule就是指$f_{\theta }$，利用来自$M_i$的轨迹$\tau$来Adapt出$M_i$的policy parameters，可以Adapt几步
• 然后利用n个任务的轨迹各自Adapt出来了Policy以后即${\pi }_{{\varphi }_i}(\tau )$，根据$L$（如最大expected reward）再对$f_{\theta }$进行调整

Meta-RL的General Form:

1. 从n个任务中Sample一个任务$i$，收集该任务的真实轨迹$D_i$（可以是专家数据，也可以是该任务的真实数据）
2. 利用$D_i$来对$\theta$进行Adapt获得任务$i$的策略参数${\varphi }_i=f_{\theta }(D_i)$
3. 利用Adapted Policy即${\pi }_{{\varphi }_i}$来当前Adapted的轨迹$D_i^{\prime }$
4. 根据$D_i^{\prime }$与${\varphi }_i$来更新参数$\theta$，即$\theta =L(D_i^{\prime },{\varphi }_i)$

因此下面围绕怎么选择Adaptation Rule即函数$f$与损失函数$L$来对算法类别进行划分：

2.2 Recurrence ($f$为RNN，$L$为PG——Policy Gradient)

具体而言，Adaptation Model即元学习的模型参数为$\theta$，用RNN模型来建模，然后用任务$i$真实数据expert demons Adapt出策略的参数${\varphi }_i$，再根据Adapted Policy在任务中的表现来调整$\theta$。


具体模型的输入，图上已经很清楚了，值得注意的是：

1. 同一任务的不同Episode之间的信息都通过一个hidden state传递的
2. 不同任务之间同使用一个RNN进行任务信息的存储
3. 评价的指标是调整$\theta$，使得多个任务在用专家数据Adapted出来的Policy的累积Reward最大，即${\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}{E}_{{\pi }_{{\varphi }_i}(\tau )}[r(\tau )]$

要注意的是，从始至终我们要调整的都是RNN中的参数$\theta$，而没有变动过关于问题的模型$\varphi$，只是利用它作为一个中间的桥梁对Meta Parameters即$\theta$进行更新。

具体算法流程：

还是得说明一下：

1. 对于一个task $i$，一开始$D_i$中就放着任务$i$真实数据，进行Adapt，可以进行几次，得一个Adapted Policy ${\pi }_{h_t}$，即Adaptation Inner Loop
2. 然后通过计算Adapted Policy即${\pi }_h$与专家数据$D_i$之间的loss来调整$\theta$，即Meta-Training Outer Loop

2.3 Optimization-Based（$f$为PG，$L$为PG）

顾名思义，选择RL的基本算法PG来做Adaptation，即$f$，但好像有点模糊？

再次回顾一下Standard RL：
$$\begin{gathered} {\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}\underset{J(\theta )}{E_{{\pi }_{\theta }(\tau )}[r(\tau )]} \\ PG:{\theta }^{k+1}={\theta }^k+\alpha {\nabla }_{{\theta }^k}J({\theta }^k) \end{gathered}$$

于是有
$$\begin{array}{rl}{\varphi }_i& =f_{\theta }(M_i)\\ & =\theta +\alpha {\nabla }_{\theta }{J}_i(\theta )\\ & =\theta +\alpha {\nabla }_{\theta }{E}_{{\pi }_{\theta }({\tau }_i)}[r({\tau }_i)]\end{array}$$

这是选择了$f$为PG，即Adaptation后的参数${\varphi }_i$，然后有：
$$\theta \leftarrow \theta +\alpha {\nabla }_{\theta }{E}_{{\pi }_{{\varphi }_i}(\tau )}[r(\tau )]$$

$${\varphi }_i\leftarrow \theta +\alpha {\nabla }_{\theta }{E}_{{\pi }_{\theta }({\tau }_i)}[r({\tau }_i)]$$

因此最终形式为：
$$\theta \leftarrow \theta +\alpha {\nabla }_{\theta }{J}_i(\theta +\alpha {\nabla }_{\theta }{J}_i(\theta ))$$

一个著名的图：

具体算法流程：

Adaptation Inner Loop:

1. 先用任务$i$的真实数据$D_i$进行Adapt，得到Adapted parameters ${\varphi }_i=\theta -\alpha {\nabla }_{\theta }{L}_i({\pi }_{\theta },D_i)$
2. 然后利用Adapted的Policy即${\pi }_{\varphi }$来收集Adapted的轨迹数据$D_i^{\prime }$

Meta-Training Outer Loop:

1. 利用Adapted Policy得到的轨迹$D_i^{\prime }$与${\pi }_{{\varphi }_i}$根据PG来计算$\theta$

值得注意的是这里的$D_i$与$D_i^{\prime }$就是用来估计下面的期望的：
$$D_i^{\prime }:\theta \leftarrow \theta +\alpha {\nabla }_{\theta }{E}_{{\pi }_{{\varphi }_i}(\tau )}[r(\tau )]$$

$$D_i:{\varphi }_i\leftarrow \theta +\alpha {\nabla }_{\theta }{E}_{{\pi }_{\theta }({\tau }_i)}[r({\tau }_i)]$$

这就是鼎鼎大名的MAML，因为这里涉及到二阶导，因此有一些文章来改进这个，如：

• Foerster, Farquhar, Al-Shedivat, Rocktaschel, Xing, Whiteson. DiCE: The Infinitely Differentiable Monte Carlo Estimator.
• Rothfuss, Lee, Clavera, Asfour, Abbeel. ProMP: Proximal Meta-Policy Search.

这里有一个问题哦：
$D_i$与$D_i^{\prime }$的关系是什么？
$D_i^{\prime }$是Adapted Policy与$M_i$环境交互得到的轨迹数据，进行PG更新这个很好理解。
$D_i$是任务$i$真实数据，那是专家数据还是任务$i$随机的真实数据？一开始随机的真实数据Adapt也能学习？好像有点奇怪呀，那看看下面的Meta-Imitation Learning吧～

2.4 Meta-Imitation Learning

2.4.1 $f$为Behavior Cloning，$L$为PG

这里的$D_i$就是利用真实的专家数据进行Adapt了，于是有：
$$D_i^{\prime }:\theta \leftarrow \theta +\alpha {\nabla }_{\theta }{E}_{{\pi }_{{\varphi }_i}(\tau )}[r(\tau )]$$

$$D_i:{\varphi }_i\leftarrow \theta -\alpha {\nabla }_{\theta }\sum _t||{\pi }_{\theta }(o_t)-a_t^{\ast }|{|}^2$$

Meta-Training的时候，由专家控制遥控器得到robot demos，即一个专家数据$\tau =(o_1,a_1,r_1,....,o_T,a_T,r_T)$，可以看作$D_i$

然后Meta-Training的时候，根据上面两个公式迭代，得到参数$\theta$.

然后Meta-Test的时候，给定一条新的专家示意的数据${\tau }_{new}$，即$D_i$，首先：

1. Adaptation ：$$D_i:{\varphi }_i\leftarrow \theta -\alpha {\nabla }_{\theta }\sum _t||{\pi }_{\theta }(o_t)-a_t^{\ast }|{|}^2$$
2. 直接用Adapted的Policy即${\pi }_{{\varphi }_i}$作为最终控制robot的控制器～

2.4.2 $f$为Learned loss，$L$为PG

这里将Adaptation Rule设定为Learned loss，因为在Behavior Cloning中搜集数据的方式是人为用遥控器控制的，于是轨迹样本robot demos是$\tau =(o_1,a_1,r_1,....,o_T,a_T,r_T)$。而在现在这个设定下，希望输入一个human demos而不是robot demos，然后robot就学会这个动作，而不是输入一个用遥控器控制的robot demos，具体区别如下：

于是在Meta-Training的时候，要将human demos与robot demos配对起来，即拍一个人操作的video与操纵遥控器的轨迹序列配对起来，训练Learned Cost，即：
$$\varphi =\theta -\alpha {\nabla }_{\theta }{L}_{\psi }(\theta ,d^h)$$

2.5 Meta-MBRL($f$为SL with model，$L$为MPC)

关于Model-Based RL的算法概览可以参考Model-Based RL算法，主要分为Optimal Control进行Planning，不学习Policy的MBRL，学Policy的MBRL，此处简要回顾一下Without Policy的MBRL1.5

回顾一下：

1. 随意跑一个base Polcy收集Transition 数据
2. 然后通过Supervised Learning学习dynamics model，输入为$s,a$，label为$s^{\prime }$
3. 用一些planning算法如iLQR、MCTS来plan一下轨迹
4. 执行plan的轨迹一些action，引入MPC使预测的轨迹稳定
5. 将执行后获得的transition样本收集进行retrain

于是这里Adaptation Rule的应用对象$M_i$为dynamics model的参数${\varphi }_i$，然后根据Dynamics Model使用MPC算法来调整Meta-Parameters即$\theta$。

为什么需要对Dynamics Model进行Adapt？
因为环境模型很容易就发生变化：

1. 真实Agent电量不足，降低功率
2. 平坦地面上训练的Agent，放到陡峭的地面上
3. 使用过程中，Agent自身损耗，导致dynamics model发生变化等等

那high-level的流程是如何的呢？
原来的是这样的，学好一个model后，利用Controller进行plan。

现在引入了一个Update rule，需要Meta-Training的时候训练好，然后输入recent的几个transition$(s,a,s^{\prime })$即图中的recent，Adapted出一个Model，再进行MPC算法

具体公式流程阐述如下：
此处用$d_{\theta }(s,a)=f_{\theta }(s,a)$代表了一下，毕竟dynamics model

由公式可以看出，$f$为Supervised Learning的意思为MSE loss即$J(\theta )=||d_{\theta }(s,a)-s^{\prime }|{|}^2$，$L$为MPC的意思为第三步。
上面为Meta-Test的过程，以下为Meta-Training来训练$d_{\theta }(s,a)$的过程：

1. 记得第一小节的定义：
   $$D_{tr}=\{D_1^{tr},...,D_n^{tr}\},D_{ts}=\{D_1^{ts},...,D_n^{ts}\},D_{meta-train}=\{D^{tr},D^{ts}\}$$

   $$\begin{gathered} D_i^{tr}=\{(x_1^i,y_1^i),\cdots ,(x_k^i,y_k^i)\} \\ {D}_i^{ts}=\{(x_1^i,y_1^i),\cdots ,(x_l^i,y_l^i)\} \end{gathered}$$

2. Model的训练样本即transition为$(s,a,s^{\prime })$，因此套上去为$x=(s,a),y=(s^{\prime })$

3. 从很多种不同的Dynamic中收集的Experience中进行Sample一条第I种类型Dynamics的Trajectory记为${\tau }_i$（多条也ok）如下：
   $${\tau }_i=(s_t,a_t,s_{t+1},a_{t+1},...,s_{t+k},a_{t+k},s_{t+k+1})$$

4. 从$\tau$中获取 $D_i^{tr},D_i^{ts}$，如：
   $$\begin{gathered} D_i^{tr}=\{(s_t,a_t,s_{t+1}),...,(s_{t+k-1},a_{t+k-1},s_{t+k})\} \\ {D}_i^{ts}=\{s_{t+k},a_{t+k},s_{t+k+1}\} \end{gathered}$$
   这里选择了k个训练transitions，$l=1$的测试样本，选多少自己决定。

2.6 Inference-Based ($f$为Stochastic Encoder，$L$为SAC)

在详细解释$f_{\theta }$选择为Stochastic Encoder与$L$选择为SAC的情况时，先小总结一下Meta-RL，再说说POMDP以及SAC。

2.6.1 Meta-RL

再啰嗦一下Meta-RL的特性：步骤分为Meta-Training与Adaptation，即
$$\begin{gathered} {\theta }^{\ast }=\underset{\theta }{\max }\sum _{i=1}^{n}logp({\varphi }_i|D_i^{ts}) \\ {\varphi }_i=f_{\theta }(D_i^{tr}) \end{gathered}$$

关键的一步是用$D_i^{tr}$对元模模型参数$\theta$进行Adaptation，但是没有办法evaluate，因此需要放到细分任务中用测试数据$D_i^{ts}$评价，从而调整Meta-Parameters.
因此元学习中的参数$\theta$，尝试从多任务的经验数据中提取出共同的学习技巧或Knowledge，而每一个细分任务之间最大的不同是dynamics与reward，或者说在设计多任务的时候，一般都在同一环境中保持$s_t,a_t$的空间相同，然后改变$p(s^{\prime }|s,a),r$，因此Meta-RL的概率图可以简单描述如下：

1. 当前实际环境的dynamics模型$p(s^{\prime }|s,a)$与奖励$r_t$，都conditon on task的信息
2. 收集真实环境的一些数据$D_i$，输入$f_{\theta }$，得到task-specific的参数${\varphi }_i$
3. 然后在${\varphi }_i$设定的任务框架下收集数据$D_i^{\prime }$，Meta-test通过$L({\varphi }_i,D_i^{\prime })$将模型参数${\varphi }_i$调优，而Meta-Training时则把$\theta$调优

2.6.2 POMDP

在Model-based RL中的Complex Observations中提过引入Latent Space的模型目标为：
$$\underset{\varphi }{\max }\frac{1}{N}\sum _{i=1}^N\sum _{t=1}^T{E}_{(s_t,s_{t+1})\sim p(s_t,s_{t+1}|o_{1:T},a_{1:T})}[log{p}_{\varphi }(s_{t+1}^i|s_t^i,a_t^i)+log{p}_{\varphi }(o_t^i|s_t^i)]$$
然后处理Encoder的时候假设了最简单的情形：

1. 独立性假设$$p(s_t,s_{t+1}|o_{1:T},a_{1:T})=p(s_t|o_{1:T},a_{1:T})p(s_{t+1}|o_{1:T},a_{1:T})$$
2. 学习一个$q_{\psi }(s_t|o_{1:T},a_{1:T})$来近似这个分布$p(s_t|o_{1:T},a_{1:T})$
3. 假设$s_t$只condition on $o_t$，即$q_{\psi }(s_t|o_t)$
4. $q_{\psi }(s_t|o_t)$是deterministic encoder，即等价于让$s_t=g_{\psi }(o_t)$

于是优化目标变为：
$$\underset{\varphi ,\psi }{\max }\frac{1}{N}\sum _{i=1}^N\sum _{t=1}^T\left[log{p}_{\varphi }\right(g_{\psi }(o_t^i)|g_{\psi }(o_t^i),a_t^i)+log{p}_{\varphi }(o_t^i|g_{\psi }(o_t^i))]$$

POMDP就是指的incomplete information，复杂的observation，unknow state，因此如果要使用Meta-Lerning的想法，加入任务信息，其概率图如下：

在假设中，Encoder即$q_{\psi }(s_t|o_t)$被假设成了deterministic，从而被转换成$g_{\psi }(o_t)=s_t$，而Stochastic Encoder的意思是$q_{\psi }(s_t|o_t)$是一个概率分布，一个observation可能被encode into多个可能的states。
而且还可以继续放松假设，如$q_{\psi }(s_t|o_t)\to q_{\psi }(s_t|o_{1:T})$

2.6.3 SAC

先High-Level的总结一下：

1. Soft实际的意思是指加了一个Entropy term的Objective，即$$J(\pi )=\sum _{t=0}^T{E}_{s_t\sim p(s_t),a\sim \pi (a_t|s_t)}[r(s_t,a_t)+\alpha H[\pi (•|s_t)]]$$
2. 对Actor与Critic同时建模，对policy用参数$\theta$（Actor），对Q-Value用参数$\varphi$（Critic）建模表示
   $$Critic:J_Q(\varphi )=E_{(s_t,a_t)\sim D}\left[\frac{1}{2}\right(Q_{\varphi }(s_t,a_t)-\hat{Q}(s_t,a_t){)}^2]$$

$$Actor:J_{\pi }(\theta )=E_{s_t,a_t}[Q_{\varphi }(s_t,a_t)+\alpha H[{\pi }_{\theta }(•|s_t)]]$$

然后从Replay Buffer从用Importance Sampling之类的来采样，更新AC，如下图所示：

更详细的具体算法在这篇Soft Optimality Framework中贴了一下OpenAI的算法流程图如下：

2.6.4 Inference-Based Method

Inference-Based Method就是在POMDP的语境下的第三类做法，由上图可知，把高维度的Observation Encode成hidden state $h_t$，而这个hidden state包含$(s_t,task)$，训练好后，便可由Observation推断（Inference）出state以及task information（记为$z$)。
直接抛出$f$为Stochastic Encoder，$L$为SAC的如下流程图：

Meta-Learning的两个流程：

• Meta-Training Outer Loop:
  $${\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}{E}_{{\pi }_{{\varphi }_i}(\tau )}[r(\tau )]$$
• Adaptation Inner Loop
  $${\varphi }_i=f_{\theta }(M_i)$$

1. 将多任务$M_1,...,M_n$ 通过一个Stochastic Encoder 成 一个Task Embedding Vector $z$，需要设定Task Distribution，即$p(z)$
2. 然后这个Task Distribution的Parameters，即为$\varphi$，也叫Adapted Parameters
3. 这里的$\theta$是Meta-Parameters，主要是Policy与Q-Function中的参数，即Actor-Critic中的参数

三、总结

Meta算法	$f$	$L$
Recurrence-Based	RNN	PG
Optimization-Based	PG	PG
Inference-Based	Stochastic Encoder	SAC
Meta-MBRL	SL	MPC
Meta-IL-1	Behavior Cloning	PG
Meta-IL-2	Learned Loss	PG

• Meta-RL三种类型算法的比较
  
  

后记

本来还是打算写在CV中的Meta-Learning，但发现光写Meta-RL就够呛。
主要参考资料是CS285 PPT Lec20 由Kate Rakelly讲授
还有ConfTube上的 ICML 2019 Meta-Learning Tutorial
后面还有关于Exploration与Exploitation的一篇总结性博文
以及三个Courses：

• Convex Duality in RL
• Rethinking RL from the perspective of Generalization（Chelsea Finn）
• Multi-task RL：A curse or a blessing？