（CQL）Conservative Q-Learning for Offline Reinforcement Learning

Abstract

\qquad 在大规模、现实世界应用中，强化学习如何有效利用庞大的、历史收集的 datasets 是一个关键挑战。$OfflineRL$ 算法旨在利用 $previously-collected$、$staticdatasetswithoutfurtherinteraction$ 学习有效的策略。然而，在实践中，$OfflineRL$ 代表了一个主要的挑战，标准的 $off-policyRL$ 算法可能由于 $dataset$ 和 $learnedpolicy$ 之间的分布差异 导致的过估计而失效，尤其是当在一个 $complex$ 、$muti-modaldatadistributions$ 上训练时。

\qquad 在本文中，我们提出了 $conservativeQ-learning(CQL)$，旨在学习一个保守的 $Q-function$，即通过该 $Q-function$ 得到的值是其真实值的下界。

\qquad 我们从理论上证明了CQL产生了一个当前策略的价值的下界，它是一个有 $theoreticalimprovementguarantees$ 的 $policylearningprocedure$（ 策略学习过程 ） 。在实践中，CQL通过一个简单的 $Q-valueregularizer$ 对标准Bellman误差目标进行了扩展，该正则化器在现有 deep q-learning 和actor-critic实现之上易于实现。在离散和连续控制领域，我们表明CQL实质上优于现有的离线RL方法，通常学习策略获得2-5倍的高最终回报，特别是在学习复杂和多模态数据分布时。

3、The Conservative Q-Learning (CQL) Framework

\qquad 我们提出了一个 $conservativeQ-learning(CQL)$ 算法，通过这个算法学习到的一个 $policy$ 的 $Q-function$ 的期望值是其真实值的下界。$Q-value$ 的下界可以防止 $OfflineRL$ 设置中常见的由于OOD动作和函数逼近错误而导致的过高估计[36,32]。我们使用 $CQL$ 泛指Q-learning方法和actor-critic方法，尽管后来也使用明确的策略。我们首先关注 $CQL$ 中的策略评估步骤，它本身可以作为一个非策略评估过程使用，或者集成到一个完整的 $OfflineRL$ 算法中，我们将在3.2节中讨论。

3.1 Conservative Off-Policy Evaluation

\qquad 我们想估计 在行为策略 ${\pi }_{\beta }(a|s)$ 下生成的数据集 $D$ 中的 $targetpolicy\pi$ 的 价值$V^{\pi }(s)$ 。因为我们注重防止对策略值的过高估计，所以我们想学习一个 保守的下界 $Q-function$，在最小化 $standardBellmanerrorobjective$ 的同时，最小化 $Q-value$。我们选择的惩罚项是，最小化在特定 $state-actionpairs$ 分布下 $Q-value$ 的期望。由于标准的 $Q-function$ 训练不查询 未观测 $state$ 的 $Q-function$，但是查询 未观测$action$的 $Q-function$。我们限制 $\mu$ 来与数据集中的 state-marginal 匹配，即 $\mu (s,a)=d^{{\pi }_{\beta }}\mu (a|s)$。这样就可以进行训练过程中 $Q-function$ 的迭代更新：

\qquad 其中 $\alpha$ 是权衡因子。

\qquad 在 $Theorem3.1$ 中，我们展示了 对于所有的 $(s,a)$ ， $Q-function$ 是 $Q^{\pi }$ 的下界：

\qquad 然而，如果只想估计 $V^{\pi }(s)$ ，我们可以大幅收紧这个下界。如果我们需要 $\pi (a|s)$ 下的 $\widehat{Q_{\pi }}$的期望是 $V^{\pi }(s)$ 的下界，我们可以通过引入一个额外的 data 分布 ${\pi }_{\beta }(a|s)$ 下的 $Q-valuemaximizationterm$ 来提升这个上界。迭代更新公式为：

\qquad 在 $Theorem3.2$ 中，我们展示了 结果 $Q-value{\hat{Q}}_{\pi }$ 不是 a point-wise lowerbound，当的时候有。直观上，公式（2）在最大化行为策略 ${\hat{\pi }}_{\beta }$下的 $Q-value$ 时，${\hat{\pi }}_{\beta }$下的动作的 $Q-values$ 更可能被过估计，因此 ${\hat{Q}}^{\pi }$ 不一定是 $Q^{\pi }$ 的 pointwise 下界。而最大化项中原则上可以利用除了 ${\hat{\pi }}_{\beta }(a|s)$ 的其他分布，我们在附录D.2中证明了结果值不能保证是其他分布的下界。

\qquad 公式（1）展示了基础的 CQL 公式，学到的 $Q-function$ 是真是 $Q-function{Q}^{\pi }$ 的下界，公式（2）展示了 $expectedQ-valueofthepolicy$ 的更 $tigher$ 的下界。通过选择比较好的 $\alpha$ 两个公式都可行，一般 $\alpha$ 设置的比较小。

3.2 Conservative Q-Learning for Offline RL

\qquad 将结果应用于一个 $completeRLalgorithm$

\qquad 提出 $offlinepolicylearning$ 的一般化方法 —— $conservativeQ-learning(CQL)$
\qquad