量子领域的机器学习&人工智能（四）(Machine learning & artificial intelligence in the quantum domain)

原文作者：Vedran Dunjko；Hans J. Briegel
翻译者：Wendy

摘要（ Abstract）

  量子信息技术和只能学习系统都是新型的技术，它们很可能在未来对我们的社会产生变革性的影响。各个基础研究领域–量子信息（QI）与机器学习(ML)和人工智能（AI）–各自都有特定的问题和挑战，迄今为止，这些问题和挑战已被大量独立研究。然而，在最近的工作中，研究人员一直在探索这些领域在多大程度上可以真正相互学习和受益的问题。QML探索了量子计算与机器学习之间的相互作用，研究了如何将一个领域的结果和技术用于解决另一领域的问题。最近，我们见证了两个方面的重大突破。 例如，量子计算在加快机器学习问题的速度中找到了至关重要的应用，这对于“大数据”领域至关重要。相反，机器学习已经渗透到许多尖端技术中，并可能成为先进量子技术的重要工具。 除了数据分析中的量子加速或量子实验中使用的经典机器学习优化之外，理论上还证明了交互式学习任务的量子增强，突出了量子增强的学习代理的潜力。最后，探索将人工智能用于量子实验的设计以及自主进行部分真正研究的工作，报告了他们的首次成功。 除了相互增强的主题（探索ML / AI对量子物理学的作用，反之亦然）之外，研究人员还提出了学习和AI概念的量子概括的基本问题。 这涉及在量子力学充分描述的世界中学习和智力的意义的问题。 在这篇综述中，我们描述了在量子领域研究机器学习和人工智能的广泛研究中的主要思想和最新进展。

Ⅶ. 量子学习代理和量子AI的元素（QUANTUM LEARNING AGENTS, AND ELEMENTS OF QUANTUM AI）

  到目前为止，在本综述中讨论的主题几乎没有例外，涉及物理学（主要是QIP）与传统ML技术之间的关系，这些关系使我们可以更好地理解数据或生成数据的过程。在本节中，我们将超越数据分析和优化技术，解决QIP与更一般的学习场景之间，甚至QIP与AI之间的关系。如前所述，在更笼统的学习或AI讨论中，我们通常谈论的是与其环境交互的智能体。我们认为，到目前为止，任何智能代理程序最重要的方面是其从与环境的交互中学习的能力。但是，一般的智能代理在复杂且多变的环境中学习。此外，环境容易被代理自身改变，这是通过实验学习的关键。所有这些都从数据驱动的ML的更严格的设置中描绘了以RL开头的常规学习框架。

  在本节中，我们将考虑通过交互作用（特别是PS模型）进行学习的面向物理学的方法，然后重点研究RL环境中的量子增强。接下来，我们将讨论一种考虑最一般的学习场景的方法，其中对代理，环境及其相互作用进行量子力学处理：这构成了广泛的AE框架（现代AI的基础）的量子概括。我们将简要讨论QIP的其他结果，这些结果可能在QAI的未来中发挥作用，这些结果不直接涉及学习，但仍可能在QAI的未来中发挥作用。

A. 通过交互作用进行量子学习（ Quantum learning via interaction）

执行摘要：射影模拟PS的模型是第一个解决学习者规范的建议，其设计时考虑了 情节记忆 的量子处理。通过与经典环境相互作用而学习的物质的量子改进的结果大部分已在该框架内给出。PS代理通过使用其记忆有效地将自己投影到可以想到的情况中来进行思考，该记忆将其随机经历组织在一个随机网络中。这样的代理可以解决基本的RL问题，元学习并解决泛化方面的问题。审议是一个随机的扩散过程，允许一些量化途径。 使用量子随机游走，可以获得二次加速。

  与有监督和无监督问题的量子增强相比，QIP在强化和其他交互式学习问题上的应用研究相对较少。从物理的角度对学习代理提供一致观点的第一个建议是 射影仿真（缩写PS） （Briegel和De las Cuevas，2012）。我们首先提供PS模型的详细说明，并在本节末尾回顾与该主题相关的其他一些作品。PS是一种灵活的框架，用于设计受心理学和物理学启发的学习代理，并且受现代机器人技术观点的影响。我们关注此模型的主要原因之一是它提供了一种自然的量化途径，这将在当前进行讨论。然而，模型的经典特征已经揭示了潜在的物理视角，读者可能会感兴趣，并且我们将首先对其进行简要介绍。

  关于（量子）代理的PS观点是围绕一些基本原理构想的。 首先，在PS观点中，主体是相对于其环境存在的物理或更具体的体现实体，而不是数学抽象。注意，这并不禁止计算机程序成为代理：尽管代码的打印输出不是代理，但可以说，代码的执行实例，正在运行的程序具有自己定义的虚拟接口， 从虚拟世界中描绘出该程序并允许其与其他程序进行交互-从这个意义上说，该程序也得到了体现。其次，代理的接口由其传感器（收集环境输入）和执行器给定，从而使代理能够对环境起作用。第三，学习是从经验中学习，代理的接口将代理的基本经验约束为代理可以感知的感知集合S = {si} i的集合，并且行为A = {ai} i 。在这一点上，我们指出基本模型假设离散时间和感觉空间，这与实际实现是一致的，可以将其推广。第四，（良好）学习代理的行为（即，在给定特定感知的情况下选择行动）是基于其积累的经验，积累在代理的记忆中的，这种记忆是结构化的。这将我们带到PS框架的中心概念，即主体的记忆：情节记忆和成分记忆（ECM）。

  ECM是由经验单元组成的结构化网络，称为片段或情节。表示为ci的剪辑可以表示一个个单独的感知或动作，因此ci∈S∪A–实际上，PS框架中没有其他外部类型出现。但是，体验可能会更复杂（例如自传情节记忆，类似于短片剪辑，我们会记得在时间上扩展的一系列行为和感知）。这将我们带入以下递归定义：片段是片段的一种感知，一种动作或一种结构。

  结构片段的典型示例是描述所发生情况的知觉-行动（s1，a1，…，sk，ak）序列，即主体与环境之间相互作用的k长度历史。另一个示例是简单的感知集（s1或s2 …），稍后将用于概括知识。整个ECM是剪辑的网络（即标记的有向图，其中的顶点是剪辑），其中的边缘组织了业务代表的先前经历，并且具有暂时解释的功能目的。第五，学习主体必须采取行动：也就是说，必须有一个确定的审议机制，在给定当前感知的情况下，该记忆机制即记忆状态，即当前ECM网络，主体有可能决定（或“落入”） 接下来的动作并执行。最后，第六，学习代理必须学习，也就是说，ECM网络必须根据经验进行更改，并且发生这种变化的方式有两种：通过（1）改变边缘的权重，以及（2）通过 添加或删除剪辑。以上六个原则描述了PS代理背后的基本蓝图。特定代理的构造将要求我们进一步指定某些组件，我们将使用最简单的示例来举例说明：能够学习所谓的入侵游戏的强化学习PS代理。在入侵游戏中，（图12）特工面对攻击者，必须通过适当地向左或向右移动来阻止他。 这两个选项构成了代理的动作。

  攻击者出示一个符号，例如，向左或向右的箭头，以表示下一步的行动。最初，感知对于代理没有任何意义，实际上，攻击者可以及时更改其含义。用RL术语来说，这里的基本场景是一个上下文两臂匪徒问题（Langford和Zhang，2008），当代理将两种感知正确地结合到两种行动上时，代理就会得到回报。

  可以解决此问题的基本PS代理指定如下。动作空间和感知空间是两个移动和两个信号，分别是A = {-，+}（左右移动）和S = {←，→}。剪辑集只是两个集合的并集。 连接是从感知到操作的有向边，并用形成h矩阵的称为h值的hij≥1的实际值加权。商议是通过在内存空间中的随机游走来实现的，与h矩阵成比例地控制：即从感知s到动作a的转换概率为

换句话说，在马尔可夫链意义上，列式归一化h矩阵指定PS模型的随机转移矩阵。 最后，学习通过更新规则体现在h值的调整中，更新规则的最基本形式为：

其中t，t + 1表示连续的时间步长，λ表示在最后一步中收到的报酬，并且当且仅当在上一步中发生ci至cj过渡时，δcj，ci才是1。简而言之，用过的边缘会获得奖励。 当从上下文中清除时间步长t时，与连接剪辑ci，cj的边缘相关联的h值ht（ci，cj）将仅表示hij。

  可以很容易地看出，上述规则构成了一种简单的RL机制，随着时间的推移，它的确会导致入侵游戏中的制胜策略。 由于只有正确配对的过渡才能获得奖励，因此越来越频繁地采用它们。但是，这些h值在此简单过程中会发散，这也使得重新学习游戏规则（最终可能会随着时间变化而变得更加困难）。 为了解决这个问题，通常会引入一个衰减或耗散参数γ来得出规则：

耗散在每个时间步均适用。

  注意，由于耗散项将ht（cj，ci）的值减小了与这些值与1的偏差成比例的量，其中1为初始值。当没有奖励时，上述规则将导致单位值h = 1；而在奖励每一步时，将导致极限上限值1 +λ/γ。

  这将最大效率限制为1-（2 +λ/γ）-1，但是，作为代价，这导致重新学习更快。 如图13所示。

  在延迟奖励的设置中，更新规则可能会涉及更多。 例如，在如图14所示的迷宫或所谓的网格世界设置中，这是导致奖励的一系列动作。换句话说，最终奖励必须“传播”到获胜移动序列中涉及的所有相关感知动作边缘。

  在基本的PS模型中，这是通过所谓的发光机制完成的：除了在hij-value之外，还为ECM中的每个边缘分配了发光值gij。每当使用边缘时，它将设置为1，并且以速率η∈[0,1]衰减，即。 每当颁发奖励时，都会附加h值更新规则以奖励与“发光”值成比例的所有“发光”边缘：

换句话说，对最终奖励有贡献的所有优势，与最近使用它们的比例成比例。这与直觉相似，即与奖励举动有关的最新动作在获得奖励方面起着更大的作用。

  公式33中的表达式与公式21中的Q学习动作值更新规则在功能上相似。但是，学习动力是不同的，表达式在概念上是不同的-Q学习更新估计有界的Q值，而 PS不是状态值估计方法，而是纯粹的奖励驱动系统。

  PS框架也允许其他构造融合。在（Briegel和De las Cuevas，2012）中，作者还介绍了表情符号-特定于边缘的标志，它们捕捉了直觉的各个方面。这些可用于通过反射机制加快重新学习的速度，在这种机制下，可以多次重复随机行走，直到击中所需的–滞后–动作集为止，有关更多信息，请参阅（Briegel和De las Cuevas，2012）。在这个方向上，代理商的审议可以不是基于打击过程（代理商执行其首先采取的行动），而是基于混合过程。在后一种情况下，ECM是马尔可夫链的集合，并且从ECM上的静态分布中采样了正确的动作。该模型称为反射PS（rPS）模型，请参见图15。但是，所有模型的共同点是，审议过程由ECM规定的随机游走控制。

  在性能方面，对基本PS结构以及具有两层网络编码的感知和动作进行了匹配（与标准表格RL方法相匹配），并针对其他模型进行了基准分析（Melnikov等，2014； Mautner等，2015）。但是，PS文献中强调的问题与RL任务中的绩效问题在两个方向上有所不同。 首先，作者对教科书RL以外的PS模型的功能感兴趣。

  例如，在（Mautner 等人，2015）中，表明了ECM的动作组成方面允许代理在某些基准测试方案中表现更好，例如在保护MBQC免受单一噪声的情况下具有自然的应用 （Tiersch等人，2015年），以及在寻找新型量子实验的背景下的应用（Melnikov等人，2017年），在第IV.C节中进行了详细说明。此外，通过利用ECM的能力对更大的多个网络进行编码，我们还可以解决需要泛化的问题（Melnikov等，2015）–通过感知相似性推断正确的行为–还可以设计能够自主优化其自身元数据的代理参数。 例如PS模型中的γ和η。 也就是说，代理可以进行元学习（Makmal等，2016）。这些问题超出了基本的RL框架，并且PS框架足够灵活，还可以合并其他学习模型，例如 神经网络可用于执行降维（这可允许更广泛的泛化功能），甚至可直接优化ECM本身。 PS模型已与此类额外的学习机制相结合，应用于机器人技术和触觉技能学习（Hangl等，2016）。

  但是，保持基本PS动态一致（即基本上仅 基于PS网络上的随机游动）是有好处的，因为它提供了一些自然的量化途径。这是PS基础研究的第二个方向。 例如，在（Briegel和De las Cuevas，2012年）中，作者将整个经典PS审议动力学表示为Liouvillean动力学（量子密度算符的主方程）的非相干部分，其中还包括一些相干部分（哈密顿驱动 单一动力学）。这种方法不仅可以在审议时间上产生优势，而且可以扩展代理实现的内部策略的空间。

  在离散时间量子游走的框架中，开发了另一种关于PS模型量化的观点。在（Paparo等人，2014）中，作者利用了塞格迪式量子行走的范式，以提高rPS剂的二次审议时间。Szegedy（Szegedy，2004）的随机游走方法可用于为给定的跃迁矩阵P指定单一的随机游走算子UP，其频谱特性与P本身的频谱特性密切相关。我们为读者提供有关UP确切说明的原始参考资料，只是指出UP可以通过取决于P的简单电路或给P的条目提供黑盒访问而有效地构建。

  假设P对应于不可约和非周期性（保证唯一的平稳分布），并且还对应于时间可逆（意味着它满足详细的平衡条件）马尔可夫链。 令π=（πi）i是P的唯一平稳分布，而δ是P的谱隙，而|π>=Σi√πi| i>是分布π的相干编码。 那么我们有：a）UP |π>= |π>，b）P的本征态{λi}和UP的本征相θi与λi= cos（θi）相关。这一点很重要，因为光谱特性，尤其是光谱间隙δ或多或少地决定了混合时间（即获得固定分布所需的P的应用次数），使其达到O（1 /δ）。 著名的Aldous边界（Aldous，1982年）。此数量将在以后限制经典代理的复杂性。 相反，对于UP，我们具有非零本征相θ不小于〜O（1 /√δ）。 在经典情况下，逆谱特征值间隙与量子情况下本征相间隙之间的二次差是所有提速的关键。

  在（Magniez et al。，2011）中，展示了如何利用UP的上述特性来构造量子算子R（π）≈1 − 2 |π><π|，该指数算子有效地近似了平稳分布|π>反射的编码形式 。R（π）构造的基本思想是将相位估计以足够高的精度应用于UP，以检测非零相位，将全局相位强加到检测到非零相位的所有状态上，并撤消该过程。

  由于逆频谱间隙和最小本征相之间的二次关系，这可以在时间 ˜ O(1/√δ)内达到。也就是说，我们可以反映固定分布的（相干编码），而通过经典混合获得它需要经典行走算子的〜O（1 /δ）应用。 在（Paparo等人，2014）中，这用于获得rPS剂的二次加速审议时间。在rPS模型中，ECM网络具有由更新规则强制执行的特殊结构。特别是，对于每个感知s，我们都可以考虑子网ECM，该网络收集从s可以到达的所有片段。 通过构造，它包含所有动作剪辑，但也包含其他中间剪辑。通过构造，控制ECM动力学的相应马尔可夫链Ps是不可约的，非周期性的和时间可逆的。 在审议过程中，给定s，审议过程将相应的马尔可夫链Ps混合，并输出到达的片段（如果它是动作片段），否则重复该过程。

  从计算上讲，如果c∈A，否则p（c）= 0，我们将面临输出根据条件概率分布p（c）=πc/绘制的单个样本剪辑c的问题。此处ε是π中所有动作剪辑的总权重。该任务的经典计算复杂度由〜O（1 /δ）（即混合成本）与O（1 /ε）（即实际击中动作片段所需的平均时间）的乘积给出。 使用塞格迪（Szegedy）量子行走技术，在构造反射器R（π）的基础上，再采用振幅放大算法“投影”到动作空间，我们得到了〜O（1 /√δ）×O（ 1 /√ε）。 详细而言，如果我们可以在每一步有效地生成平稳分布的相干编码的一个副本，那么这是可以实现的，并且在rPS的情况下，这可以在许多情况下完成，如（Paparo等， 2014年），并进一步推广到（Dunjko和Briegel，2015a）和（Dunjko和Briegel，2015b）。

  （Paparo等，2014）中的建议是在RL 背景下可证明的量子加速的第一个示例，随后是实验演示的建议（Dunjko等，2015a）。 确定了基于连贯控制的模块化实现的可能性-向几乎未知的单元添加控制的过程。

  值得一提的是，量子游走算法和量子马尔可夫链理论的进一步发展有可能导致PS模型的量子改进。这在一定程度上反映了量子机器学习的情况，在量子机器学习中，用于量子线性代数的新算法可能导致其他有监督和无监督算法的量子加速。

  在学习场景中提高审议过程的计算速度当然很重要，但是在严格的RL范式中，这种内部处理并不重要，学习效率仅取决于实现高质量性能所需的 交互步骤数。由于rPS及其量子类似物，即所谓的量子rPS代理，在行为上是等效的（即，在给定相同的历史的情况下，它们以相同的概率执行相同的动作），因此它们的学习效率是相同的。但是，在前面各节中讨论的所有监督学习算法的情况下也是如此，其中提速是在计算复杂性的情况下。相反，如第VI.A节所述，量子CLT学习结果的确证明了样本复杂度的提高。

  尽管形式上截然不同，但使学习设置变得更加现实时，计算和样本复杂性就会变得更加紧密相关。例如，如果给定SVM的训练需要解决BQP完全问题，那么经典机器将最有可能能够运行无用的小分类实例。相反，量子计算机可以运行这种量子增强的学习器。相同的观察激发了对ML量子退火器的大部分研究，请参阅第VI.C.1节。

  在（Paparo et al。，2014）中，类似的想法在主动强化学习的背景下被更精确地形式化了，其中互动是相对于某些外部实时发生的。例如，这在环境相对于此实时变化的设置中至关重要，这在现实中总是如此。 如果商议时间相对于此更改而言较慢，则代理会感觉到一个“模糊的”，时间平均的环境，使人无法学习。 相比之下，速度更快的代理商将有时间在环境变化之前学习-这会使这两种代理商之间发生质的差异。 在下一节中，我们将展示在更严格的假设下，如何在基于刚性节拍的转弯设置中提高实际学习效率。

  如上所述，尽管RL的重要性日益提高，但 直接将量子技术应用于RL或其他交互式学习模式的作品数量却相对较少。这些结果仍然构成了非常孤立的方法，我们简述了最近的两篇论文。 在（Crawford et al。，2016）中，作者设计了基于深度Boltzmann机器的RL算法，并将其与量子退火方法相结合来训练此类机器以实现可能的加速。这项工作结合了许多有趣的想法，并且根据量子退火体系结构的最新进展可能特别相关。 在（Lamata，2017）中，作者展示了超导量子位系统中较大量子RL剂的某些构造块。

B. 强化学习的量子智能体-环境范例（Quantum agent-environment paradigm for reinforcement learning）

执行摘要：为了描述量子环境中学习代理的最终范围和极限，必须首先建立一个用于量子代理，量子环境及其相互作用的框架：一种 量子AE范式。这样的范式应该保持正确的经典极限，并保留关键的概念成分，尤其是代理与环境相互作用的历史，这在量子情况下是不平凡的。有了这样的范例，就可以探索经典智能体的量子增强的潜力，并且表明在某些假设下，量子效应可以帮助近乎普遍地提高智能体的学习效率。量子AE范式的副产品是学习环境的分类，这与从监督学习的角度进行的分类不同但是互补的。

  迄今为止，只有这篇评论的作者和其他合著者在极少的著作中提出了有关在量子环境中起作用的学习型智能体的话题，以及如何定义智能体与环境之间相互作用的更一般性的问题。 由于这些主题可能构成即将到来的量子AI领域的基本原则，因此我们可以自由地对它们进行详细介绍。

  受一般学习环境中量子增强潜力的务实问题的启发，在（Dunjko等人，2016）中，建议第一步应该是确定AE范式的量子泛化，这是RL和实现 AI的基础。在有限大小的离散空间设置中，这样做相对容易。

  a. 量子代理环境范式（Quantum agent-environment paradigm） 图6中大致说明了（抽象的）AE范式，可以理解为两方通信场景，其量子描述在QIP中得到了很好的理解。特别是，这两个参与者（这里是主体和环境）分别被建模为单一映射{Ei A} i和{Ei E} i的（无限）序列。 它们都具有专用的存储器寄存器RA和RE，以及匹配的希尔伯特空间HA和HE，并且为了能够精确指定它们的通信方式（并清晰地描述了这两个播放器），引入了通信通道的寄存器RC，并且 这是两个玩家都可以单独访问的寄存器-即，代理的映射在HA、HC上起作用，环境在HE、HC上起作用。 然后，两个玩家依次依次应用各自的映射进行互动（见图16）。

  为了进一步针对AE范式调整此完全通用的设置，将感知和动作集提升为正交向量集 {|si|s ∈ S} and {|ai|a ∈ A}。这些被称为经典状态。 通道的希尔伯特空间被这两个集合覆盖，因此HC = span {| xi | x∈S∪A}。

  这也捕获了这样的观念，即代理人/环境每次仅执行一个动作，或发出一个感知。在不失一般性的前提下，我们还可以假设代理和环境寄存器的状态空间也被感知和操作序列所覆盖。在不失一般性的前提下，将奖励状态编码在感知空间中。应该提到的是量子AE范式也包括其他的量子ML特殊案例。比如说，很多的量子增强ML算法假设可以获取量子数据库，量子记忆，这些设置都可以用图16来解释DL的一部分，由于量子数据库没有失去之前学习的单元映射，它自己不需要额外的记忆或者进行交互步骤。

  基于这一点，经典的AE范式在经典的环境下是包含代理和环境的映射的，简单点说，当处于经典状态的时候，不会产生比经典状态高的状态和两自己纠缠。

  此外，对于AE设置，我们根据代理与环境的状态是经典（C）还是量子（Q）状态下，很自然的给出了几个分类：CC、CQ 、QC、QQ。我们将会在第Ⅶ.B.1节对此分类进行回顾。学习代理的表现，超过内部处理时间，是一个关于历史交互的函数，是在给定一个代理环境的情况下，感知行动序列。任何与学习相关的真正价值指标，例如，在给定的时间步长（效率）上获得奖励的概率，或在效率高于阈值（学习速度）之前所需的步数，都是在经典情况下交互历史的函数 ，可以通过对寄存器HC的经典基础测量来简单地读取历史记录，因为通信寄存器的本地状态在此基础上是对角线的，并且不会与其他系统纠缠-这意味着测量确实 不打扰，即与互动交流。在量子情况下，通常情况并非如此。为了恢复可靠的历史记录概念（需要对学习进行度量），使用了更详细的测量描述，该描述还捕获了较弱的测量：附加系统 ，添加了一个测试器，该测试器可互换地耦合到HC寄存器，并且可以将全部或部分信息复制到单独的寄存器中。正式地，这是一系列相对于经典基础的受控图，由HC上的状态控制并作用于单独的寄存器上，如图16所示。当将这些图概括化时，测试人员可以复制全部信息。 受控非门-在这种情况下，它称为经典测试仪-甚至什么都不做，在这种情况下，交互作用未经测试。测试人员只能使用针对经典基础进行控制的映射，这可以确保经典互动永远不会因其存在而受到干扰。有了这个基本框架，作者展示了几个基本定理，它们描述了何时可以完全预期与学习相关的品质因数中的任何量子分离。这里的量子分离的概念与口头计算或量子PAC理论中的概念相同：分离意味着没有经典的代理可以达到相同的性能。作者证明了基本的期望定理：量子改进（分离）需要真正的量子相互作用，而且，完全经典的测试禁止这样做。 此外，他们表明，对于任何经典环境的规范，都存在“量子实现” –一系列映射{εi E}i 。

  b.可证明的RL量子改进 （Provable quantum improvements in RL） 但是，如果放宽了上述不执行的情况，则可以实现很多目标。作者提供了任务环境的结构（大致来说是迷宫型问题），这些环境的量子可访问实现的规范以及零星的测试器（使得交互的一部分未经测试），传统的学习代理通常被量子增强对此进行测试 。这个想法有几个步骤，我们只能简略地概括一下。 首先，所考虑的环境是确定性的并且严格地是偶发性的–这意味着在经过M个步骤后将重置任务。由于环境是确定性的，因此，是否给出奖励仅取决于操作顺序，因为交错感知是唯一指定的。由于在M步之后一切都被重置，因此块之间的环境内存（即情节）之间没有相关性。这允许指定相同环境的量子版本，该量子版本可以叠加访问，并采取一系列动作并返回相同的序列以及奖励状态–而且，可以实现为自反转。

通过访问此类对象，量子代理实际上可以进行 Grover搜索以寻找获胜序列的示例。为了将这种探索优势转化为学习优势，必须将代理和环境的集合限制为“运气良好”的对，即，相对于期望的绩效指标而言，过去更好的性能意味着将来会提高性能的对 。在这种情况下，可以通过首先使用量子访问以更快的速度二次方更快地找到第一个获胜实例，从而对相对于给定环境有利的任何学习代理进行量子增强，然后将其用于“预训练”有问题的代理。可证明的是，整个量子增强剂优于基本的经典剂。其结构如图17所示。这些结果可以推广到更广泛的环境中。 尽管这些结果构成了RL上下文中学习优值的量子改进的第一个例子，但可以使用所使用类型的“量化”环境的假设（实质上是假设代理具有的量子控制量）是 从实际的角度来看非常严格。 最低要求的问题以及可能的改进范围的问题仍未解决。

1. 基于AE的量子ML分类（ AE-based classification of quantum ML）

  AE范例通常在RL，机器人技术和更通用的AI设置中应用，而在ML社区中则较少见。尽管如此，传统的ML场景自然可以嵌入到该范例中，因为最终它基本上不受限制。例如，可以将监督学习视为与环境的交互，对于一定数量的步骤，该环境是一个有效的数据库（或生成数据的基础过程），提供训练示例。在执行了一定数量的步骤之后，环境开始提供未标记的数据点，并且代理以标签进行响应。如果我们进一步假设环境另外对代理发送的内容做出正确的标签响应，那么当数据点/感知来自训练集时，我们可以从历史记录中直接读出经验风险（训练集错误）。由于AE范式的量化自然会导致四种设置-CC，CQ，QC和QQ-取决于代理或环境还是两者都是完全量子系统，因此我们可以将量子ML中的所有结果归类为以下之一 这四个小组。这种粗粒度划分将标准ML放置在CC中，结果是使用ML控制CQ中的量子系统，在ML算法中（没有量子数据库，如退火方法的情况下）在QC中使用了量子速度，以及在其中 量子访问环境，数据库或Oracle是QQ。此分类与（Aèmeur等人，2006）中引入的分类密切相关，后者使用Lcontext目标，符号表示，其中“上下文”可能表示我们正在处理经典或量子数据和/或学习者，而“ 目标”来指定学习任务（有关更多详细信息，请参见第VA1节）。

  但是，基于QAE的分离并不完全相同：例如，经典学习任务可能需要量子访问或经典访问-这区分了ML内部处理中需要量子数据库的量子加速实例和需要进行量子数据库的量子加速实例。 不。用可操作的术语来说，这种分离是有意义的，因为必须在某个时候对数据库进行预填充，并且如果包括了数据库，我们将获得一个QC设置（就通信复杂性而言，现在这可能不够有效）。另一方面，Lcontext目标系统学在将经典ML与量子ML的量子概括中分开方面做得很好，在第五节中进行了讨论。如果需要对ML量子场进行足够粗粒度的分类，这种失配也说明了人们所遇到的困难。该领域的分类标准以及本评论中QAI的各个方面都受到了AE诱导的标准（从物理学的角度来看可能是自然的）和Lcontext目标分类（这是更客观的驱动，从 计算机科学的观点）。

B. 迈向量子人工智能（Towards quantum artificial intelligence）

执行摘要：量子计算机可以帮助我们建立（量子）人工智能吗？ 对这个问题的答案不比对首先什么是智能的深刻，很大程度上开放的问题的答案要简单。但是，至少对于非常务实的AI阅读而言，可以确定有关QAI未来可能的早期研究方向。我们已经看到，量子机器学习的增强和概括涵盖了数据分析和模式识别方面。量子强化学习展示了交互式学习可以如何进行量子增强。 常规QC可以帮助智能代理似乎擅长的各种计划，推理和类似的符号操作任务。最后，量子AE范式为整个量子代理的设计和评估提供了一个框架，该框架也由量子增强子例程构建。 这些概念性组件构成了基于行为的量子增强智能代理理论的基础。

  在ML并非如此的情况下，AI是一个充满负荷的概念。如何实现真正的AI的问题可能与关于什么是智能的更基本的问题一样困难，数百年来一直困扰着哲学家和科学家。 因此，显然不宜开始广泛讨论何时将达到量子AI以及将达到什么样的状态。尽管如此，我们可以提供一些较少争议的观察。第一个观察结果是，量子AI的整体概念可能具有多种含义。首先，它可能与智力概念的概括有关，在某种意义上，第五部分讨论了经典学习概念如何概括为包括真正的量子扩展。第二，也许是更务实的对量子AI的理解，可能会问，是否可以利用量子效应来产生更多的智能主体，而智能本身并不是广义的概念：量子增强的人工智能。在本文的其余部分中，我们将重点关注后一种阅读方法，因为对基本学习概念的量子概括本身，就如同对智能概念本身的理解一样，已经足够复杂。为了评论量子增强的AI问题，我们首先提醒读者，关于AI的概念性辩论通常有两种观点。最终的务实观点仅与相关情况下的行为有关。艾伦·图灵（Alan Turing）最好地抓住了这一点，他认为，与可以被称为“人类”的智能“原型”相似的是，如果能被识别，什么是智能也就无关紧要了（Turing，1950）。另一种观点倾向于尝试 捕捉认知架构，例如John Laird，Allen Newell和Paul Rosenbloom开发的SOAR（Laird，2012年）。认知体系结构试图识别构建智能代理所需的组件，这些组件能够执行许多任务，因此也关心如何实现智能。它们通常还 用作人类认知的模型，并且既是关于什么是认知以及如何实现认知的理论。第三种观点来自AI的从业者，他们通常认为AI将是各种方法和技术（包括学习和专门的算法）的复杂组合，但也赞同图灵测试作为确定性方法。特别是出现了对第三个观点的简单阅读，因为它使我们几乎可以等同于计算，ML和AI。 因此，所有量子机器学习算法，甚至更广泛的甚至大多数量子算法都已经构成了量子AI的进步。可以在有关该主题的一些著作中找到此类阅读的内容（Sgarbas，2007； Wichert，2014； Moret-Bonillo，2015）。 量子ML的广泛领域和相关研究的现状在上述三个方面均显示出活跃的迹象。

  在所介绍的所有方面，在ML改进方面的大量活动无疑是在填补工具箱的不足，而这些工具箱有一天可能在量子AI从业者的复杂设计中发挥作用。在此类别中，各种算法也可以发挥相关作用，这些算法可以帮助计划，修剪，通过符号操纵进行推理以及AI实践和理论遇到的其他任务。我想到了许多可能相关的量子算法。 示例包括执行贝叶斯推理的算法（Low等人，2014），用于NAND和布尔树评估的二次多项式和超多项式改进算法，这些算法对于评估两人游戏的最佳策略非常重要（Childs等人） ，2009； Zhan等，2012； Farhi等，2008）。此外，甚至可能还有其他更奇特的想法，例如 量子博弈论（Eisert等，1999）。 关于量子人工通用智能的方法，以及与量子认知体系有关的方法，虽然没有任何提案明确指出这种可能性，但PS拥有足够的灵活性和结构，可以认为这是一个很好的起点。此外，与基于非均质块构建的模型相比，该框架旨在保持同质结构，这可能会导致更直接的全局量化-已经存在于经典系统中，非均质单元组合而成的系统的性能可能会导致 难以控制的行为，这是有的理由是，量子器件可能有更多难以同步的时间。

  应该提到的是，最近有工作提供了一个广泛的框架，描述了如何精确处理复合大量子系统（Portmann等，2017）。最后，从最终的实用主义角度出发，提出的量子AE范式可以为QAI的量子广义图灵测试提供一个起点，因为图灵测试本身就适合该范式：环境是测试的管理者，而代理商 是机器试图说服环境它是智能的。尽管暂时来说，这种测试的唯一合适的裁判是经典设备-人类-可以想象，他们也可能会找到量子小工具，以更好地确定候选人的性质。但是，在这一点上，请谨慎地提醒自己和读者，上述所有注意事项仍是高度推测性的，对真正的AI的研究几乎没有破土动工。

Ⅷ.展望（OUTLOOK）

  在这篇综述中，我们一方面介绍了将量子信息和量子计算领域联系在一起，另一方面将机器学习和人工智能联系起来的各种研究领域的概述。在这个新的研究领域中，大部分工作仍然基本上是理论和概念上的，例如，几乎没有专门的实验来证明如何将量子力学用于ML和AI。然而，有许多理论建议（Dunjko等，2015a； Lamata，2017； Frisis等，2015）以及第一个实验性工作表明这些想法如何在实验室中得以实施（Neigovzen等，2009）。 ； Li等人，2015b； Cai等人，2015； Rist`e等人，2017）。同时，很明显，某些在QIP和QC中开发的量子技术可以很容易地应用于量子学习，其程度是学习代理或算法在设计时就采用了量子信息处理的元素。同样，很明显，现在有几个例子，如何将经典机器学习的技术有效地用于量子多体物理学的数据分析和实验设计中（请参阅IV.D节）。人们可能会问到QM和ML / AI之间交换概念和技术的长期影响。这种交流将对个人领域的发展产生哪些影响？这些个人活动的更广阔视野是什么，这些新活动将导致具有自己的问题和希望的新的研究领域？的确，将重点放回到本综述的主题上，我们可以突出一个概括了所提出研究的总体结论的总体问题：

量子物理学与ML和AI之间相互作用的潜力和局限性是什么？

从纯粹的理论角度来看，我们可以从与通信，计算或传感领域的类比中学习。QIP已经表明，要从实用和概念的角度理解此类信息处理学科的局限性，就必须充分考虑量子理论的范围。因此，我们应该期望学习和智力的局限也只能在这种更广泛的背景下得到完全解决。从这个意义上讲，第五节讨论的主题已经指向了丰富而复杂的理论，描述了什么是学习，甚至信息本身都是量子对象，而第七节的各方面则指向了量子学习的一般理论。表述这样的一般理论的动机可能是根本的，但也可能产生更多的务实后果。实际上，可以说量子机器学习领域和量子AI的未来领域可能构成最近出现的最重要的研究领域之一。如此大胆的主张背后的部分原因，是因为量子学习（和量子AI）的两个组成部分之间双向影响的明显潜力。 例如，ML量子增强的潜力是巨大的。在一个以几何速率生成数据并且其理解可以帮助我们应对全球问题的社会中，不能过高估计更快，更好的分析的潜力。相比之下，机器学习和人工智能技术已成为所有高科技中必不可少的工具，但它们也显示出帮助我们以新颖，更好的方式进行研究的潜力。乐观支持的一个更微妙的原因在于ML，AI和QIP之间的正反馈回路正在变得明显，而且这是这两个学科特有的。 首先，我们可以断言，QC一经实现，便会基于一般理由在未来的AI系统中发挥不可或缺的作用。这可以从对AI历史的粗略概述中得出，它揭示了计算和信息技术的质的改进导致AI任务的进展，这也是直观的。 简单来说，AI的最新技术将始终依靠最新的计算技术。 相反，机器学习和人工智能技术已成为所有高科技中必不可少的工具。

  ML，AI和QIP之间的完美匹配可能具有更深的基础。 尤其是，

ML / AI的进步可能有助于构建量子计算机的关键步骤。

近年来，越来越明显的是，学习方法可能会使给定技术之间的差异变得无法实现–除了显而易见的例子以外，例如，直接计算方法来构建人类水平的Go-Play软件已经失败， 而从根本上学习AI技术的AlphaGo（Silver等人，2016）实现了这个复杂的目标。QC实际上可能最终成为了这样一种技术，在这种技术中，由自主智能实验室实现的精妙而快速的自适应控制可能有助于缓解通往量子计算机的障碍。 但是，在IV.C和IV.D部分中讨论的前沿研究表明，ML和AI技术可以帮助我们发现新颖的物理学，这可能是成熟的量子技术所缺少的一环，从而可以提供更深层次的帮助。 因此，ML和AI可能是我们构建量子计算机所需要的。

  另一个提示是，社区中的频率越来越高，并且与ML，AI和QIP完全交织在一起，那就是：

AI / ML应用程序可能是构建量子计算机的最佳理由。

事实证明，量子计算机仅在少数（通常是晦涩的）问题上能远优于传统计算机。直到最近，吸引投资者的量子计算机的最佳应用可能是量子模拟和量子密码学（即使用QC打破加密），这可能根本不足以刺激大规模的公共投资。相反，ML和AI型任务可能被视为QC一直在等待的“杀手级应用”。但是，不仅ML和AI应用程序具有良好的动机-近年来，有人提出了ML类型的应用程序可能非常适合量子技术解决的争论。例如，ML类型的应用程序处理大规模并行处理的高维数据–量子计算机似乎对此很好。 此外，尽管大多数仿真和数字任务需要数据稳定性，这与 现代量子设备所遭受的噪声不兼容，但ML应用程序始终可以处理嘈杂的数据。这意味着只有在对噪声具有鲁棒性的情况下，这样的分析才有意义，这是ML经常不言而喻的事实：重要特征是鲁棒性。在对所需信息处理的这种较宽松的约束下，诸如量子退火方法之类的各种当今技术可能成为可能的解决方案。因此，量子ML中的两个主要影响的方向具有天然的协同效应，这进一步激发了尽管它们具有根本的区别，但仍应密切合作进行研究。自然，目前，量子ML的每个子领域都有其自己的未解决问题集，在对量子ML的未来做出任何可靠的结论之前，需要解决关键问题。在关于量子增强的主题的两个典型研究之一中，最合适的是：a）最佳古典解决方案的局限性/优势是什么？ b） 提案是否可以在任何合理的条件下在实践中实施？ 。对于讨论的大多数主题，上述两个问题仍然是广泛开放的。 例如，关于使用通用计算的量子增强，仅对少数模型进行了有益的量化，即使在理论上，它们所解决的确切问题也与实际使用的最佳方法不匹配。关于第二个方面，只有在大量假设（例如量子数据库）和某些合适的属性（数据集结构）下，才能实现最令人印象深刻的改进（除非孤立的例外）。除了在本评论的各个部分中偶尔指出的特定问题之外，我们将放弃为每个研究领域提供大量未解决的具体问题，并将感兴趣的读者推荐给更专业的评论以获取更多详细信息（Wittek，2014a ； Schuld等人，2014a； Biamonte等人，2016； Arunachalam和de Wolf，2017； Ciliberto等人，2017）。

  这使我们想到了本展望部分的最后一个主题：QC是否真的有助于 构建真正的（通用）智能。一方面，毫无疑问，量子计算机可以帮助解决人们通常在ML中遇到的大量计算问题。 就AI减少到ML任务集而言，量子计算可能会有所帮助。 但是，AI不仅仅是这些特定任务解决部分的总和。而且，（通常）人脑被作为能够产生智能行为的系统的参考。然而，并没有什么可争议的理由相信真正的量子效应在其性能中起着至关重要的作用（相反，有充分的理由可以否认量子效应的相关性）。换句话说，对于一般的AI来说，量子计算机可能不是必需的。 量子力学在多大程度上对通用人工智能有话要说，这将是今后几年研究的主题。 尽管如此，现在已经可以置疑，量子计算机和AI可以在不容忽视的程度上互相帮助。