机器学习与物理科学（五）（Machine learning and the physical sciences）

作者：Giuseppe Carleo ，Ignacio Cirac ，Kyle Cranmer ，Laurent Daudet ，Maria Schuld ，Naftali Tishby ，Leslie Vogt-Maranto ，Lenka Zdeborová
翻译：Wendy

摘要

  机器学习包含用于大量数据处理任务的广泛算法和建模工具，这些已进入近年来最科学的学科。我们以选择性的方式回顾了有关机器学习与物理科学之间的交叉领域的最新研究。这包括以物理见解为动力的机器学习（ML）的概念性发展，机器学习技术在物理学中多个领域的应用以及这两个领域之间的交叉应用。在给出了机器学习方法和原理的基本概念之后，我们描述了如何 使用统计物理学来理解机器学习中的方法的示例。然后，我们将描述 ML方法在粒子物理学和宇宙学，量子多体物理学，量子计算以及化学和材料物理学中的应用。我们还将重点介绍旨在 加速ML的新型计算体系结构的研究和开发。 在每个部分中，我们都描述了最近的成功以及特定领域的方法和挑战。

Ⅵ.化学和材料科学（ CHEMISTRY AND MATERIALS）

  机器学习方法已被应用于预测分子和固体的能量和性质，并且这种应用的受欢迎程度急剧增加。原子相互作用的量子性质使能量评估的计算量很大，因此，当需要进行许多此类计算时，ML方法尤其有用。近年来，ML在化学和材料研究中的不断扩展的应用包括 预测相关分子的结构，基于分子动力学（MD）模拟计算能表面，识别具有所需材料特性的结构以及创建机器学习的密度泛函。对于这些类型的问题，输入描述符必须以紧凑的方式解决原子环境中的差异。 当前使用ML进行原子建模的许多工作都是基于早期工作，该工作描述了具有对称函数的局部原子环境，用于输入原子智能神经网络（Behler和Parrinello，2007），使用高斯过程回归方法（Bartók）表示原子势。 等人，2010年），或使用按核电荷加权的排序的原子间距离（“库仑矩阵”）作为分子描述符（Rupp等人，2012年）。 Behler（2016）综述了合适结构表示的持续发展。Butler（2018）等人在综述中找到了关于化学系统中一般ML的讨论，包括学习结构-属性关系。 另外重点研究了由Rupp（2018）等人综述的基于数据的理论化学。 在以下各节中，我们将介绍ML在化学物理学中的最新应用示例。

A.基于原子环境的能量和力（ Energies and forces based on atomic environments）

  ML在化学和材料研究中的主要用途之一是预测一系列相关系统的相对能量，最典型的是 比较相同原子组成的不同结构。这些应用旨在确定最可能在实验中观察到的结构，或鉴定可合成为候选药物的分子。作为监督学习的示例，这些ML方法采用各种量子化学计算来标记具有相应能量（yµ）的分子表示（Xµ），以生成训练（和测试）数据集{Xµ，yµ} n µ = 1。 对于量子化学应用，NN方法通过使用 描述每个原子局部原子邻域的多体对称函数来预测各种系统的相对能量，包括组成异构体和分子的非平衡构型都取得了巨大的成功（ Behler，2016年）。该领域的许多成功都源于这种类型的分子能的原子分解，每种元素都使用独立的NN表示（Behler和Parrinello，2007）（见图6（a））。例如，ANI 1是一种深层的NN电位，已被成功训练以返回任何具有多达8个重原子（H，C，N，O）的分子的密度泛函理论（DFT）能量（Smith等人，2017）。 在这项工作中，使用正常模式采样为训练集选择了原子坐标，以包括一些振动扰动以及优化的几何形状。分子和原子系统的通用NN的另一个例子是 深潜分子动力学（DPMD）方法，该方法是专门为在从本体模拟中获得的能量进行训练后运行MD模拟而创建的（Zhang等人，2018a）。除了通过系统的总能量简单地包含非局部相互作用之外，另一种方法是从标准计算物理中使用的多体扩展中得到启发的。在这种情况下，增加层以允许原子为中心的NN之间相互作用可以改善分子能的预测（Lubbers等人，2018）。

  由于在NN输入中引入了对称函数，因此上面的示例使用了原子环境的平移和旋转不变表示。对于某些应用，例如描述分子反应和材料相变，原子表示也必须是连续且可微的。原子位置（SOAP）内核的平滑重叠 通过包括原子环境之间的相似性度量标准来满足所有这些要求（Bartók等，2013）。保留交替分子表示中的对称性的最新工作以不同的方式解决了这个问题。 为了利用``库仑矩阵’'输入的已知分子对称性，结合了键（刚性）和动态对称性以改善配置空间中训练数据的覆盖范围（Chmiela 等，2018）。这项工作还包括训练中的力量，允许在小分子耦合簇计算的水平上进行MD模拟，这在传统上是很难解决的。还可以了解分子的对称性，如确定使用连续过滤器卷积描述原子相互作用的局部环境描述符所示（Schütt等人，2018）。紧凑，独特和可区分的原子环境描述符的进一步发展必将促进ML模型在分子和材料研究中的新用途。

  但是，机器学习也已经以与常规方法更紧密集成的方式应用，以便更容易地并入现有代码中。例如，可以学习与经典力场兼容的原子电荷分配，而无需为每个感兴趣的新分子进行新的量子力学计算（Sifain等人，2018）。另外，分子种类的凝聚相模拟需要准确的分子内和分子间电势，这很难进行参数化。为此，可以将局部NN电势与物理激励的远程库仑和范德华力贡献相结合来描述更大的分子系统（Yao等人，2018） 。局部ML描述还可以与多体扩展方法成功结合，以允许将ML潜力应用于大型系统（如水团簇所示）（Nguyen等，2018）。另外，可以 将分子间的相互作用拟合到一组在单体上训练的ML模型，以创建二聚体和簇的可转移模型（Bereau等，2018）。

B.势能面和自由能面（ Potential and free energy surfaces）

  机器学习方法也被用来描述自由能表面。不同于如上所述直接学习每个分子构象的势能，另一种方法是学习系统的自由能表面作为集体变量的函数，例如全局Steinhardt阶参数或一组原子局部的二面角 。使用NN的自由能表面（FES）的紧凑ML表示，可以在计算取决于构象体集合的可观察物时改进对高维空间的采样。例如，可以对学习到的FES进行采样，以预测压力下固体氙的等温可压缩性，或预测肽的预期NMR Spinspin J偶联（Schneider等人，2017）。代表FES的小型NN也可以使用实时自适应采样生成的数据点进行迭代训练（Sidky和Whitmer，2018年）。这种有前途的方法强调了在使用ML模型本身生成新的训练数据时，使用完整配置空间的平滑表示的好处。随着使用机器学习的FES表示法的增加，确定小型NN的精度极限以及如何将这些模型用作大型网络或其他ML架构的起点将变得很重要。

  一旦在FES上确定了相关的最小值，下一个挑战就是要了解将一个系统从一个盆地转移到另一个盆地的过程。例如，开发描述构象变化的马尔可夫状态模型需要降维以将分子坐标转换为整体反应坐标空间。为此，已利用时滞自动编码器方法进行深度学习的功能来识别肽折叠示例中缓慢变化的集体变量（Wehmeyer和Noé，2018）。基于变分神经网络的方法也已被用于识别蛋白质折叠模拟过程中的重要动力学过程，并为统一坐标转换和FES表面探索提供了框架（Mardt等人，2018）。一种有前途的替代方法是使用ML直接采样构象分布。 玻尔兹曼生成器可以对集体变量空间的平衡分布进行采样，然后提供代表FES上状态分布的一组状态（Noé等人，2019）。

  此外，在我们了解理解ML模型为何表现出如此普遍成功的同时，在复杂的能源格局中寻找极小值之间关系的悠久历史也可能会有用。目前用于描述分子系统的方法和思想与相应方法之间的关系在（Ballard等，2017）中进行了综述。展望未来，物理学家开发的用于探索和量化能量分布特征的许多工具可能有助于创建新算法，以在训练过程中有效地优化模型权重。 （另请参阅第II.D.4节中的相关讨论。）跨学科研究领域有望产生对机器学习和物理领域都有用的方法。

C.材料属性（ Materials properties）

  使用基于局部环境习得的原子间电位也极大地改善了材料性能的计算。匹配实验数据通常需要从可能的配置集合中进行采样，这在使用大型仿真单元和常规方法时会付出可观的代价。最近，使用分子动力学（MD）预测了非晶硅的结构和材料特性，并且仅在小型模拟单元上通过密度泛函理论（DFT）计算训练了ML势（Deringer等人，2018）。Sosso（2018）等人综述了使用ML电势来建模材料（例如GeTe和非晶碳）的晶体和非晶区域之间的相变的相关应用。在原子和材料尺度上产生足够精确地描述相变和缺陷的相对能量的计算可控势是非常困难的，但是硅性能的最新成功表明ML方法正面临挑战（Bartók等 ，2018）。

  理想情况下，也可以将实验测量结果纳入旨在预测材料性能的数据驱动的ML方法中。但是，报告的结果往往仅限于高性能材料，而没有针对训练过程的反例。另外，嘈杂的数据加上缺少输入到ML模型所需的精确结构信息。对于有机分子晶体，通过使用对DFT计算的已知结构值进行训练的高斯过程回归框架，克服了对本地环境非常敏感的NMR化学位移预测的挑战（Paruzzo等，2018）。在训练ML模型之前，将计算值与实验结果进行匹配可以验证预测的药物晶体结构。

  其他有趣的方向包括 通过聚类识别结构相似的材料，并使用凸包构造确定在某些热力学约束下，许多预测结构中哪一个最稳定（Anelli等，2018） 。使用核PCA描述符来构造凸包的过程已被用于识别冰晶相，并被证明可以聚集成千上万个仅因质子无序或堆垛层错而不同的结构（Engelet等，2018）（见图7）。基于监督和无监督技术相结合的机器学习方法无疑有望在未来成为一个富有成果的研究领域。特别地，识别，预测或甚至建议表现出特定所需特性的材料仍然是令人兴奋的挑战。

D.密度泛函理论的电子密度（ Electron densities for density functional theory）

  在上面的许多示例中，密度泛函理论计算已用作训练数据的来源。 可以肯定的是，机器学习在创建新的密度函数中也发挥着作用。对于DFT等情况，我们不了解确切解决方案的功能形式，因此机器学习是很自然的选择。通过逼近一维势阱中电子分布的动能函数来说明这种识别密度泛函的方法的好处（Snyder等，2012）。为了在基于Kohn-Sham的标准DFT代码中使用，ML功能的导数也必须用于发现适当的基态电子分布。在没有进一步修改的情况下使用核岭回归可以导致嘈杂的导数，但是使用PCA将产生的能量投射回学习的空间可以解决此问题（Li等，2015）。一维系统已经证明了基于NN的学习交换相关潜力的方法（Nagai等人，2018）。 在这种情况下，ML方法直接利用了NN训练步骤中生成的导数。

  如图6（b）所示，通过使用ML生成与核势相对应的适当基态电子密度，也有可能完全绕开函数导数（Brockherde等，2017）。此外，这项工作表明，还可以利用电子密度作为输入来学习分子系统的能量，从而可以基于DFT能量对质子转移事件进行反应性MD模拟。有趣的是，近似的电子密度（例如来自孤立原子的密度之和）也已成功地用作预测分子能量的输入（Eickenberg等人，2018）。一种用于周期性结晶固体的相关方法是使用嵌入式原子方法的局部电子密度来训练贝叶斯ML模型以返回总系统能量（Schmidt等人，2018）。由于总能量具有广泛的性质，因此还开发了基于局部电子密度总和的可扩展NN模型，以对2D多孔石墨烯片材进行基于DFT的大型仿真（Mills等人，2019）。有了这些成功，很明显，在给定密度的情况下，机器学习提供了学习电子密度和相应系统能量的新方法。

  如今，许多基于人的方法来改善所使用的近似功能都依赖于施加物理上的约束。到目前为止，包括对基于ML的方法的这些类型的限制仅取得了部分成功。例如，要求ML功能满足一个以上的约束（例如缩放定律和大小一致性）以系统依赖的方式提高整体性能（Hollingsworth等，2018）。对于尚未获得此目标明确训练的物理学知识的ML功能和潜能，尤其对于具有构象变化的分子而言，获得准确的导数仍然是一个悬而未决的问题（Bereau等，2018; Snyder等，2012）。

E.生成数据集（Data set generation）

  对于机器学习的其他应用程序，各种方法的比较需要标准化的数据集。对于量子化学，这些包括QM9数据集中的134,000个分子（Ramakrishnan等人，2014）和由其他小分子和肽数据集的随机采样子集组成的COMP6基准数据集，每个条目均使用相同的参数进行计算优化方法（Smith等人，2018）。

  在化学和材料研究中，计算数据的生成十分昂贵，因此必须仔细考虑训练数据点的选择。 输入和输出表示形式也可以作为选择数据的标准。对大多数QM9数据集的ML预测分子能的检查表明，选择能够传达构象异构体变化的输入数据结构非常重要（Faber等人，2017）。另外，并非总是需要化学成分空间的密集采样。例如，最初的2000万个分子的ANI训练集可以替换为使用主动学习方法选择的550万个训练点，该学习方法在每个训练周期中添加了预测较差的分子示例（Smith等人，2018）。也可以使用其他采样方法来更有效地构建训练集。从主动学习方法到新分子的多个NN评估估计误差的主动学习方法（Gastegger等，2017），再到使用先前生成的模型基于MD模拟生成新的原子构型（Zhang等，2018b）。（Seung 等，1992b）提出了有趣的，基于统计物理学的对这种主动学习的理论方面的见解。

  需要在这一领域做进一步的工作来确定对鉴别候选结构最重要的原子组成和构型。虽然神经网络已经显示出可以产生准确的能量，但在许多情况下，防止过度拟合所需的数据量可能过高。对于特定任务，例如预测小分子甲醛的振动频率的非谐贡献，尽管需要更仔细地选择这些点，但高斯过程方法比NN更为准确，并且使用的点更少（Kamath等人，2018） ）。在为每种应用选择合适的ML方法时，平衡数据生成的计算成本，简化模型训练和模型评估时间仍然是重要的考虑因素。

F.展望和挑战（ Outlook and Challenges）

  展望未来，ML模型将受益于包含针对物理中其他问题开发的方法和实践。尽管已经探索了其中的一些想法，例如利用输入数据的对称性进行分子配置，但仍有许多机会可以提高模型训练的效率和正则化。一些更具前景（挑战性）的领域包括应用探索高维景观以进行参数/超参数优化的方法，以及确定如何在ML体系结构和/或放入数据格式中包括边界行为或缩放定律。 为了更直接地连接到实验数据，未来基于物理学的ML方法应该考虑计算和测量属性的不确定性和/或误差，以避免过度拟合并提高模型的可传递性。

Ⅶ.借助经典和量子硬件实现AI加速（ AI ACCELERATION WITH CLASSICAL AND QUANTUM HARDWARE）

  在某些领域中，物理学可以通过其他方法为机器学习做出贡献，而不是用于理论研究和领域特定问题的工具。新型硬件平台可以帮助建立昂贵的信息处理管道，并扩展CPU和GPU的数量限制功能。这种硬件帮助程序也称为“ AI加速器”，物理研究必须提供各种可能增强机器学习的设备。

A.超越冯·诺依曼架构（ Beyond von Neumann architectures）

  当谈到计算机时，我们通常会想到基于电路和布尔逻辑的通用数字计算机。这就是现代计算的所谓“冯·诺依曼”范式。 但是，任何物理系统都可以解释为处理信息的一种方式，即通过将实验装置的输入参数映射到测量结果即输出。这种思维方式与模拟计算的思想非常接近，而模拟计算机的数字表亲已经使模拟计算的想法实现，见（Ambs，2010； Lundberg，2005）。但是，在必须反复执行低精度计算的机器学习环境中，模拟和专用计算设备引起了新的兴趣。硬件可用于仿真完整的模型，例如神经网络启发的芯片（Ambrogio等人，2018），或者它只能外包计算的子程序，如现场可编程门阵列（FPGA）和 用于快速线性代数计算的专用集成电路（ASIC）（Jouppi等人，2017; Markidis等人，2018）。在下文中，我们将提供来自各个研究方向的精选示例，以研究来自物理实验室的硬件平台（例如光学，纳米光子学和量子计算机）如何成为新型的AI加速器。

B.光学中的神经网络（Neural networks running on light）

  用光学处理信息是一种自然而诱人的选择-至少是全硅计算机：它速度快，可以大规模并行化，并且功耗非常低。光学互连已经很普遍，可以在短距离或长距离上传送信息，但是也可以利用光干涉特性来提供更高级的处理。在机器学习的情况下，还有一个额外的好处。 光学实验室中的一些标准构件与神经网络处理信息的方式有着惊人的相似之处（Killoran等人，2018; Linet等人，2018; Shenet等人，2017），这绝非新意（Lu 等人，1989）。大型体光学实验和片上纳米光子学的一个例子是干涉仪网络。 干涉仪是由分束器和移相器组成的无源光学元件（Clements等，2016； Reck等，1994）。如果我们将光模式的振幅视为输入信号，则干涉仪会有效地对输入信号进行unit变换（请参见左图8）。 放大或衰减振幅可以理解为应用对角矩阵。因此，通过奇异值分解，被两个干涉仪夹在中间的放大器对编码为光振幅的数据进行任意矩阵乘法。添加非线性操作-通常是实验室中最难精确控制的操作-可以将设备变成标准神经网络层的仿真器（Lin等人，2018; Shen等人，2017），但是以光的速度。

  有一个有趣的问题：如果我们使用量子代替经典光该怎么办？ 例如，假设现在信息以电磁场的平方编码。正交非常类似于量子粒子的位置和动量，这两个非交换算子将光描述为量子系统。现在，我们必须将设置交换为压缩器和置换器等量子光学组件，并获得以光的量子属性编码的神经网络（Killoran等人，2018）。但是还有更多的东西：使用多层，并选择“非线性操作”作为“非高斯”分量（例如光学“ Kerr非线性”，这仍然是一项实验挑战），光学装置已成为通用 量子计算机。这样，它可以运行量子计算机可以执行的任何计算-真正的量子神经网络。量子光学神经网络还有其他变体，例如，当信息被编码为离散的而不是连续可变的光属性时（Steinbrecher 等，2018）。对这些量子设备对机器学习意味着什么的研究，例如，数据中是否存在可以更容易识别的模式，才刚刚开始。

C.显示数据中的特征（ Revealing features in data）

  人们不必在物理硬件上实现完整的机器学习模型，但可以外包单个组件。作为第二个应用程序，我们将突出显示的示例是数据预处理或特征提取。 这包括将数据映射到另一个被压缩或“炸毁”的空间，在两种情况下都揭示了其用于机器学习算法的功能。

  使用物理设备进行数据压缩或扩展的一种方法利用了许多机器学习算法的非常统计的性质。 多次光散射会产生所谓的随机嵌入所需的非常高的尺寸随机性（请参见右上图8）。简而言之，一组向量与同一随机矩阵的乘积近似保持距离（Johnson和Lindenstrauss，1984）。这可用于降维，即数据压缩，压缩感知的精神（Donoho，2006）或用于具有局部敏感哈希的有效最近邻居搜索。这也可以用于维数扩展，在大维的限制下，它近似一个定义良好的内核（Saade等人，2016）。 这样的设备可以内置于自由空间光学器件中，并具有相干激光源，商用光调制器和CMOS传感器以及选择好的散射材料（见图8 2a）。机器学习的应用范围包括用于深度神经网络的传递学习，时间序列分析-使用实现所谓的回声状态网络的反馈回路（Dong等人，2018）或更改点检测（Keriven等人，2018） 。对于大数据，这些设备在速度和功耗上都已经超过了CPU或GPU。

D.量子增强机器学习（ Quantum-enhanced machine learning）

  量子机器学习领域中有相当多的精力用于研究量子信息与智能数据挖掘的交叉领域（Biamonte等人，2017； Schuld and Petruccione，2018b），将其用于短期量子硬件的应用中。 学习任务（Perdomo-Ortiz等，2017）。这些所谓的“噪声中级量子”或“ NISQ”设备不仅希望在速度方面增强机器学习应用，而且可能会带来 受量子物理学启发的全新算法。上面我们已经提到了一个这样的例子，一个量子神经网络可以模仿经典的神经网络，但是超越了。该模型属于一类较大的变分或参数化量子机器学习算法（McClean等，2016; Mitarai等，2018）。想法是使量子算法以及由此实现量子计算操作的设备取决于可以用数据训练的参数θ。 在“训练好的设备”上的测量代表了新的输出，例如人工生成的生成模型的数据样本，或监督分类器的分类。

  内核方法（Hofmann等人，2008）启发了如何使用量子计算机来增强学习的另一种想法（参见右下图8）。通过将量子算法的参数与输入数据样本x相关联，一个有效地将x嵌入到希尔伯特空间中的向量所描述的量子态|ψ（x）>中（Havlicek等人，2018; Schuld and Killoran，2018）。一个简单的干扰例程可以测量以此方式准备的两个量子态之间的重叠。重叠是希尔伯特空间中向量的内积，在机器学习领域中，其被称为内核，即两个数据点之间的距离度量。结果，量子计算机可以计算出相当奇特的内核，这些内核在经典上是很难处理的，因此，为机器学习任务寻找有趣的量子内核是研究的活跃领域。

  除了量子内核和变分电路之外，量子机器学习还提出了许多其他使用量子硬件作为AI加速器的想法，例如，作为用于训练和推理图形模型的采样器（Adachi和Henderson，2015年； Benedetti等人，2017年），或者 用于线性代数计算（Lloyd等人，2014）。***另一个有趣的研究领域是研究量子装置如何直接分析量子实验产生的数据，而无需绕开测量值（Cong等人，2018）***。在所有这些探索中，最大的挑战是当今NISQ设备仍然存在严重的局限性，这些局限性将硬件上的数值实验简化为原理证明的演示，而众所周知，理论分析在机器学习中仍然是困难的。

E.展望和挑战（Outlook and Challenges）

  上面的示例展示了一种物理研究如何有助于机器学习的方式，即通过研究新的硬件平台来执行一些计算。标准的冯·诺依曼技术正努力跟上摩尔定律的步伐，但这为新颖的计算范例带来了许多机会。在最简单的实施例中，它们采用专用加速器设备的形式，插入标准服务器并通过自定义API进行访问。未来的研究将重点放在此类硬件功能的扩展，硬件启发式的机器学习创新，适应的编程语言以及用于在这些混合服务器上优化计算任务分配的编译器上。

Ⅷ. 结论与展望（CONCLUSIONS AND OUTLOOK）

  在回顾了机器学习在物理的不同学科中的使用或已经增强了它们的不同学科之后，许多重要研究主题变得显而易见。首先，很明显，近年来对机器学习技术的兴趣突然激增。 即使在诸如统计物理学和高能物理学等与机器学习技术有着悠久历史的领域中，也是如此。我们正在看到研究从对实验模拟模型的探索性研究转向使用真实的实验数据。我们也看到了对这些方法和情况的理解和局限性的发展，其中可以从理论上证明性能。与机器学习的潜在力量和局限性进行健康而关键的互动，包括对这些方法的突破之处以及它们显然不擅长的领域进行分析。

  众所周知，物理学家渴望非常详细地了解其方法为何有效以及何时有效。随着机器学习被整合到物理学家的工具箱中，可以合理地预期物理学家可能会阐明机器学习面临的一些非常困难的问题。具体而言，物理学家已经在促进可解释性，验证或保证结果的技术以及选择神经网络体系结构各种参数的原则方法方面做出了贡献。

  物理学可以从机器学习领域中学到很多东西的一个方向是共享代码和开发精心设计的高质量基准数据集的文化和实践。此外，物理学将很好地模拟开发关键方法的用户友好和可移植实现的实践，最好在专业软件工程师的参与下进行。

  从活动水平和对第一个成功故事的热情中得出的图景是，机器学习和物理科学之间的相互作用还处于起步阶段，我们可以预期，机器学习和物理科学之间的相互作用将产生更令人兴奋的结果。