Global Optimization via Optimal Decision Trees

摘要

全局优化文献非常重视将棘手的优化问题简化为更易于处理的结构化优化形式。 为了实现这一目标，许多现有方法仅限于对使用可能数学原语子集的显式约束和目标进行优化。 这些在出现更一般的显式和黑盒约束的实际环境中受到限制。 利用混合整数优化 (MIO) 的显着速度改进和机器学习的最新研究，我们提出了一种使用具有超平面的最优决策树 (OCT-Hs) 来学习全局优化问题的 MIO 兼容近似的新方法。 这种约束学习方法只需要一个有界变量域，并且可以解决显式和非显式约束。 我们有效地解决了 MIO 近似，以找到全局优化问题的接近最优、接近可行的解决方案。 我们使用一系列投影梯度下降迭代进一步改进了解决方案。 我们在文献中的一些数值基准以及现实世界的设计问题上测试了该方法，证明了它在有效地寻找全局最优值方面的前景。

1 引言

全局优化旨在解决以下问题
(1)
其中 f 、 g 和 h 分别是目标函数、不等式约束和等式约束，x 是决策变量的向量。 目标函数和约束与线性或凸优化问题不同，可能符合也可能不符合任何特定的数学结构，并且变量可以是连续的或整数的。
现有的全局优化器将问题 (1) 近似为与有效优化兼容的形式。 这些优化器使用三种主要方法，即基于梯度的方法、外近似和混合整数优化 (MIO) 方法。
CONOPT 和 IPOPT 等流行的非线性求解器使用基于梯度的方法。 这些求解器使用通过有效启发式方法找到的可行解来初始化其求解过程。 然后，他们解决了一系列梯度下降迭代，通过满足 Karush-Kuhn-Tucker (KKT) 条件来确认最优性。 正如 Drud (1994) 所详述的，CONOPT 依赖于一种广义的缩减梯度算法，将约束线性化并求解一系列线性搜索梯度步骤，从而在每个步骤中保持对容差的可行性。 Wächter 和 Biegler (2006) 描述了 IPOPT 的原始双屏障方法。 它使用对数障碍函数将受约束的全局优化问题放松为无约束的优化问题，然后使用阻尼牛顿法将最优性差距缩小到所需的容差。 这些基于梯度的优化器在存在稀疏非线性约束的情况下是高效且有效的，能够在几分钟内解决 1000 个变量数量级的问题和对普通个人计算机的约束，达到局部最优。
另一种方法是外近似方法，由 Horst 等人描述。 （1989 年）。
这种方法通过线性和非线性切割来近似约束来简化全局优化问题，这些切割保留了决策变量 x 上的原始可行集。 这种方法对于具有特定数学结构的约束是有效的（例如，Duran 和 Grossmann（1986）考虑的整数变量的线性和非线性函数的凸性，或者 Bergamini 等人考虑的约束的凹性或双线性。
(2008))，其中存在数学上有效的外部逼近器。 虽然这些方法是有效的，但由于其问题的具体性质，它们发现的商业成功较少。
最后一种方法，一种自然地与整数变量优化相结合的方法，将 MIO 与外部近似耦合。 Ryoo 和 Sahinidis (1996) 提出了一种有效的方法，称为分支和归约方法，它依赖于在决策变量上递归地划分每个约束和目标的域，并通过检查它们的数学原语来限制它们在每个子域中的值。 这种递归分区创建了一个分支定界树，其解决方案具有全局保证 通过分支定界解决 MIO 问题所固有的边界和修剪过程来实现最优性。 这种方法在流行的商业全局优化器 BARON [Sahinidis (2017)] 中取得了成功。
虽然上述方法在解决某些类别的全局优化问题方面是有效的，但这些方法中的每一个都有弱点。 通常，基于梯度的方法依赖于良好的初始可行解，并且在存在整数决策变量时无效。 外部近似方法无法推广到具有一般非线性的全局优化问题。 虽然比外部近似方法更通用，但现有的 MIO 方法由于其组合性质而不能很好地扩展。
也许更重要的是，为了追求数学效率，许多全局优化器对约束的形式施加了额外的约束，要求约束使用可能的数学原语的一小部分。 例如，BARON“可以处理涉及 exp(x)、ln(x)、x α 用于实数 α 和 β x 用于实数 β 的函数”[Sahinidis (2017)]。 来自现实世界的约束并不总是遵循这些形式，并且经常涉及其他类别的函数，例如三角函数、符号和分段不连续函数。 通常不可能将这些函数转换为与现有全局优化器兼容的形式。 这些优化器在处理黑盒的目标和约束时面临更大的挑战。 黑盒约束是不明确的，这意味着它们没有分析表示，例如当约束是模拟的结果时。
在本文中，我们提出了一种使用机器学习 (ML) 将全局优化问题重新表述为 MIO 问题的新方法，利用 Bertsimas 和 Dunn (2017, 2019) 在具有超平面 (OCT-H) 的最优分类树和最优分类树上的工作 具有超平面的回归树（ORT-H）。 该方法解决了具有任意显式和非显式约束的全局优化。 所提出方法的唯一要求是存在于非线性约束中的决策变量 x 子集的有界可行域。
在我们提出的方法中，我们使用 OCT-H 来近似每个超出有效数学优化范围的约束。 更具体地说，每个非线性约束 g i (x) ≥ 0 由在数据 {(x̃ k , I(g i (x̃ k ) ≥ 0)), k ∈ [n]} 上训练的 OCT-H T i 近似，其中 x̃ k 是决策变量的结果，I 是指示函数，g i (x̃ k )是在 x̃ k 处评估的约束的左侧。 因此，树 T i 近似于约束 g i (x) ≥ 0 的可行空间，预测（有一些错误）决策变量的结果是否满足约束。 该方法还扩展到逼近每个非线性等式 h j (x) = 0，并通过 ORT-Hs 逼近非线性目标函数。
近似树允许对底层约束进行自然的 MIO 近似。 OCT-H 的每个可行叶都通过定义半空间交集的决策路径（即多面体）到达。 因此，可以使用析取约束将约束近似为近似 OCT-H 的可行多面体的并集。 我们解决了原始问题的这种高效 MIO 逼近，以获得接近可行和接近最优的解决方案，然后使用基于梯度的方法将解决方案修复为可行和局部最优。
相对于其他全局优化方法，所提出的方法具有几个优势。 它与问题中的约束形式无关； 只要我们可以查询一个样本 x̃ 对一个约束是否可行，我们就可以将约束嵌入到 MIO 近似中。 一旦使用决策树学习了约束，与解决原始全局优化问题相比，得到的 MIO 近似的求解时间很短。 所提出的方法还可用于从可能不来自任何已知函数、模拟或分布的数据生成约束。 这使我们能够同时学习复杂现象的物理学，例如但不限于社会动力学模型或偏微分方程的解，并将它们嵌入到优化问题中。
在这项工作中，我们展示了我们的全局优化方法，该方法在我们的优化器 OCT-H 中实现，用于全局优化 (OCT-HaGOn)，发音为“八边形”。 我们通过考虑具有显式非线性约束的全局优化问题来证明它的前景。 这使我们能够使用可用的基准来量化我们的方法相对于现有全局优化器的性能。 此外，我们对基准中的所有非线性约束进行了近似，而不管它们的有效优化可表示性如何。 所提出的方法扩展到混合整数凸方法，我们将有效优化的非线性约束（例如，二次、二阶圆锥、对数和指数约束）直接嵌入到 MIO 公式中，只要这些约束得到底层求解器的支持 .
1.1 机器学习在优化中的作用
优化在训练 ML 模型中的作用是众所周知和研究的。 最近的文献综述 [Gambella 等人。 （2021），孙等人。 (2020)] 调查了用于各种 ML 应用的数学优化和启发式方法的前景。
但是，我们感兴趣的是上述的反面，特别是如何将 ML 用于优化目的，特别是解决不能自然地被视为有效优化问题的问题。
使用 ML 方法来提高计算效率是有先例的。 一个突出的例子是使用 ML 来加速非线性系统的模拟，例如计算流体动力学中的那些 [Kochkov 等人。 (2021)]，分子动力学 [Gastegger 等人。 (2017)] 和量子力学 [Morawietz 和 Artrith (2021)]。 之前有一些使用 ML 来加速优化的工作，例如 使用贝叶斯优化 [Frazier (2018)] 或神经网络 [Tagliarini et al. （1991）]。 虽然这些表明 ML 驱动的优化在理论上是可行的，但所提出的方法在计算上是昂贵的，并且对于现实世界的问题是不可扩展的。 ML 在优化中的一个有趣的并行用途是解释最优解，其中 ML 用于理解由不同参数下的优化问题产生的最优策略（即决策变量的全部或子集的结果）[Bertsimas and Stellato (2021) )]。
在这项工作中，我们使用 ML 来找到全局优化问题的最佳解决方案，这些问题涉及具有任意数学原语的显式约束和不显式的黑盒函数。 为此，ML 用于两种能力范围内的约束学习。
第一个能力是加速对已知模型的优化。 当模型和/或约束已知但它们的使用被禁止时，例如 在显式但非线性和非凸约束的情况下，学习器用于创建更有效地用于优化的代理。 二是在建模方面。 当数据可用但模型和/或约束是黑匣子时，学习者充当数据的插值者，并允许将数据中的模式嵌入到优化中。
在这两种能力中使用 ML 进行优化需要近似的 ML 模型是可优化表示的。 虽然许多类型的 ML 模型可以有效地查询和准确，例如许多类型的神经网络和高斯过程，但它们不能明确地嵌入到结构化优化中。 之前的工作已经认可使用约束学习方法优化数据驱动约束的潜力。 比格斯等人。 (2017) 和 Mišić (2020) 使用树集合的预测作为优化问题的目标函数，因为树特征的子集是决策变量。 马拉尼奥等人。 （2021 年）更进一步，提出了一种更通用的数据驱动优化方法，该方法利用决策树以及其他与 MIO 兼容的 ML 模型，例如支持向量机和神经网络。
上述决策树在优化中的应用范围有限。
比格斯等人。 （2017 年）和 Mišić（2020 年）将他们的应用限制在数据驱动目标函数的优化上，其中决策树用于回归连续感兴趣的数量。 而 Maragno 等人。 （2021）对数据驱动的约束使用约束学习，我们也使用约束学习来近似难以处理的显式和非显式约束，我们有能力对潜在约束进行采样以生成数据。 因此，我们提出了一个全局优化框架，可以适应任意显式、隐式和数据驱动的约束，在回归和分类设置中利用决策树。
虽然可以使用其他与 MIO 兼容的 ML 模型进行全局优化中的约束学习，如 Maragno 等人提出的。 （2021 年），我们选择依赖 ORT-H 和 OCT-H，因为它们是可调的、准确的和可解释的 [Bertsimas and Dunn (2019)]。
在以下部分中，我们展示了一种利用最优决策树的全局优化方法在使用 ML 加速优化和建模方面取得了重大进展，使用树的自然和直观的 MIO 表示。

1.2 回顾决策树
决策树是一种流行的预测 ML 方法，它根据数据的特征对数据进行分层分区。 根据落入节点的数据的最常见标签，将有限可能标签集中的类标签分配给树的每个叶节点。
在已知数据 (x, y) 上生成决策树 T ∈ T 的优化问题如下：
()
其中cp是一个复杂性惩罚参数，它试图在测试数据的误分类误差和树的复杂性（深度和广度）之间取得平衡。
一旦经过训练，就会查询决策树以预测具有已知特征但类别未知的测试点的类别。
决策树由 Breiman 等人开创。 （1984）随着分类和回归树（CART）的出现。 但是，CART 是一种自上而下的贪婪方法来生成决策树。 每个拆分只是局部最优的，因为拆分是从根节点开始在每个新拆分的子节点上递归进行的。 Bertsimas 和 Dunn (2017) 在最优分类树 (OCT) 上的工作提高了决策树探索特征空间的能力。 OCT 利用 MIO 和局部搜索启发法来减少相对于 CART 的错误分类错误，而不会过度拟合。 此外，OCT 更易于解释，因为它们可以实现与 CART 生成的树类似的错误分类错误，但复杂性要低得多。
OCT-Hs 通过允许超平面拆分来概括 OCT，即一次拆分多个特征。 与 OCT [Bertsimas and Dunn (2019)] 相比，OCT-H 可以以更高的精度和更低的复杂度解决分类问题，并且由于非线性约束中决策变量的耦合，在优化设置中更具表现力。 因此，我们的方法专门利用 OCT-H 来近似约束。
ORT-Hs 将 OCT-Hs 扩展到回归问题，其中感兴趣的预测是连续的，即 ỹ ∈ R。ORT-H 的每个叶子都包含一个连续预测 ỹ 作为线性回归 x 在叶子的域中。
在逼近非线性目标函数时，ORT-Hs 特别有用。
我们依靠 Interpretable AI (IAI) 公司的软件以 OCT-Hs 和 ORT-Hs [Interpretable AI, LLC (2022)] 的形式构建、训练和存储问题数据。

2 贡献

在本文中，我们提出了一种全局优化方法，该方法可以推广到有界 dom(x) 上的显式和非显式约束和目标函数。 我们的具体贡献如下： 1. 为了约束学习的目的，我们引入了一组有效地采样约束的方法。 我们利用现有实验设计 (DoE) 技术的协同作用，但还设计了一种新的基于 k-最近邻 (kNN) 的采样技术，用于对显式和隐式约束的近可行点进行采样。
2.我们使用OCT-Hs和ORT-Hs学习非线性目标、不等式和等式的可行空间。
3. 我们使用决策树的析取表示对全局优化问题进行 MIO 近似，并使用 MIO 求解器解决它们。
4. 我们设计了一种投影梯度下降法来检查和修复来自 MIO 近似的接近可行和接近最优的解决方案。
5. 我们将我们的方法应用于一组基准问题和现实问题，并展示其在寻找全局最优值方面的性能。
2.1 论文结构
在第 3 节中，我们详细介绍了我们的方法，然后在第 4 节中给出了一个演示示例。在第 5 节中，我们在文献中的一些基准问题上测试了我们的方法，并将我们的结果与最先进的全局优化进行了比较 BARON、IPOPT 和 CONOPT 等工具。 在第 6 节中，我们使用我们的方法优化两个航空航天系统，其中一个无法通过现有的优化工具解决。 在第 7 节中，我们讨论了未来研究的结果和途径。 我们在第 8 节总结我们的发现和贡献。

3 方法

如前所述，我们的目标是通过基于 OCT-H 的 MIO 近似来近似解决全局优化问题，然后将解决方案修复为可行且局部最优。 作为本节的概述，我们的方法采取以下步骤
1.生成标准形式问题： 为了将全局优化问题简化为易于处理的 MIO 问题，我们首先重构（1）中的全局优化问题。 线性约束直接传递给 MIO 问题，而非线性约束在下面的步骤 2-6 中近似。 如果非线性约束中涉及的任何变量从上方和/或下方不受限制，我们会尝试计算边界以进行采样。
2. 对非线性约束进行采样和评估： 训练中使用的数据对于 ML 模型的准确性很重要。 对于非线性约束的准确 OCT-H 近似，我们使用快速启发式和 DoE 方法对 dom(x) 上的变量进行采样。 我们评估样本上的每个约束，并重新采样以找到约束边界附近的其他点以进行局部近似细化。
3. 在约束数据上训练决策树： 每个约束的可行性空间由 OCT-H 进行分类和逼近。 如果目标函数是非线性的，则通过 ORT-H 对其进行回归和逼近。
4. 生成混合整数 (MI) 近似： 从树中提取决策路径和超平面分割，并使用析取来制定非线性约束的有效 MIO 近似。
5. 求解 MIO 近似： 使用商业求解器优化生成的 MIO 问题以获得近似解。
6.检查和修复解决方案： MIO问题近似于全局优化问题，因此最优很可能是接近最优和接近可行的。 我们评估每个非线性约束的可行性，并使用自动微分计算目标和非线性约束的梯度。 在次优或不可行的情况下，我们执行许多投影梯度下降步骤来修复解决方案，使其可行且局部最优。
我们在 3.1 至 3.6 节中更详细地描述了这些步骤。 在我们的优化器 OCT-HaGOn 中实现的方法的逐步演示可以在第 4 节中找到。
3.1 问题的标准形式
我们通过分离线性和非线性约束来重构（1）中提出的全局优化问题。 线性约束直接传递到 MIO 模型中，而非线性约束被存储以进行近似。 如果约束是黑盒，它们也被假定为非线性的。 这个重组的问题如（2）所示，称为标准形式。 请注意，标准形式允许非线性不等式和等式。
(2)
3.1.1 可变外部边界
所提出的方法需要每个近似约束中的决策变量 x 的有界性，以便我们可以对 dom(x) 进行采样以进行约束评估。 当非线性约束中的任何变量 x k 缺少边界时，我们仅对线性约束提出以下优化问题。
(3)
这个问题的解决方案是满足所有线性约束以及 x i 上的边界的绝对最大范围 [x k , x k ]，对于那些 x i 有界的索引 i。 我们还可以解决上述优化问题，以收紧具有现有界限的变量的界限。 更严格的界限可以通过提高 ML 近似的质量来显着提高解决方案的质量和时间。
3.2 非线性约束的采样和评估
出于约束学习的目的，我们需要变量数据和非线性约束的相应左侧值。 自 1990 年代以来，数据质量对机器学习任务准确性的重要性已广为人知并被研究 [Cortes et al. （1995 年）]。 因此，用于约束学习的数据点的分布至关重要。
dom(x) 上的样本应该足够填充空间，以便在整个 dom(x) 上捕获每个约束的行为。 此外，我们要求约束边界附近的点足够集中，以便学习者得到充分的训练来预测接近可行点的可行性。
为了实现这两个目标，我们采用严格的抽样方法，并在 dom(x) 上为多个阶段的每个约束生成数据。 请注意，以下小节中的采样和评估步骤是按约束条件执行的。
3.2.1 边界采样我们首先对由 x k ∈ [x k , x k ], k ⊆ [n] 定义的约束的 x 超立方体的角进行采样，以捕获极值点。 我们称之为边界采样。 这是每个非线性约束中变量数量的组合； 具有 p 个有界变量的约束将需要 2 p 个样本。 在实践中，我们根据约束中变量的数量对有限的角点组合进行采样。
3.2.2. 最优拉丁超立方抽样 接下来，我们在 x 超立方体上实现最优拉丁超立方体 (OLH) 采样。 从 McKay 等人开始有大量的文献。 (1979) 证明了拉丁超立方体 (LH) 采样与其他 DoE 方法相比的强度。 但是，LH 采样通常不是最大熵采样方案 [Shewry 和 Wynn (1987)]，即来自 LH 的样本不会优化获得的有关底层系统的信息。 OLH 采样是均匀先验的 LH 采样的熵最大化变体，其中我们的熵函数是采样点之间的成对欧几里得距离 [Bates 等人。 （2003 年）]。 统一的先验假设是合乎逻辑的，因为我们没有或不需要对最优解在 x 超立方体中的位置进行初始猜测，并且约束被视为黑盒子。
与标准 LH 不同，OLH 采样是空间填充的，因此对于使用 ML 模型学习约束的全局行为很有用。 在实践中，OLH 生成既耗时又不切实际。 相反，我们使用 Bates 等人提出的有效启发式算法。
（2004 年），它使用置换遗传算法以低计算成本找到 OLH 问题的近似最优解。 我们在优化方案中过早地终止了遗传算法，因为不需要优化分布样本。
3.2.3 约束评估 我们使用样本来计算约束的左侧，或者如果左侧不可用，则计算约束的可行性。
如果约束是等式 h j (x) = 0，我们放宽它并将其视为不等式 h j (x) ≥ 0，直到第 3.4 节。 结果是对应于 n 个样本中的每一个的 {0, 1} n 可行性向量，定义了分类问题的类别。
如果需要，假设约束使用一组公共样本，可以通过在相同数据上取它们联合可行性的逐行最小值来汇总一组不等式约束的可行性。 这可以降低模型的复杂性，但我们目前在我们的方法中没有考虑到这一点。
3.2.4 kNN 准牛顿抽样 先前的采样方法在 dom(x) 中实现了样本的空间填充分布，以使近似 OCT-Hs 能够在全局意义上学习每个约束的可行性。 我们仍然需要约束边界附近的点足够集中，即点 x̃ i 使得 g( x̃ i ) ≈ 0，因此我们的 OCT-H 模型被训练来准确地分类这些接近可行的点。
假设第一阶段的采样和评估至少找到了一个可行的约束点，在这一步中，我们尝试使用我们开发的称为 kNN 准牛顿采样的方法在约束边界附近进行采样。 该方法依赖于使用 kNN 为先前数据 (x̃, ỹ) 的约束生成近似可行的邻域，并使用这些邻域中的近似梯度来找到新的近似可行样本 ũ，其中 g(ũ i ) = → 0. 我们在算法 1 中介绍该方法。
算法1
该方法描述如下。 从空间填充数据 (x̃, ỹ) 开始，其中 ỹ i = g(x̃ i )，我们在 0-1 归一化 x 超立方体中找到每个采样点 x̃ i 的 k 最近点。 在我们的特定实现中，我们使用 k = p + 1，其中 p 是约束 g(x) ≥ 0 中的变量数。对于每个 kNN 集群，索引 i 以 x̃ i 为中心，k - 1 个相邻索引 ξ i ，我们 确定是否所有样本点都是可行的，所有点都不可行，或者点是混合可行的。
在具有混合可行性点的每个集群中，我们在相反的可行性点之间执行割线法。 割线法是一种近似求根算法，由以下递归关系定义
（4）
其中 x̃ i 和 x̃ j 是同一混合可行性邻域中的相反可行性点， x̃ k 是新的候选根。 因此，割线方法允许我们使用来自空间填充 OLH 样本的点 x̃ i 和 x̃ j 的组合，有效地生成预期靠近约束边界的根 x̃ k。 我们确保每一对约束边界上的 kNN 相邻点仅在质心不可行的情况下在混合可行性 kNN 单元内采样，然后仅在不可行质心和 kNN 单元中周围可行点之间采样，从而仅产生一个新点。
一旦我们执行了 kNN 采样过程并有了新的样本 ũ，我们在样本上评估左侧的 g(x) 并将它们添加到数据 (x̃, ỹ) 中，然后继续进行树训练步骤。
3.3 训练决策树
由于它们的 MIO 可表示性，我们使用树来近似全局优化问题中的非线性约束，我们将在 3.4 节中演示。 我们使用 IAI 公司的软件以 OCT-Hs 和 ORT-Hs [Interpretable AI, LLC (2022)] 的形式构建、训练和存储问题数据。 我们专门用超平面分割训练树，因为它们具有更高的近似精度和更低的树复杂度。
这些树是在所有可用数据上训练的，而不是像在传统 ML 中所期望的那样对数据的子集进行训练。 此外，我们很少惩罚树的复杂性。 这是因为我们的数据是无噪声的，并且近似精度在全局优化设置中很重要。 在噪声数据上生成约束的情况下，我们将允许将数据拆分为训练集和测试集，并在一系列参数上进行交叉验证。
在初始化约束学习实例时，我们在 IAI 中使用表 1 中的基本 OCT-H 和 ORT-H 参数。 除非另有说明，否则这些参数用于整篇论文的所有计算基准。 已选择参数以平衡树的准确性与树的复杂性和相关的计算成本，并且可以由用户在他们认为必要时进行调整。
我们对 OCT-Hs 的训练损失函数是错误分类错误。 如果树是将特征输入映射到类（T : x → − y）的函数，则误分类误差只是被树误分类的样本的加权比例，其中 I 是指示函数，wi 是样本权重 . 精确分类器的误分类误差为 0。
()
对于用于逼近目标函数的 ORT-H，我们使用 1 - R 2 作为损失函数，其中 R 2 是决定系数。 精确回归量的 1 - R 2 值为 0。
3.4 MI 近似
从本节开始，我们认识到全局优化问题是近似约束的，并分别为不等式和等式约束引入索引 i ∈ I 和 j ∈ J。 使用 OCT-Hs 对非线性不等式 g i (x) ≥ 0, i ∈ I 和松弛非线性等式 h j (x) ≥ 0, j ∈ J 的可行空间进行分类后，我们将等式重新紧化为 h j (x) = 0, j ∈ J，并将每棵树的可行 x 域作为多面体的并集。 在本节中，我们在数学上定义了一组精确表示树的析取 MI 线性约束。
3.4.1 非线性不等式 对非线性不等式 g i (x) ≥ 0 的可行集进行分类的树 T i 具有一组叶 L i ，其中叶 L i,1 ⊂ L i 的子集被分类为可行（其中指示函数 I(g i ( x) ≥ 0) = 1) 和 L i,0 ⊂ L i 被分类为不可行 (I(g i (x) ≥ 0) = 0)。 每个叶子的决策路径定义了一组分离超平面 H i,l ，其中 H i,l,− 和 H i,l,+ 是向左（小于）和向右（大于）分裂的集合 需要分别到达叶子 l。 因此，树 T i 在可行叶 l ∈ L i,1 处的可行多面体定义为
(5)
x 在约束 g i (x) ≥ 0 上的可行集由 (5) 中可行多面体的并集来近似。 更正式地说，
(6)
这种多面体联合表示可以通过一组涉及 big-M 公式的析取约束来描述。 Vielma (2015) 描述了许多这样的“预测”公式； OCT-Hs 逼近非线性不等式的具体析取表示如下：
(7)
x 在多面体 P i,l 中的隶属关系由二进制变量 z i,l 定义。 约束 P l∈L i,1 z i,l = 1 确保 x 恰好在一个可行多面体中。 然而，上述公式需要足够准确地知道 M 的值，这在实践中可能很困难。 M的值很重要； M 太小意味着约束没有得到充分执行，而 M 太大会导致数值问题。 知道 M 到足够的容差可能需要解决 (7) 中对 dom(x) 的内部最大化，甚至为每个分离的超平面 h ∈ H i,l 声明一个单独的 M h 。
或者，我们推导出一个完全避免计算 big-M 值的表示，因为我们将自己限制为 x ∈ [x, x]。 权衡是我们需要添加辅助变量 y l ∈ R p i ，对于每个叶子 l ∈ L i,1 ，其中 p i 是约束 i 中变量的维数。 我们在 (8) 中展示了用于逼近非线性不等式的 OCT-H 的 big-M 自由表示。 该公式是基本扩展析取公式的应用，用于定义多面体的并集，如 Vielma 所述
(8)
正如 big-M 公式，x 是否位于多面体 P i,l 中由二元变量 z i,l ∈ {0, 1} 定义。 如果 x 在 P i,l 中，则 x = y l 。 如果不是，则 y l = 0。因此 x 只能位于被分类为可行的 T i 的叶子中。
值得注意的是，公式 (8) 是局部理想的，即它的连续松弛至少有一个基本可行解，并且它的所有基本可行解都是 z i [Vielma (2015)] 的积分。
与它的 big-M 变体相比，这在优化这种析取方面具有计算优势。 由于析取公式 (8) 易于处理且无大 M，因此我们在 OCT-HaGOn 中实现它。
3.4.2. 非线性等式 非线性等式也可以用 OCT-Hs 来近似。 为此，我们只需将 h j (x) = 0 放松到 h j (x) ≥ 0 并将 OCT-H T j 拟合到此约束的可行集，使用多面体 P j,l ，其中 l 可以位于可行叶中 L j,1 和不可行的叶子 L j,0 。 原等式的可行集必须由可行叶和不可行叶之间的多面体面的并集来表示。 需要注意的是，S 并不等同于多面体面的并集，x ∈ l∈L j 面(P j,l )，因为一些面将两个可行空间彼此分开，因此不会 是有效的约束边界。 我们只对将可行多面体与不可行多面体分开的多面体面感兴趣，其中 h j (x) ≥ 0 且 h j (x) ≤ 0。因此，近似等式是可行多面体与不可行多面体的所有排列的交集的并集 ,
(9)
为了确保 x 位于可行多面体和不可行多面体之间的面上，我们为每个叶子 l ∈ L j 分配一个二元变量 z j,l。 我们确保 x 正好在一个通过恰好有两个非零 z j,l 的可行多面体和一个不可行多面体，一个在可行叶 l ∈ L j,1 中，另一个在不可行叶 l ∈ L j,0 中。 因此，我们将近似等式表示为以下一组析取 big-M 约束，其中 L j = {L j,1 ∪ L j,0 } 是树 T j 的可行叶和不可行叶的组合集。
(10)
这保证了 x 落在一个分离可行和不可行多面体的多面体面上，从而逼近 h j (x) = 0。正如我们对非线性不等式所做的那样，我们可以得出一个等效的无大 M 公式，如下所示， 并在 OCT-HaGOn 中实现它。
(11)
请注意，非线性等式对任何全局优化方法都是最大的挑战，因为等式的可行空间是有限的。
3.4.3. 非线性目标 我们对待非线性目标 f (x) 不同于约束。 分类器可以很好地表示约束，因为约束将 x 的空间划分为可行和不可行的类。 然而，非线性目标相对于 x 是连续的，因此可以更好地用回归量来近似。 为了逼近非线性目标函数 f (x)，我们在样本数据 {x̃ i , f (x̃ i )} ni=1 上训练 ORT-H，并用辅助变量 f ∗ 替换非线性目标。 我们使用从 ORT-H 导出的析取约束来降低 f* 的值，从而逼近原始目标函数。
我们可以将相同的逻辑应用于 a > x + b ≥ g(x) 形式的约束，其中左侧是仿射的并且可与非线性分量 g(x) 分离。 由于 a > x + b 是线性的并且与 MIO 兼容，我们改为在样本数据 {x̃ i , g(x̃ i )} ni=1 上训练 ORT-H，并确保 a > x + b 的下限为 近似的ORT-H。 用户可以选择是否使用 OCT-Hs 或 ORT-Hs 来近似可分离约束，但通常在这些情况下 ORT-H 更准确。 第 5 节中解决的所有问题都将约束视为不可分离的，并使用分类器来近似它们。 为了解决第 6.2 节中的卫星调度问题，我们利用这种可分离性并选择训练 ORT-Hs。
由于 ORT-H 是一个 OCT-H，每个叶子都添加了额外的回归器，因此 (8) 和 (11) 中的析取约束适用于如下所述的微小修改。
L f 是近似 ORT-H 的叶集； 假设 f (x) 可以在 dom(x) 上进行评估，ORT-H 的所有叶子 l ∈ L f 都可以包含 x，这意味着析取应用于所有叶子而不是树的叶子的子集 . 每个叶子 l ∈ L f 都有一组由其决策路径描述的分离超平面，以及一个由每个叶子中的回归器描述的附加分离超平面。
对于目标和可分离不等式，我们不是直接在 ORT-H 的每个叶中使用回归器，而是在每个叶中的点上运行二次线性回归问题，以找到数据上最紧密的下边界超平面。 这使我们能够对约束或目标函数进行近似松弛，并在稍后通过第 3.6 节中的解决方案修复来加强松弛。
3.5 求解混合整数优化近似
将不等式和等式约束的可行空间表示为多面体的并集，我们有以下最后一个问题。
(12)
这是一种混合整数线性优化 (MILO)，可以使用分支定界方法有效解决。 我们为此目的使用 CPLEX，因为它可以免费用于解决小规模 MILO 实例。
3.6 解决方案检查和修复
在第 3.5 节中获得的最优值可能与原始全局优化问题接近最优且接近可行，因为 MIO 是近似的。 为了在次优或不可行的情况下修复解决方案，我们设计并提出了一种基于投影梯度下降 (PGD) 的局部搜索程序。 PGD​​ 是一种用于约束梯度下降的方法，对于恢复近似解的可行性和最优性所需的局部优化，它是可靠、可扩展和快速的。 它依赖于使用约束和目标的梯度来同时减少约束违反（通过将 x * 投影到 x 的可行空间）和目标函数值。 我们对 PGD 的特殊实现解决了一系列梯度驱动的 MIO 问题。
为了获得显式和隐式约束的梯度，我们利用自动微分 (AD)，特别是正向模式 AD。 正向模式 AD 着眼于评估约束函数所涉及的基本数学运算，因此精确地计算每个约束在任何解 x * [Verma (2000)] 处的梯度。
与有限微分不同，AD 不需要额外的函数评估或离散化，并且与符号微分不同，它不需要明确的约束。
所提出的 PGD 方法首先评估目标和所有约束 x ∗ ，最后一个已知的最优值，以及它们的梯度。 非线性不等式约束的析取逼近被基于局部约束梯度的线性逼近器取代，具体取决于每个约束的可行性：
(13)
其中 d ∈ R n 是下降方向，λ i ∈ R + 是一个不等式松弛变量。
类似地，我们用局部线性逼近器替换等式的 MI 逼近，但无论约束的不可行程度如何，总是包括松弛变量，如 (14) 所示。
(14)
其中 µ j ∈ R + 是一个等式松弛变量。 这种放松有两个原因。 首先是，在存在等式的情况下，由于等式约束冲突，局部 PGD 步骤可能不可行。 第二个是每个 PGD 步骤都将涉及求解一个二次程序，该程序只能在给定的数值精度下求解。 这种精度虽然很低，但不为零。
因此，我们引入了一个约束紧密度容差参数 φ，并说如果 g i (x ∗ ) ≥ -φ，不等式 g i (x) ≥ 0 在 x ∗ 处是可行的。 如果所有不等式约束对容差都是可行的，则松弛变量 λ 仅在不等式上需要，其中 0 ≥ g i (x ∗ ) ≥ −φ, i ∈ I，由 (13) 中的条件。 在这种情况下，我们执行一个简单的梯度下降步骤。 这涉及解决 (15) 中的二次优化问题，其中 γ 是不可行惩罚系数，α 是 0-1 归一化 x 超立方体内的步长，r 是步长衰减率，t 是当前 PGD 迭代，T 是迭代最大数量
（15）
我们以指数方式减小（15）中定义的允许步长 d，以帮助收敛和打破可能导致的循环。
如果当前解决方案 x ∗ 超出对任何约束的容忍度是不可行的，我们将采取投影和下降步骤。 这修改了（15）中的目标和前两个约束，方法是移除对 d 的步长约束，并使用以 β 作为参数的投影距离惩罚来增加目标函数，如（16）所示：
（16）
这个二次优化问题近似于 x 在非线性约束的可行空间上的最接近可行投影。
上面定义的梯度和投影梯度步骤需要知道所有变量的最大范围 x - x。 如果没有为变量 x k 提供这个范围，那么我们假设x k - x k = max(x) - min(x)。 然而，使用用户提供的边界，PGD 的收敛性要强得多。 我们对新的现有解决方案重复上述 PGD 步骤，直到最后两个解决方案对所有约束都是可行的，并且原始目标函数 f(x) 的改进小于绝对容差。
PGD​​ 算法引入了许多参数，其默认值在表 2 中定义。虽然这为求解过程增加了额外的复杂性，但下降过程很容易调整，并且当前的实现会在需要检查参数时警告用户。 此外，尽可能将参数应用于 x 超立方体上的 0-1 归一化量。 对于本文中的所有示例，除非另有说明，否则表 2 中的默认 PGD 参数均适用。

4 示范例子

考虑以下来自 Duran 和 Grossmann (1986) 的修正混合整数非线性优化问题。 出于演示目的，原始非线性目标已替换为线性目标，并且变量 y 已连接到 x 以保持符号的一致性。
（17）
当我们逐步实施该方法时，我们将关注非线性不等式 g 1 (x) ≥ 0 和 g 2 (x) ≥ 0。
4.1 问题的标准形式
大多数全局优化问题在构造上与第 3.1 节中的标准形式兼容。 我们通过划分下面的原始问题 (17) 来证明这一点。
我们将线性约束、变量和边界直接传递给 MIO 模型，并确认非线性约束中的所有变量，在本例中为 x 1 、 x 2 、 x 3 和 x 6 ，都是有界的。 请注意问题中存在二进制 x 4 、 x 5 和 x 6 。
4.2 非线性约束采样和评估
接下来，我们使用第 3.2 节中的过程在非线性约束上生成样本。
请注意，g 1 (x) ≥ 0 和 g 2 (x) ≥ 0 有 3 和 4 个活动变量，因此生成了样本分别在 R 3 和 R 4 中。 g 1 (x) ≥ 0 上的结果样本及其可行性如图 1 所示。请注意，样本跨越整个 x 超立方体，但是由于 kNN 采样程序，存在一定的点集中度，它们近似于约束 边界。 这提高了近似 OCT-H 的全局和局部精度能力。
figure 1
4.3 决策树训练
我们训练两个 OCT-H 对约束 g 1 (x) ≥ 0 和 g 2 (x) ≥ 0 的可行空间进行分类。
出于演示目的，树的最大深度限制为 3，而不是表 1 中定义的 OCT-HaGOn 中使用的标准深度 5。g 1 (x) ≥ 0 的近似 OCT-H 和准确度 图 2 给出了它的预测。值得注意的是，OCT-H 逼近器在整个 dom(x) 中实现了高度的准确度 (97%)，只有两个可行的叶子。
4.4 混合整数近似
我们以与 MIO 兼容的形式放置树。 作为记账说明，辅助变量引入了两个索引，第一个表示约束索引，第二个表示约束索引表示近似OCT-H的叶子的数值索引。 这与第 3.4 节中的表述是一致的。
figure 2
figure 3
figure 4
图 3 显示了约束 g 1 (x) ≥ 0 的近似树，以及由 (8) 定义的分离表示。 由于约束具有三个活动变量 [x 1 , x 2 , x 3 ]，并且树有两个节点索引为 4 和 7 的可行叶子，因此析取表示需要定义 6 个辅助连续变量 y 1,4 ∈ R 3 和 y 1,7 ∈ R 3 ，以及两个二元变量 z 1,4 和 z 1,7 。 所需的线性约束数为 6，等于每个可行叶的深度之和，加上定义分离的 2 个附加约束。
我们在图 4 中近似 g 2 (x) ≥ 0，具有四个活动变量 [x 1 , x 2 , x 3 , x 6 ]，使用相同的方法。
4.5 混合整数优化近似求解
如第 3.5 节所述，一旦难以处理的约束 g 1 (x) ≥ 0 和 g 2 (x) ≥ 0 被它们易于处理的析取近似 (18) 和 (19) 替换，问题就变成了一个使用商业化处理的 MILO 求解器。 我们通过 CPLEX 解决了这个问题，得到了一个接近可行、接近最优的解决方案，其目标值为表 5a 中的 -7.685。
table 5a
figure 5
4.6 求解检查和修补
我们通过评估两个非线性约束来检查近似解 x * 对原始优化问题 (17) 是否可行。 由于违反了约束 g 1 (x) ≥ 0，我们从第 3.6 节启动 PGD 修复程序。 为此，OCT-HaGOn 将难以处理的约束的 MIO 近似替换为 x ∗ 处约束的自微分梯度，并在沿着目标下降时采取局部步骤来缩小可行性差距。 这是迭代完成的，在每一步评估目标函数和非线性约束，直到所有约束都是可行的，并且目标值的变化低于绝对容差 (10 -4 )。 PGD​​算法的路径如图5b所示，在约束g 1 (x) ≥ 0的表面上，将x的可行空间一分为二。 请注意，该方法不知道该表面，因此值得注意的是，它在第​​一步中以极高的精度向它投射，然后在一系列下降步骤中沿着该表面移动。
对于这个问题，10 -4 的绝对容差太小而无法最终收敛，因此 PGD 算法在其最大 100 次迭代时终止，最优目标值 f (x ∗ ) = -7.021 和表中的最优解 5a。

5 计算实验benchmark

我们将 OCT-HaGOn 应用于文献中的一些优化问题，并将其与其他全局优化器进行基准测试。 OCTHaGOn 的软件实现可以通过附录 A.1 中的链接找到。 有关使用的优化器及其功能的完整列表，请参阅附录 A.2。 我们在本节中提出警告。 由于我们的方法是近似的，求解过程的不同随机重启可能会产生不同的最优值。 然而，实施该方法的经验表明，在大多数情况下，该方法在找到相同的最优值方面是一致的，并且随机重启可靠地缓解了因找到接近最优的解决方案而导致的问题。
我们首先将我们的方法应用于 MINLPLib [Bussieck 等人的五个小基准问题。 (2003)]，并将我们的结果与 BARON [Sahinidis (1996)] 的结果进行比较，这是一种流行且有效的商业混合整数非线性规划 (MINLP) 求解器。 基准中的约束类型和数量如表 3 所示。结果如表 4 所示。
OCT-HaGOn 能够找到所有五个小型基准的全局最优值，与 BARON 解决方案相匹配。 OCT-HaGOn 需要更长的时间来解决小型基准测试比男爵。 这是意料之中的，因为这些问题具有仅包含 BARON 支持的数学原语的显式约束。 树训练时间占小基准测试解决时间的绝大部分； MIO 和 PGD 解决方案步骤非常高效，每个基准测试花费的时间不到总时间的 5%。 在设计中使用优化的情况下，优化将运行多次以获得帕累托前沿上的多个解决方案，OCT-HaGOn 具有竞争力，甚至比 BARON 更快，因为 MIO 和 PGD 步骤在很小的时间内求解 BARON 求解器求解每个 MINLP 的单个实例所需时间的一小部分。
我们继续考虑来自 MINLPLib 的一组六个较大的基准，如表 5 所示。我们还使用三个商用求解器 IPOPT、CONOPT 和 BARON 来解决优化问题。 鉴于这些较大基准的难度增加，我们允许 OCT-HaGOn 使用最大深度为 8 的树，并且与小型基准相比，每个约束生成的样本数量翻​​倍。
结果如表 6 所示，与 MINLPLib 中记录的最知名的解决方案进行了比较。 OCT-HaGOn 为 6 个实例中的 4 个找到最知名的全局最优值，
table 5
table 6
和高性能的解决方案，否则。 一些问题需要进行一些修改才能应用我们的方法。 标有星号的问题需要对算法进行以下更改： • himmel16 测试用例包含许多非线性约束中的变量，这些变量是无界的。 利用我们对该问题的一点了解，我们能够通过对所有变量 x ∈ [−1, 1] 19 施加界限来使其与我们的方法兼容。
• kall circles c6b 示例需要将步长惩罚和等式惩罚增加到10 8 ，以抑制PGD 投影率以避免保守的局部最优。
虽然这些结果很有希望表明该方法可以扩展到更大的问题，但它们指出了一些实际的考虑。 结果表明求解时间与问题规模之间的相关性较弱； 这是因为变量的数量和近似约束中非线性的复杂性往往会驱动树训练时间，从而驱动总求解时间。 此外，随着问题规模的增加，树训练或 MIO 步骤是否驱动计算时间并不明显，尤其是在存在整数变量的情况下。 对于 himmel16 示例，树训练花费了 110 秒总时间中的 104 秒，而对于 o9 ar4 1 基准，优化时间占主导地位，在近 21 分钟的总时间中，训练仅花费了 3 秒。 虽然 fo9 和 o9 ar4 1 具有相似的大小并具有相似的约束（都包含具有逆的非线性），但它们的求解时间却截然不同。

6 真实算例

除了基准之外，我们还在两个复杂程度不同的航空航天问题上测试了我们的方法。 我们首先从工程文献中解决了一个基准，以表明该方法可以解决实际问题。 然后，我们将 OCT-HaGOn 应用于无法使用其他全局优化器解决的卫星在轨服务问题。
6.1 减速器问题
减速器问题是 Golinski (1970) 提出的非线性优化问题。
该问题旨在为飞机发动机设计一个齿轮箱，除了 x ∈ R 7 上的可变边界外，还要遵守 11 种规格、几何形状、结构和可制造性约束。 我们将我们的方法应用于标准形式的附录 A.3 中所写的问题。
table 7
在表 7 中，我们比较了减速器问题的不同解决方案。 OCTHAGON 和 IPOPT 都击败了 Lin 和 Tsai（2012 年）最知名的最优值。 此外，如附录 A.3.1 所示，OCT-HaGOn 允许我们在 PGD 算法的 4 次迭代后实现所有误差为零的约束，而其他两种方法的误差容限很小但非零。
IPOPT 能够在 4.2 秒内解决这个特定的非线性程序 (NLP)，明显快于需要 32.6 秒的 OCT-HaGOn。 然而，这需要放宽 x 3 的完整性。 对于这个特殊问题，这并不重要，因为 x 3 的下限是其最佳值 17。但是，IPOPT 通常不能用于解决 MINLP。
在实际操作中，我们想注意潜在非线性约束的 OCT-H 近似中不同级别的复杂性。 一些约束虽然看起来很复杂，但具有低复杂度的树逼近器。 考虑以下约束 g 5 (x) ≥ 0 及其相关的 OCT-H 逼近器。
OCT-H 模型具有单个超平面，能够在 613 个样本上以完美的精度逼近相关 dom(x) 中的函数，如图 6 所示。在有界 dom(x) 内，非线性约束因此被简化 为线性约束。
然而，并不是所有的约束都可以直接通过多面体的并集来表示。
考虑目标函数，它是一个 5 阶多项式 (20)。 在这种特殊情况下，目标由具有 19 个叶子的 ORT-H 表示，每个叶子都定义了 x 上的唯一可行多面体。 图 7 显示了树的截断版本，有四个叶子可见。在 532 个样本上，近似值的 1 - R 2 误差为 1.4 × 10 -5。
6.2 卫星在轨服务 (OOS) 调度优化问题
我们在先前未解决的卫星在轨服务 (OOS) 调度优化问题上测试我们的方法。 卫星 OOS 是一项未来技术，旨在通过允许自主服务航天器在轨道上进行维修或加油来提高现有和下一代卫星的寿命 [Luu and Hastings (2020)]。 OOS是一个作用于高度非线性动态系统的困难调度问题。 通过我们的方法解决这个问题是一个很好的问题，因为在其完整的 MINLP 形式中，该问题是具有非线性等式约束的非凸组合优化问题。 此外，由于决策变量的范围存在 11 个数量级的差异，因此在数值上具有挑战性。 在本文之前，它仅通过枚举来解决 [Luu and Hastings (2020)]。 请参阅附录 A.4 了解有关完整约束列表的更多详细信息； 下面是对该问题的简要总结。
动力学问题是在同一轨道平面上的客户卫星之间移动服务卫星的轨道力学。 轨道转移涉及使用机载推进器
figure 6
figure 7
使服务商进入与客户卫星不同的轨道高度，称为相位轨道，以减少服务商和客户之间的真实异常（以弧度为单位的角度相位差）。 然后，服务商将自己推回客户的轨道，在正确的时间和空间位置与客户卫星相遇，同时遵守能量、动量和质量守恒。 调度问题包括选择服务每个客户卫星的最佳顺序（离散决策），以及选择最佳相位轨道（连续决策）。
在本节中，我们考虑一个简单的 OOS 示例。 我们安排一颗服务卫星为轨道上的 7 颗客户卫星加油，使用机载推进器在客户之间飞行。
每个客户需要不同数量的燃料，我们限制服务商在 0.35 年内完成任务，目标是最小化服务商的湿质量（干质量和燃料）。 问题参数见表 8。
table 8
图 8 中显示的燃料需求是随机生成的，反映了客户卫星的燃料需求可能分布，这些卫星是同一星座的一部分，并在前一个时间点同时发射。
在解决 OOS 问题时，我们做出以下现实的简化假设，尽管我们的方法确实扩展到更一般的情况。 服务卫星通过外部火箭交付给第一个客户端，并使用自己的推进器在后续客户端卫星之间使用霍曼传输。 相对于机动步骤而言，推进和加油步骤所花费的时间可以忽略不计。 所有客户卫星都在同一轨道平面上，在同一高度，并且在轨道周围均匀分布。
figure 8
服务 n s = 7 个客户端的初始问题有 141 个变量，其中 n 2 s = 49 个二进制变量表示服务顺序。 非线性约束中的连续决策变量从上到下都有界，以与第 3.1 节中定义的 OCT-HaGOn 兼容。 模型中有 41 个线性约束，代表系统动力学的一个子集。 在线性约束之上，我们有 10(n s − 1) = 60 个非线性约束，它们都是等式的。 约束在附录 A.4 中有详细介绍。
我们通过两种方式解决问题。 首先我们通过 OCT-HaGOn 解决它。 由于我们明确知道这个问题的约束，我们使用第 3.4.3 节中描述的 ORT-H 近似方法，将非线性与约束的仿射分量分离以提高准确性，并为每组循环约束训练一棵树。 由此产生的 MIO 问题有 999 个连续变量和 349 个二元变量，以及 3650 个线性不等式和 286 个线性等式。
其他全局优化器，如 CONOPT、IPOPT 和 BARON 不能用作 OCT-HaGOn 在这个特定问题上的基准。 由于 OOS 是一个混合整数问题，因此基于梯度的优化器（例如 CONOPT 或 IPOPT）变得无效，并且 BARON 不支持轨道动力学中存在的非线性。 相反，我们通过将可能的转移轨道限制在 1 km 的区间内，成功地离散了约束中的非线性子集。 这将 OOS 问题的复杂性降低为 MI-双线性问题，我们可以通过 Gurobi 的 MI-双线性优化器 [Gurobi Optimization, LLC (2021)] 解决该问题。 MI-双线性表示有 394 个变量，其中 289 个变量是二进制的。 60 个非线性约束中的 36 个转化为双线性等式，而其余的则转化为线性约束。 离散化问题的解决方案是全局最优的，但肯定比完整 MINLP 公式的全局最优更差，因为轨道高度的离散集比连续集更具限制性。 但是，该解决方案足够细化，可以作为 OCT-HaGOn 的良好基准。
table 9
结果如表 9 所示，并在图 9 中以图形方式显示。首先，我们寻找两个重要的影响，MI-双线性解决方案很好地证明了这一点，并且在图 9 中很容易看到。第一个是最好用 最大的燃料需求首先，因为较轻的服务商在后续客户之间转移所需的燃料较少。 第二是在任务开始时花费更多的时间转移比在结束时花费更多的时间更好，因为当服务人员较轻时转移花费的燃料更少。 MI-双线性解决方案中机动时间和燃料成本的总体下降趋势表明了这一点。
虽然 OCT-HaGOn 正确捕获了最佳卫星时间表，但它无法找到最佳相位轨道集。 通过观察图 9a 中 OCT-HaGOn 解决方案中的机动时间的平坦曲线很容易看出这一点，这与图 9b 中离散化解决方案中看到的递减曲线相比是次优的（总燃料 < 0.1%）。 此外，由于存在许多非线性等式，PGD方法无法减少不可行性和最优性差距，陷入局部最优。 在最大树深度为 6 的情况下，该解在所有非线性约束上具有 3.5 × 10 -3 的最大相对误差和 2.5 × 10 -4 的平均相对误差。 虽然这对于概念设计目的来说足够准确，但需要更高的准确度和更稳健的修复程序。
在求解时间方面，OCT-HaGOn 使用 8 核 Intel i7 处理器的个人计算机求解时需要 14.2 秒。 这包括所有采样、评估、训练和优化步骤。 相比之下，MI-双线性解决方案仅用于优化步骤需要 17.7 秒。 这是在一位经验丰富的工程师花费两天时间的基础上，重新制定问题以与现有的有效优化公式兼容。
尽管 OCT-HaGOn 对 OOS 问题的解决方案不是最优的，但我们认为它有力地证明了该方法的能力和前景，特别是考虑到问题的复杂性。 值得注意的是，OCT-HaGOn 成功地找到了最佳卫星服务时间表，这可以说是该问题中最重要的决定。
尽管问题是病态的，决策变量值有 11 个数量级的差异，并且有 60 个非线性等式约束耦合了大多数决策变量。 此外，这种复杂的全局优化问题的离散化重新表述一般可能不存在。 即使他们这样做了，由于这种重新制定的组合性质，它们也可能难以处理。 据我们所知，这使得 OCT-HaGOn 成为文献中唯一可以直接解决此问题的全局优化工具。
figure 9

7 讨论

在本节中，我们将讨论结果和局限性，并提出未来工作的领域。
7.1 局限
所提出的方法在解决各种全局优化问题方面显示出希望，但它是一项正在进行的工作。 在这里，我们详细介绍了本文中实现的方法的一些限制； 在作者看来，我们按照从最重要到最不重要的顺序列出这些内容。
虽然 OOS 示例表明该方法可以解决决策变量之间高度非线性耦合的问题，但涉及大量活动变量的单个非线性约束将在 OCT-H 训练时间以及准确性方面带来挑战。 树的近似值。 树的准确性直接影响近似最优值的质量。 如第 3.4 节所述，可分离性可以部分缓解此问题，方法是允许将许多非线性约束分解为线性分量并通过一系列 ORT-H 更好地逼近。
此外，我们还没有严格测试求解时间和质量如何随着变量和非线性约束的数量以及非线性约束的稀疏性而变化。
鉴于 OCT-HaGOn 的性能取决于配方，通过预先考虑需要在何处使用 OCT-H 近似值并明智地使用它们的配方，在求解时间和质量方面都有很多收获。 我们希望当优化问题中的大多数约束是线性或凸的并因此是有效的时，OCTHaGOn 特别有效，并且约束学习方法是在其他难以处理的约束上实施的，具有相当严格的决策变量界限。
如第 5 节所述，所提出的方法不能保证全局最优性，因为它是近似的。 因此，该方法的不同迭代会生成局部最优的高性能解决方案，但不能保证全局最优，例如 BARON 提供的那些。 此外，虽然该方法不知道约束是显式的还是隐式的，但到目前为止，该方法仅在显式约束上进行了测试。
这是因为黑盒函数的数值基准不可用，因为它们与其他现有的全局优化器不兼容。
该方法的一个隐含假设是难以评估的约束可以快速评估； 如果此假设不成立，则可能需要更改实现以适应计算要求。 此外，PGD 方法要求约束函数是自可微分的。 虽然这是一个适度的假设，但约束评估可能不允许 AD。 这可以通过近似地找到梯度来克服，例如 通过有限差分，但目前尚未实现。
概述了这些限制后，我们继续提出改进该方法的未来工作。
7.2 决策树训练
OCT-HaGOn 的大部分求解时间由树训练步骤占用。 虽然训练的计算成本与约束的数量呈线性关系，但第 5 节中的基准测试结果表明，训练时间可能会根据底层约束的复杂性而发生巨大变化。 在本节中，我们将讨论几种管理计算时间的方法。
训练时间减少的第一个潜在来源来自调整表 1 中描述并在 IAI 中实现的基本树参数。 为此，我们可以通过减少最大深度和增加 minbucket 参数来降低树的复杂性。 否则我们可以修改树训练中随机重启的次数。 由于用于生成 OCT-H 和 ORT-H 的局部搜索方法是局部最优的，我们可以通过改变候选树的随机重启次数以及随机超平面重启的次数来减少训练时间。 然而，这两种方法在 OCT-H 近似的准确性方面都有明显的负面权衡。 一般来说，我们发现使用 10 次随机树重新启动和 5 次超平面重新启动，如表 1 中的基本树参数所述，我们能够生成足够准确的决策树，同时又足够高效以用于实际情况。 时间优化设置。
减少训练时间的一个潜在的大来源是识别问题中常见的约束形式。 如果非线性约束 g(u i ) ≥ 0 使用不同的变量 u i ⊂ x, i ∈ [k] 重复 k 次，则可以联合逼近这些约束。 具体来说，我们可以训练单个 OCT-H 来近似域 ∪ ki=1 dom(u i ) 上的约束。
然后，我们将 k 个约束表示为具有不同变量 u i 的树的析取表示的 k 个重复。 在本文中，第 5 节中的许多基准测试都证明了这一点一种重复行为，但我们将约束视为黑匣子，不利用潜在的加速。 然而，对于 OOS 问题，我们使用我们对约束的知识来联合训练树。
在显式约束下利用数据的无噪声特性来加速训练过程也有潜力。 目前，训练时间在数据特征数量（即每个约束中的变量数量）中呈指数级增长，使得 x 中密集的约束的树近似变慢。 人们可以通过尝试一种贪婪的方法来加速训练过程，以类似于 CART 的局部最优方式构建具有超平面的树 [Breiman 等人。 (1984)]，而不是通过局部搜索启发式的全局最优方式 [Bertsimas and Dunn (2019)]。 另一种方法可以设计特定的局部搜索启发式，以动态方式采样约束和训练树，以加快训练并减少近似误差。
考虑到计算架构，还可以进行一些改进。
由于单独的约束是单独学习的，训练过程可以并行完成，充分利用可用的计算资源。 这些树一旦训练就可以有效地存储，允许在相同优化问题的不同实例中使用相同的树。 这避免了重新训练树的需要，也避免了必须存储训练树所需的样本，从而节省内存。 我们为开发目的开发了此类方法。
7.3 混合整数优化近似的复杂性
如前所述，求解全局优化问题的 MIO 近似的复杂性是适中的，因为与 Gurobi 或 CPLEX 等商业求解器的能力相比，MIO 的规模很小。 然而，重要的是要注意 MIO 的复杂性如何根据非线性约束的数量和近似树的深度进行扩展。
我们首先考虑构成 MIO 近似所需的辅助变量的数量。 用于逼近非线性约束的变量数量是描述 x 的可行空间的析取多面体数量以及约束中决策变量数量的线性函数。 更明确地说，总人数逼近问题所需的二元变量与决策树中的叶子数呈线性关系，相当于
（）
其中 L f 、 L i,1 和 L j 分别是目标逼近树、不等式逼近树和等式逼近树中的可行叶集。 此外，我们引入了一些连续的辅助变量。 辅助变量的数量相当于：
（）
其中 p i 是第 i 个约束中的变量数。 一棵树的最大叶子数为 2 d ，所以在最坏的情况下，问题中辅助二元变量的数量为 O(2 d (1 + |I| + |J|))，辅助二元变量的数量为 连续变量为 O(2 d (1 + |I| + |J|)dim(x))，相当于由 x 的维数增加的二元变量的数量。 然而，在实践中，并没有看到这种最坏的情况，因为在训练过程中对树进行了修剪，并且近似的难以处理的约束在 x 中是稀疏的。
析取约束的数量更复杂，因为不能保证树的深度是一致的，而且我们不知道分类树的先验叶子的比例。 然而，如果我们假设每棵树都有一个深度 d i ，我们会得到以下最坏情况下的析取约束数量，不包括连续辅助变量的单变量边界约束：
（）
以上意味着 MIO 中的析取约束的数量为 O(2 d d(1 + |I| + |J|))，其中 d 是所有近似树的最大深度。 这显示了树深度对 MIO 复杂性的超指数影响，其中对更高准确性的需求可能会导致大量计算成本。 但是，对于我们在本文中考虑的中小型实例，这是一个可以接受的折衷方案。
此外，变量的数量随着约束的数量线性增长，这可能导致 OCT-HaGOn 的求解时间在最坏的情况下呈指数增长。
与线性或凸优化问题不同，平均求解时间可能与约束数量呈次线性关系，OCT-HaGOn 预计平均具有 由于近似值的组合性质，相对于约束数量的超线性求解时间。 我们还没有观察到表现出这种指数时间行为的问题，这可能是因为近似约束的稀疏性，也可能是由于公式的局部理想性。 然而，当 OCT-H 近似应用于大规模问题时，需要研究树的复杂性。
7.4 凸混合整数方程的扩展
OCT-HaGOn 方法允许我们生成无法有效优化的非线性约束的有效 MIO 表示，即不是线性的或凸的。 它开辟了将这些近似包含在更一般的 MI-凸公式中的可能性，其中通过直接插入或通过外部近似来保留有效的凸非线性约束，而通过 OCT-Hs 来近似难以处理的约束。 这将显着提高我们方法的速度和准确性。
7.5 对比big-M Free 和 big-M Disjunctive
虽然 OCT-HaGOn 实现了 3.4 节中描述的决策树的局部理想、大 M 自由析取表示，但由于添加了大量辅助变量，大 M 表示可能通过商业求解器更快地求解 在大 M 自由方法中。 解决由 big-M free 方法产生的局部理想但更大的 MILO 是否更有效，或者由 big-M 方法产生的更小但非理想的 MILO 是否更有效，还有待测试 .
虽然我们没有明确的证据证明这两种方法的相对性能，但作者的直觉会指向基于问题大小的权衡； 当解决具有更多非线性约束的更大全局优化问题时，大 M 方法可能会优于无大 M 方法。

7.6 改进的随机重启。
如前所述，由于约束学习方法是近似的，因此可能需要随机重新启动来获得对局部最优解的质量的信心。 目前，OCT-HaGOn 的随机重启涉及在所有非线性约束上重新训练树，并同时替换它们。 更好的方法是训练一组每个约束上的树，并置换树的近似值以生成问题的一组 MI 近似值。 每个排列的解决方案将为新的 PGD 序列提供接近最优的种子。 这将减少随机重新启动的计算负担，并产生更高性能的解决方案群体，从而增加对该方法的信心。
7.7 数据驱动约束的优化
存在全局优化上下文，其中约束由数据通知，而无需访问底层模型。 一些例子是工程系统设计中的模拟数据、过去实验的结果或人为数据，如临床数据和消费者偏好。 理论上，OCT-HaGOn 能够从任意数据中学习约束，并将这些模型集成到优化设置中。 然而，我们还没有进行实验来确认 OCT-HaGOn 在使用数据驱动约束的实际决策中的有效性。 这种通过约束学习将数据嵌入到优化中对医疗保健和运筹学等多个领域具有重要意义。
7.8 其他与 MIO 兼容的 ML 模型的集成。
虽然本文侧重于使用 OCT-Hs 和 ORT-Hs 进行约束学习，但还有其他具有优化兼容表示的 ML 模型。 马拉尼奥等人。
(2021) 探索使用线性模型、决策树及其变体以及多层感知器从数据中学习约束和目标的可能性。 OCT-HaGOn 可以轻松扩展以适应其他 MIO 可表示的 ML 模型。

8 结论

在本文中，我们提出了一种利用可解释 ML 和高效 MIO 解决全局优化问题的直观新方法。 我们的方法使用决策树的自然析取表示，使用 OCT-Hs 和 ORT-Hs 在全局优化问题中逼近显式和隐式非线性约束。 我们在理论上和实践上都证明了析取 MIO 近似可以使用现代求解器有效地求解，并为全局优化问题提供接近最优和接近可行的解决方案。 然后我们使用基于梯度的方法改进我们的解决方案方法来获得可行和高性能的解决方案。 我们证明了我们的全局优化器 OCT-HaGOn 在解决许多基准问题和现实问题方面与其他最先进的方法具有竞争力。 本文中描述的 OCT-HaGOn 的 Julia 实现可通过附录 A.1 中的链接获得。
我们提出的方法不仅仅是全局优化文献中的一个新工具。
基于树的优化在现有的全局优化工具中脱颖而出，因为它可以处理显式和非显式约束，甚至可以从任意数据中学习约束。 据作者所知，它是文献中最通用的全局优化方法，因为它对约束或变量的数学原语没有要求。 我们的方法只需要非线性约束上的有界决策变量域。 这对许多可以从优化中受益但由于缺乏有效的数学公式而尚未这样做的领域具有重要意义。