论文阅读|《基于Q学习的超启发式模型及算法求解多模式资源约束项目调度问题》

《基于Q学习的超启发式模型及算法求解多模式资源约束项目调度问题》

计算机集成制造/2021/北京科技大学

各种优化算法存在下列现象：

（1）同一种算法对于类型相近的问题或类型相同但数据不同的算例，在效率和效果上差异很大。为了达到理想的优化目标，人们不得不进行算法定制。基于个人经验和灵动、尝试不同的参数、拓扑结构和搜 索策略，缺乏理论层次的指导，导致算法应用成本居高不下。

（2）虽然不同算法的寻优策略各有千秋，但许多算法展现出相同或相似的实现机制。例如，受自然现象启发、利用群集智能、包含随机成分、不使用梯度信息、有若干可调参数等。这些现象无疑为开发通用型算法、实现算法软件重用、转换即用型算法等需求提供了契机。人们有理由提出并尝试各种算法融合技术，研发一类适应性更强且结果令人可接受的“超启发式”算法。

1 超启发式算法与Q-学习机制

1.1 超启发式算法

超启发式算法的动机之一就是开发更普遍适用的算法，通过自动化设计和调整启发式算子更高效地解决搜索计算问题。与手动算法定制不同，超启发式算法可被视为根据问题自动化地定制算法。因此，一个重要的目标是其通用性，基于一组易于实现地低级启发式方法生成质量可接受地解决方案。

目前，大多数研究属于在线扰动（或称移动）的选择启发式，其模型由两个层次组成，如下图所示：

底层包含问题的表示、评估函数和一组特定于问题的LLH（Low Level Heuristic,LLH）,通过启发式扰动修改当前解；

高层则控制LLH选择并依据既定规则判断是否接受所做出的扰动选择。LLH选择方法包括简单随机、选择函数、禁忌搜索和强化学习等。