【文献阅读笔记】综述2005 《A Comprehensive Survey of Fitness Approximation in Evolutionary Computation》

  • Abstract

    • 本文主要回顾了估计精度,模型管理方法,模型构建方法
  • 1 Introduciton

    • 目前适应值估计的常用方法:
      • 多项式
      • 高斯过程
      • 前馈神经网络
      • SVM
    • 模型管理:估计模型和真实函数应该共同使用
    • 如何提高估计模型的精度
      • 模型的选择
      • 数据的采样和权重
      • 训练方法的选择
      • 误差测量的选择
  • 2 Motivations 使用估计模型的一些原因

    • 适应值的计算十分费时
    • 没有明确的计算模型
    • 有环境噪声
    • 函数是多模态的(波动较多,不够平滑)
      • 在不改变全局最优值位置的情况下,让估计模型逼近原函数且平滑掉一些局部最优值。推荐:使用Gaussian kernel来实现coarse-to-fine地平滑化real function
  • 3 估计的层次

    • 问题估计problem approximation
      • 用一个更简单的近似问题来替代原问题(e.g.实验变仿真,3D变2D)
    • 函数估计functional approximation
      • 构造一个显示表达式来替代原目标函数
    • 进化估计evolutionary approximation
      • “适应值继承”方法:用父代的适应值来评估子代的适应值
      • “适应值模仿”方法:将所有个体聚类,只评估每类中代表性个体的适应值。再用它的适应值来评估其他个体的适应值
  • 4 适应值估计模型的使用位置

    • 4.1 估计模型可用于何处?
      • 子种群之间个体的迁移
      • 种群初始化;引导交叉;引导变异
        • 由于初始化、交叉、变异本身是随机的,因此即便是用一个低精度模型来引导,也会比完全随机的要好。然而,适应值评估的减少可能不是很显著。
      • 适应值评价【使用最多的地方】
        • 文献[22]:通过计算出适应值估计的置信区间,以修改模型预测,以便鼓励算法探索未知区域
    • 4.2 模型管理or进化控制
      • 将估计模型用于适应值评价是最有效的。其中,主要有两点需要考虑:
        • 首先,确保算法收敛到全局最优/近似全局最优
        • 其次,尽可能减少计算代价
      • 估计模型和real function需要一起使用——模型管理
        • 实际函数用于评价部分个体or某些代的全部个体
          • 由real function评价的个体称为controlled individual
          • 由real function评价全部个体的代称为controlled generation
      • 模型管理的分类:
        • No evolution control
          完全不使用real function,只用估计模型
        • Fixed evolution control
          • individual-based
            每一代中,部分个体用估计模型评价,部分个体用real function评价:
            • best strategy:估计模型认为最好的个体,用real func重新评估
            • random strategy:随机选择个体,用real func重新评估
          • generation-based
            • 方法一:当算法收敛到估计模型的时候,启用一次real funciton评估
            • 方法二:固定几代中进行一次real funciton评估
          • 缺点:由于估计模型的精确度会不断变化,事先固定的进化控制策略+模型误差会导致优化过程中的强烈震荡
        • Adaptive evolution control
          • 使用real function的频率应随着估计模型的精度而变化
  • 5 估计模型

    • 5.1 多项式模型
    • 5.2 高斯过程模型(Kriging model)
      • 全局模型+局部偏移
      • 优点:可以得到置信区间(估计值的精确度)
      • 缺点:需要计算矩阵的转置。当维度较高,计算代价增加。
    • 5.3 神经网络
      • 常见:前馈多层感知器、径向基函数网络
    • 5.4 SVM
      • 优点:在学习过程中没有局部最小值,泛化误差不依赖于空间的维度
    • 5.5 点评
      模型的好坏没有固定的评判标准,因为需要依赖问题来判断。不过仍有一些通用的认识:
      • 先用简单的估计模型,看看能否拟合训练数据;如果不行,再改用更高复杂度的估计模型,例如高阶多项式or神经网络。
      • 然而,如果输入空间是高维的且采样数据很有限,则推荐神经网络。
      • 要估计二阶多项式模型的未知参数,至少需要(n + 1)×(n + 2)/ 2个数据样本
      • 如果使用神经网络,尤其是多层感知器网络,需要考虑调节模型复杂度来防止过拟合
      • 如果发现基于梯度下降的方法收敛缓慢,则可能还需要尝试其他更有效的训练方法[68]
      • 在一些研究中,RBF网络发现具有良好的准确性和快速性[78,35]
  • 6 数据采样技术

    • 当在进化计算中使用估计模型时,离线和在线训练都要涉及到。
      • 离线学习:估计模型在用于进化计算之前的训练过程(可以用蒙特卡洛方法得到数据)
      • 在线学习:估计模型在优化过程中的更新
    • 6.1 离线数据采样
      • DoE
        • OA
        • CCD
        • D-optimality
      • Active learning 主动学习
        • 基本思想:以优化某个目标函数的方式选择下一个采样数据的位置。 该目标函数可以是信息增益,熵减少或泛化误差。
        • 优点:在不增加采样个数的情况下,提高神经网络的泛化能力
    • 6.2 在线数据采样
      • 已经收集到数据之后,如何有效地选择一个数据的子集用来训练模型也很重要。
      • Bagging & Boosting
      • Active data selection
      • Data weighting guided by evolution
  • 7 讨论

    • 缺乏理论证明
    • 全局模型or局部模型?
      • 局部模型更简单可行
    • 在哪里使用估计模型?
      • 用于迁移——不太有效
      • 用于各种算子——对模型精度要求较低,但不确定能节省多少适应值计算代价
      • 用于适应值评估——最有效地减少适应值计算次数,但是低质量模型可能会误导算法
    • 未来研究方向:
      • 设计更好的学习方法(来构建估计模型)
        • 可能方式一:结合问题类型
        • 可能方式二:结合先验知识
      • 变输入维度时的估计模型
      • 如何处理带有一般非线性约束的问题
      • 管理不同层次的估计模型

你可能感兴趣的:(【文献阅读笔记】综述2005 《A Comprehensive Survey of Fitness Approximation in Evolutionary Computation》)