基于数据驱动的自适应软测量建模方法研究及应用
（[博士论文]基于数据驱动的自适应软测量建模方法研究及应用_金怀平）
一、首先从摘要部分可知，论文主要进行了如下工作：
1.由于工业过程往往表现出强烈的非线性、多模式/多时段等特性，采用传统的全局建模方法通常得不到满意的结果。因此基于“分而治之”思想的局部学习方法，如多模型策略、即时学习、集成学习等，成为解决此类过程建模的优先选择。
2.为了有效处理间歇过程的非线性、时变性和多时段性等特征，将时段建模思想和即时学习方法相结合，以核偏最小二乘为局部建模技术，提出了一种多时段即时学习自适应软测量方法。（1）首先基于高斯混合模型将间歇过程划分为多个时段，然后分别建立相应的即时学习框架。（2）在线实施时，基于贝叶斯推理策略估计查询点属于不同时段的后验概率，并选择最相关的即时学习框架实现主导变量的估计。（3）为进一步提升模型的预测性能和自适应能力，定义了一种混合相似度，并提出了一种基于在线交叉验证的自适应样本选择策略。（4）此外，基于最大相似度替换原则实现数据库更新，基于偏互信息指标选择输入变量。
3.传统的即时学习方法存在一些不足：①频繁的局部模型在线重构影响了在线预测的实时性；②常规的相似度指标未考虑样本输出信息，而且忽略了输入输出变量之间的相关性，从而影响了预测精度；③局部建模样本数固定不变，制约了模型的自适应能力和预测性能。针对这些问题，提出了一种基于在线局部学习的自适应软测量方法。该方法引入了一种在线双重更新策略，通过交替执行即时学习和偏移补偿校正，不仅显著提高了模型的实时性能，而且有效避免了预测性能的恶化。此外，定义了基于互信息的加权相似度和基于相邻样本的输入输出相似度，在此基础上提出了自验证和相邻验证自适应样本选择策略。
4.融合局部学习框架和在线支持向量回归算法，提出了一种新的多模型自适应软测量方法。首先，基于移动窗口策略和统计假设检验方法将过程划分为多个局部区域，并建立相应的局部模型。然后借鉴即时学习思想估计局部模型对查询点相似样本的预测性能，并结合贝叶斯推理策略对部分表现最佳的局部模型进行自适应集成。
5.基于集成学习和高斯过程回归提出了一种通用的在线集成自适应软测量方法。首先，基于即时学习相似样本选择和概率分析策略构建一组具有较小冗余度的局部区域，并建立相应的局部模型。然后基于有限混合机理实现局部预测均值和方差的在线集成。此外，该方法在两个层次上实施更新，即局部模型更新和混合权值更新。
下面对一些自己不熟悉的专有名词去进行解释：
即时学习：即时学习（JITL）技术已经被广泛用于非线性过程的自适应软测量。每当查询样本到来时，它都会使用历史数据集中最相关的样本构建在线本地模型。因此，预测性能很大程度上取决于相关样本选择的相似性测量。
偏最小二乘法：偏最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。 用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。 很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。偏最小二乘用于查找两个矩阵（X和Y）的基本关系，即一个在这两个空间对协方差结构建模的隐变量方法。偏最小二乘模型将试图找到X空间的多维方向来解释Y空间方差最大的多维方向。偏最小二乘回归特别适合当预测矩阵比观测的有更多变量，以及X的值中有多重共线性的时候。通过投影预测变量和观测变量到一个新空间来寻找一个线性回归模型。
核偏最小二乘没有找到相关定义，以后再去理解：核偏最小二乘（KPLS）是解决非线性系统的一种有希望的回归方法，因为它可以通过非线性核函数有效地计算高维特征空间中的回归系数。与其他非线性偏最小二乘（PLS）技术不同，KPLS不需要任何非线性优化程序，并且其复杂度类似于线性PLS。
高斯过程回归：高斯过程回归（Gaussian Process Regression, GPR）是使用高斯过程（Gaussian Process, GP）先验对数据进行回归分析的非参数模型（non-parameteric model） [1] 。GPR的模型假设包括噪声（回归残差）和高斯过程先验两部分，其求解按贝叶斯推断（Bayesian inference）进行 [2] 。若不限制核函数的形式，GPR在理论上是紧致空间（compact space）内任意连续函数的通用近似（universal approximator）。此外，GPR可提供预测结果的后验，且在似然为正态分布时，该后验具有解析形式。因此，GPR是一个具有泛用性和可解析性的概率模型 [3] 。基于高斯过程及其核函数所具有的便利性质，GPR在时间序列分析、图像处理和自动控制等领域的问题中有得到应用 GPR是计算开销较大的算法，通常被用于低维和小样本的回归问题 [1] ，但也有适用于大样本和高维情形的扩展算法
二、绪论
异常值：异常值又称为极端值、离群点(outlier)，是指严重偏离典型观测值或有效测量范围的数据。
特征提取与特征选择
软测量建模中非线性问题是必须解决的一个关键问题，也是很常见的问题
局部建模方法。采用“分而治之”思想，首先将变量空间划分为多个局部区域，
然后在每个局部区域上建立一个简单局部函数，从而获得对整个系统的全局描述。局
部加权回归(locally weighted regression)[49,50]、集成学习(ensemble learning)[51,52]、即时
学习(Just-in-Time Learning, JIT)[53,54]等均采用了局部建模思想。
动态(dynamic)模型和自适应(adaptive)模型的概念容易引起混淆，在此作简要辨析。
动态模型需要捕捉的是变量的动态特性，即历史信息对当前预测的影响。本质上，动
态模型的基本结构保持不变，因此并不具备自适应更新能力。与动态模型不同，自适
应模型具备利用最新过程信息对模型做出校正的能力，更新过程中新的过程信息会被
纳入模型中，同时旧的信息会被移除或降低权重，通常涉及到模型结构或参数的变化。
此外，自适应模型并不排斥使用动态模型作为初始模型。
本文将软测量技术的主要应用分为四类：(1)过程难测参数的在线预测；(2)过程监测，即过程故障检测
与诊断；(3)传感器监测，即传感器故障检测及重构；(4)what-if 分析。
尽管软测量建模的方法很多，但一般可将其分为三类：基于机理知识的建模(白箱模型)；基于数据驱动的建模(黑
箱模型)；基于机理知识和过程数据相结合的混合建模(灰箱模型)。
第 2 章 基于多时段即时学习的自适应软测量建模方法
由于间歇过程具有非线性、时变性和多时段性等特征，传统的单模型和非自适应模型难以有效发挥作用。针对这种情况，将时段建模思想与即时学习相结合，以 KPLS为局部建模技术，提出了一种基于多时段即时学习的自适应软测量建模方法，即MJIT-KPLS。该方法首先基于高斯混合模型将间歇过程划分为多个时段，然后分别建立相应的局部即时学习框架，在线应用时根据查询点关于不同时段的后验概率，选择最相关的局部即时学习框架用于预测。相对于传统的即时学习，新方法还提出了多种改进措施：定义了一种融合时段相似度与样本相似度的混合相似度以更好地评价样本相似性；基于在线交叉验证提出了一种自适应样本选择策略，在改善预测性能的同时提升模型的自适应特性；提出了一种基于最大相似度替换原则的数据库更新策略；给出了一种基于偏互信息指标的变量选择方法以进一步完善该建模框架。
第 3 章 基于在线局部学习的自适应软测量建模方法
第 4 章 基于多模型在线支持向量回归的自适应软测量建模方法
第 5 章 基于在线集成高斯过程回归的自适应软测量建模方法
第 6 章 基于双重学习的在线集成自适应软测量建模方法
（未完待续......）