多保真度建模的层次回归框架

目录

一、概括

二、方法

2.1. 用于双保真建模的分层回归函数

2.1.1. 低保真(LF)模块

2.1.2. 数据连接(DC)模块

2.1.3. 降维(DR)模块

2.1.4. 高保真(HF)模块

 2.2. 多保真度建模的递归方法


一、概括

        本文提出了一个用于多保真度建模的分层回归框架,该框架结合了用于双保真度建模的分层回归器和将得到的双保真模型扩展到多保真度情况的递归方法。

二、方法

本节首先介绍用于双保真建模的层次回归函数,然后提出了一种递归方法将得到的双保真模型扩展到多保真模型的情况。

2.1. 用于双保真建模的分层回归函数

符号设置如下:

z_i^L:=(x_i^L,y_i^L)(i=1,...,I)z_j^H:=(x_j^H,y_j^H)(j=1,...,J)J\ll I

目的:学习一个y,使得对于任意x,都有y(x)与相对应的高保真数据尽可能地近似。

为此,作者提出了一个分层回归器的双保真建模来解决这个问题。该回归器包含四个模块:低保真(LF)模块、数据拼接(DC)模块、降维(DR)模块和高保真(HF)模块(见图1)。这些模块的详细信息如下所示。

2.1.1. 低保真(LF)模块

        为了从不同的角度获取输入的LF信息,LF模块将原始LF样本集\mathcal{Z}^L\subset \mathbb{R}^d\times \mathbb{R}转换为K个新的样本集\mathcal{Z}^L_k\subset \mathbb{R}^{d'}\times \mathbb{R}(k=1,...,K),然后根据每个转换后的样本集\mathcal{Z}^L_k学习LF模型g_k:\mathbb{R}^{d'}\rightarrow \mathbb{R}

        这里作者提出了一种确定性的样本分布变换方法——AdaBoost。AdaBoost提供了一个非常合理的方法来将原始LF样本集\mathcal{Z}^L转换为新的,并且在每次迭代中更新的样本分布编码不同的LF信息。具体来说,原始样本集\mathcal{Z}^L以迭代的方式被转换成\mathcal{Z}^L_k(k=1,...,K),对于任意k,样本z_i^L的概率根据下式更新:

        其中L_k(z_i^L)是第i个样本z_i^L的损失l_k (z_i^L)的函数,\beta_k:=\frac{\bar{L}_k}{1-\bar{L}_k} \ \ with\ \bar{L}_k = \sum_{i=1}^{I}L_k(z_i^L)P_k(z_i^L)Z_k := \sum_{i=1}^{I}P_k(z_i^L)\beta_k^{1-L_k(z_i^L)}是一个归一化因子。另外,L_k(z_i^L)通常用以下形式:

多保真度建模的层次回归框架_第1张图片

然后,利用变换后的样本集\mathcal{Z}^L_k分别对LF模型g_k进行训练。本文将LF模型g_k设置为随机森林(RFs),也可以根据应用需求将其设置为其他类型的回归器。

2.1.2. 数据连接(DC)模块

         DC模块连接输入x和其对应的LF模块输出g1(x), g2(x),…, gK (x)得到一个新向量:

因此上式的维度一般是很高的,这导致HF模块在高保真数据很少的情况下很难被训练好,因此要先对其进行降维。

2.1.3. 降维(DR)模块

        利用PCA降维:s(x):=Q\hat{s}(x)表示降维后的输入。

2.1.4. 高保真(HF)模块

        利用产生的高保真样本{(s(x^H_j),y_j^H)}_{j=1}^J训练HF模型,由于HF样本的大小有限,作者采用了对大样本容量需求相对较小的回归器,如SVR、Lasso和梯度boosting (GB)。

多保真度建模的层次回归框架_第2张图片

在算法1和2分别概述了用于双保真建模的分层回归器的训练和测试工作流程:

多保真度建模的层次回归框架_第3张图片

 2.2. 多保真度建模的递归方法

        递归方法利用得到的双保真模型来解决不少于三个保真级别的多重保真问题。在不丧失一般性的前提下,本文只考虑三保真度建模问题,保真度更高的建模问题也可以用类似的方法求解。

符号设置:

多保真度建模的层次回归框架_第4张图片

三保真建模的递归方法如下所述,从第t次迭代开始(t ≤ T):

step 1:使用算法1基于\mathcal{S}_0^L\mathcal{S}_{t-1}^M生成一个MF模型h_t^M,然后得到一个新的LF样本集\mathcal{S}_t^L=\{(x_i^L,h_t^M(x_i^L))\}_{i=1}^{I_1}。也就是说,对于\mathcal{S}_0^L中的每个x_i^L,其原始的LF响应y_i^L被替换为h_t^M(x_i^L)(i=1,...,I_1).

step 2:通过再次使用算法1,基于\mathcal{S}_t^L(or\ \mathcal{S}_t^L\cup \mathcal{S}_0^M) \ and\ \mathcal{S}_0^H得到HF模型h_t^H,然后更新原始MF样本集\mathcal{S}_0^M\mathcal{S}_t^M:=\{x_i^M,(1-\eta )y_i^M+\eta h_t^H(x_i^M)\}_{i=1}^{I_2}。具体来说,对于在\mathcal{S}_0^M的每个x_i^M(i=1,...,I_2),它的原始MF响应y_i^M被替换为(1-\eta )\cdot y_i^M+\eta\cdot h_t^H(x_i^M),其中\eta \in(0,1]为控制MF响应变化的学习率。

step 3:增加迭代次数:t = t + 1。

        当满足终端条件(即t = T)时,这个迭代过程将停止,最终的h_T^H就是得到的HF模型(参见图2)。

多保真度建模的层次回归框架_第5张图片

该方法利用每次迭代得到的HF(MF)模型迭代更新MF(LF)样本的响应。通过这种方式,HF信息以相对较低的保真度传播到样本中,从而提高样本质量,最终得到准确的HF模型。

 

你可能感兴趣的:(回归,数据挖掘,人工智能)