高斯过程回归 | 高斯过程回归（Gaussian Process Regression）

高斯过程回归（Gaussian Process Regression）是一种非参数的回归方法，它基于高斯过程模型来建模数据的分布情况。在高斯过程回归中，假设数据点之间的关系服从多元高斯分布。

具体来说，考虑有一组输入变量X和对应的输出变量Y，我们希望通过这些已知数据点来建立一个模型，进而预测未知输入变量对应的输出变量。高斯过程回归的目标就是要估计在给定输入变量X的情况下输出变量Y的条件分布。

高斯过程回归的关键在于定义一个核函数（也称为协方差函数），用于度量不同输入变量之间的相似性。常用的核函数有线性核、多项式核、高斯核（也称为径向基函数核）等。通过核函数，可以计算任意两个输入变量之间的协方差。

在使用高斯过程回归进行预测时，通过计算输入变量的协方差矩阵以及已知数据点的输出变量的协方差矩阵，可以得到未知输入变量的输出变量的均值和方差。均值表示对应输入变量的预测输出，方差表示预测输出的不确定性。

高斯过程回归具有较好的灵活性和泛化能力，可以适应各种不同的数据分布和模式。此外，高斯过程回归还提供了对预测结果的不确定性估计，对于决策和控制问题具有重要意义。

在实际应用中，高斯过程回归可以用于机器学习、数据挖掘、优化等领域，特别适用于小样本、非线性、噪声较大的问题。

多元高斯分布
一元高斯分布

按照中心极限定理，当对大量独立同分布的随机变量进行相加和归一化时