线性回归模型标准公式

用一组特征 x ( i ) { x^{(i)}} x(i)来预测或估计一个响应变量 y ( i ) y^{(i)} y(i),公式如下:
y ( i ) = θ T x ( i ) + ϵ ( i ) y^{(i)} = \theta^T x^{(i)} + \epsilon^{(i)} y(i)=θTx(i)+ϵ(i)
各名词解释:
y ( i ) y^{(i)} y(i):这是第 i i i个观察点的响应变量,也就是我们想要预测的目标值。
x ( i ) { x^{(i)}} x(i):这是一个特征向量,包含了与第 i i i个观察点相关的所有特征值。例如,在房价预测模型中,这些特征可能包括房屋的大小、位置、房间数量等。
θ θ θ:这是一个参数向量,包含了每个特征对预测结果 y ( i ) y^{(i)} y(i)影响的权重。在机器学习中,这些权重通常是通过训练数据学习得到的。
θ T θ^T θT:这表示参数向量 θ θ θ的转置。在数学中,一个列向量的转置变为行向量。在这个公式中,它允许我们将 θ θ θ与特征向量 x ( i ) { x^{(i)}} x(i)相乘,得到一个标量值。
ϵ ( i ) \epsilon^{(i)} ϵ(i):这代表误差项,是实际响应值 y ( i ) y^{(i)} y(i)与通过模型预测的 θ T x ( i ) \theta^T x^{(i)} θTx(i)之间的差异。在现实世界中,数据往往不会完美地落在一条直线上,误差项就是用来捕捉这些无法通过模型解释的变异性。

将这些组件结合起来, θ T x ( i ) \theta^T x^{(i)} θTx(i)表示给定特征向量 x ( i ) { x^{(i)}} x(i)时,模型预测的响应值。当我们把所有的特征 x ( i ) { x^{(i)}} x(i)与它们对应的权重 θ θ θ相乘并求和时,我们就得到了一个数值,这个数值是响应变量的预测值,或者说是我们期望的 y y y值。

y ( i ) y^{(i)} y(i)是实际观测到的响应值。理想情况下,如果模型是完美的,那么 ϵ ( i ) \epsilon^{(i)} ϵ(i)将会是0,这意味着所有的观测值都完全位于由参数向量 θ θ θ定义的模型预测的线上。然而,实际情况是,数据会有一些随机性或者是由于模型无法捕捉的因素造成的变异,这就是为什么我们需要 ϵ ( i ) \epsilon^{(i)} ϵ(i)来表示这些偏差。

在进行线性回归分析时,我们的目标是找到最佳的参数向量 θ θ θ,使得误差项的平方和最小,这也就是最小二乘法的原理。通过这种方式,模型能够尽可能准确地拟合训练数据,同时也能够对新的未见过的数据进行有效的预测。

你可能感兴趣的:(线性回归,机器学习,人工智能)