【西蒙计算机视觉学习笔记】线性回归模型

问题：回归问题，eg. 身体姿势估计的问题，输出的全局状态w（身体主要关节的角度）的每个元素都是连续的。

目的：根据观测值x来估计一元全局状态w，eg. 根据观测到人的处于未知姿势图像来估计身体角度。

1. 通过分割图像得到剪影。
2. 通过跟踪剪影的边提取轮廓。
3. 提取一个根据形状的上下文描述符描述形状的100维测量向量x。
4. 估计包含身体主要关节角度的向量w（十几种，分别估计各个关节的角度）。

模型的种类：

1. 判别模型——根据观测的数据x预测关于全局状态w的后验分布Pr(w|x)。
2. 线性回归模型：假设全局状态和数据的关系是线性的；该预测的不确定性为一个具有常数协方差的正态分布。

建模：

1. 因为全局状态w是一元连续的，所以可以选择全局状态w的一元正态分布。
2. 为了使分布的参数依赖于数据x，这里令均值μ是数据x的线性函数φ_0+φ_1·x，方差σ^2为常数。

        据此，构建关于全局状态w的后验分布，其中有I个样本，每个数据向量x有D维，向量φ的每一个分量代表D个数据维度中每一维的梯度：

        由于每个训练样本被看成是独立的，因此我们可以将整个训练样本集的概率Pr(w|X)写成单个对角协方差的正态分布：

 ① 

学习：

学习方法：最大似然法。

训练样本： 。

待估计的模型参数：

        对数函数式单调变换，因此它不会改变最大值的位置，并且变换后的这个成本函数更容易优化。将模型①代入，得：

 ②

推理：

对于新的数据X*，代入并计算包含上述参数②的关于待预测的全局状态w*的后验分布Pr(w*|x*)即可。

缺点及改进：

• 模型的预测过于自信。例如，φ的一点变化会使预测结果发生巨大变化，但φ的这个不确定性却没有反映在后验分布中。通过贝叶斯方法改进，详见【西蒙计算机视觉笔记】贝叶斯线性回归
• 局限于线性函数。通常并没有特殊原因能使得视觉数据和全局状态是线性关系。
• 当观测数据x是高维数据时，该变量的许多元素可能会失去对预测全局状态的作用，因此得到的模型过于复杂。