计算机视觉-模型学习和推理笔记 第六章

《Computer Vision - Model Learning and Inference》笔记

第六章

计算机视觉的问题是根据视觉数据 $\mathbf{x}$ 推测现实状态 $\mathbf{w}$ 的过程

模型分为两种

• 根据视觉数据求现实状态概率分布 $Pr(\mathbf{w}|\mathbf{x})$ 的判别模型。

• 根据现实状态求视觉数据概率分布 $Pr(\mathbf{x}|\mathbf{w})$ 的生成模型。

示例1：假设$w$和$x$是连续的标量

判别模型：

我们设正态分布函数 $Pr(w|x,\mathbf{\theta })=Nor{m}_w[\mu ,{\sigma }^2]$。其中，参数 $\mu$ 为均值， ${\sigma }^2$ 为方差。它们决定了函数的形状，代入自变量$w$即可求得$w$处的概率密度。

若假定均值$\mu$和$x$成线性关系$\mu ={\varphi }_0+{\varphi }_{1}x$，则$Pr(w|x,\mathbf{\theta })=Nor{m}_w[{\varphi }_0+{\varphi }_{1}x,{\sigma }^2]$，这种方法称为线性回归。那么模型的参数集$\mathbf{\theta }=\{{\varphi }_0,{\varphi }_1,{\sigma }^2\}$，学习算法的任务就是利用数据集$\{x_i,w_i{\}}_{i=1}^I$进行拟合，求 $\mathbf{\theta }$ 。求好之后推理算法的任务很简单，就是把新数据 $x$ 代入，求得 $w$ 的概率分布。

判别模型的图像，颜色深度代表$Pr(w|x)$的大小

生成模型：

生成模型正好相反，若仍采用正态分布+线性回归，则设 $Pr(x|w,\mathbf{\theta })=Nor{m}_x[{\varphi }_0+{\varphi }_{1}w,{\sigma }^2]$ 。同理用数据拟合求得$\mathbf{\theta }=\{{\varphi }_0,{\varphi }_1,{\sigma }^2\}$。

假设 $w$ 也满足正态分布，$Pr(w)=Nor{m}_w[{\mu }_p,{\sigma }_p^2]$，用数据 $\{w_i{\}}_{i=1}^I$求出 ${\mathbf{\theta }}_{\mathbf{p}}=\{{\mu }_p,{\sigma }_p^2\}$。

求好后，推理算法用贝叶斯定理求新数据 $x$ 对应 $w$ 的概率分布：
$$Pr(w|x)=\frac{Pr(x|w)Pr(w)}{Pr(x)}$$

示例2：假设$x$是连续标量，$w$是离散标量

判别模型：

因为 $w$ 只能取0或1，我们可以使用伯努利分布。它的唯一参数$\lambda$表示$w$取1的概率。$Pr(w=1)=\lambda$。

同示例1，我们设$\lambda =f(x)$。由于概率$\lambda \in [0,1]$，我们先把x输入线性函数（结果属于R），再把结果给到sigmoid函数（结果在0和1之间）：
$$\lambda =Ber{n}_w[sig[{\varphi }_0+{\varphi }_{1}x]]=Ber{n}_w[\frac{1}{1+exp[-{\varphi }_0-{\varphi }_{1}x]}]]$$
这个操作称为逻辑回归。

这个模型的参数集合$\mathbf{\theta }=\{{\varphi }_0,{\varphi }_1\}$

生成模型：
不多解释。
$$Pr(w|,\mathbf{\theta })=Nor{m}_x[{\mu }_w,{\sigma }_w^2]$$
由于$w$只有2个值，可以直接写成：
$$Pr(w=0|,\mathbf{\theta })=Nor{m}_x[{\mu }_0,{\sigma }_0^2]$$
$$Pr(w=1|,\mathbf{\theta })=Nor{m}_x[{\mu }_1,{\sigma }_1^2]$$
先验概率：
$$Pr(w)=Ber{n}_w[{\lambda }_p]$$
学习算法计算参数集合：
$\mathbf{\theta }=\{{\mu }_0,{\sigma }_0,{\mu }_1,{\sigma }_1,{\lambda }_p\}$
推理算法用贝叶斯：
$$Pr(w|x)=\frac{Pr(x|w)Pr(w)}{{\Sigma }_{w=0}^{1}Pr(x|w)Pr(w)}$$