统计学习——联合概率分布

什么是联合概率分布

联合概率

联合概率表示为包含多个条件并且所有的条件都同时成立的概率，记作 $P(X=a,Y=b)$ 或 $P(a,b)$，有的书上也习惯记作$P(ab)$¹

联合概率分布

联合概率分布就是联合概率在样本空间中的分布情况。下面是百度百科上的定义：

联合概率分布简称联合分布，是两个及以上随机变量组成的随机变量的概率分布。根据随机变量的不同，联合概率分布的表示形式也不同。对于离散型随机变量，联合概率分布可以以列表的形式表示，也可以以函数的形式表示；对于连续型随机变量，联合概率分布通过非负函数的积分表示。²

上面是百度百科的解释，简单来说就是两个及以上的随机变量组成的关于随机变量的概率分布。

与条件概率的关系

$$P(X|Y)=\frac{P(X,Y)}{P(Y)}$$

对上面的解释就是，在满足$Y=b$ 的情况下$X=a$ 的概率。

与边缘概率的关系

$$P(X)=\sum _{i=1}^{N}P(X,Y)\cdot P(Y)$$

在统计学习中的作用

在统计学习，机器学习中，我们的目标就是找到两个随机变量的联合概率分布$P(X,Y)$ 。

比如说我们有一个模型，有输入变量空间$X=(x_1,x_2,...,x_n)$ 和输出变量空间$Y=(y_1,y_2,...,y_m)$ ，可能是离散的，可能是连续的。那么现在我们这个模型的作用就是在输入一个$x$的时候，能够给出一个$y$，也可以说我们这个模型的作用就是找到$X$和$Y$的联合概率分布$P(X,Y)$。那么我们就可以根据其联合概率得到条件概率，就可以得到 $P(Y|X)$，于是就可以利用这个条件概率找到给定一个$x$的情况下，最大可能的$y$是哪一个。

而我们上面的基本前提就是假设存在 $X$ 关于 $Y$ 的联合概率分布。如果根本就不存在这样的联合概率分布，那么这个模型也是个没有什么意义的模型。

---

1. https://blog.csdn.net/tick_tock97/article/details/79885868 ↩︎

2. https://baike.baidu.com/item/联合概率分布/12611723?fr=aladdin ↩︎