机器学习中常见的概率分布

这篇博客主要整理的是指数族分布

高斯分布

首先当然是高斯分布(Gaussian distribution),也叫正态分布(normal distribution)

这是最著名也是最常用的分布了。

用均值和方差可以描述高斯,下图为高斯分布。

机器学习中常见的概率分布_第1张图片

高斯分布在机器学习中应用十分广泛。一般情况下,我们往往假设数据符合高斯分布。比如,当数据符合高斯分布时,最大似然和最小二乘法等价。

当数据分布比较复杂,高斯分布不足以描述时,我们常常使用混合高斯分布(Mixture Gaussian distribution),也就是组合使用多个高斯分布。下图混合了三个方差相同、均值不同的高斯分布。

机器学习中常见的概率分布_第2张图片

 

伯努利分布(类别分布)

机器学习最常见的使用场景之一是分类问题。如果我们将一个数据点属于某个分类记为1,不属于某个分类记为0。那么,由于该数据点要么属于某个分类,要么不属于某个分类,两者必居其一,因此该数据点的分类要么是1,要么是0. 这符合伯努利分布(Bernoulli distribution)。因此,伯努利分布也是机器学习中的常用分布。

形式化的定义为:

若随机变量的取值仅有1和0,(相应的概率为θ和1 - θ),那么该随机变量满足伯努利分布,遵循以下概率分布函数:

 

二项分布(多项式分布)

相应地,只有两个可能结果的随机试验称为伯努利试验(Bernoulli trial)。一系列独立的n项伯努利试验的结果满足二项分布(Binomial distribution)。实际上,当n=1时,二项分布即为伯努利分布。

机器学习中常见的概率分布_第3张图片

贝塔分布

上面的伯努利分布和二项分布都是离散概率分布。当我们需要处理连续概率分布时,常常使用贝塔分布(Beta distribution)

 

机器学习中常见的概率分布_第4张图片

贝塔分布是定义在[0, 1]区间上的连续概率分布。而[0, 1]恰好是概率的取值范围(0%到100%)。这也就意味着,贝塔分布适应用来描述概率的概率分布——也就是先验,你不知道具体的概率,但对概率的分布有一些猜测。

狄利克雷分布(Dirichlet 分布)还叫多元Beta分布(multivariate Beta distribution)

机器学习中常见的概率分布_第5张图片

机器学习中常见的概率分布_第6张图片

机器学习中常见的概率分布_第7张图片

伽玛分布(Gamma 分布)

伽玛分布(Gamma Distribution)是统计学的一种连续概率函数,是概率统计中一种非常重要的分布。“指数分布”和“χ2分布”都是伽马分布的特例。

Gamma分布中的参数α称为形状参数(shape parameter),β称为逆尺度参数。 

这篇博客写的蛮好的,懒得整理了https://blog.csdn.net/chenshulong/article/details/79027103,

下面是分布的形状:

机器学习中常见的概率分布_第8张图片

机器学习中常见的概率分布_第9张图片

 

你可能感兴趣的:(机器学习中常见的概率分布)