三、 似然函数

在 朴素贝叶斯分类器 和 最大似然估计和贝叶斯参数估计 中，我们都提到了 似然 这个词，那么这里就来详细讲一讲什么是似然。

似然（likelihood）和概率（probability）从字面上看非常相似，但是在统计中，似然与概率是不同的东西。

1 定义

似然函数是一种关于统计模型中的参数的函数，表示模型参数的似然性。似然函数是给定联合样本值 $x$ 下关于（未知）参数 $\theta$ 的函数：
$$L(\theta |x)=f(x|\theta )$$
$f(x|\theta )$ 是一个密度函数，表示 $\theta$ 下关于联合样本值 $x$ 的联合密度函数。

似然函数与概率密度的对比

对于函数 $P(x|\theta )$，从不同的观测角度来看可以分为以下两种情况：

• 若 $\theta$ 已知且保持不变，$x$ 是变量，则 $P(x|\theta )$ 称为概率密度，表示不同 $x$ 出现的概率
• 若 $x$ 已知且保持不变，$\theta$ 是变量，则 $P(x|\theta )$ 称为似然函数，表示不同 $\theta$ 下 $x$ 出现的概率，也写作 $L(\theta |x)$，或 $f(x|\theta )$

2 似然函数的求法

2.1 离散型随机变量的似然函数

假如离散型随机变量 $x$ 的分布率为 $P(x|\theta )$，样本集 $D$ 上有 $m$ 个样本，则 $D$ 上的似然函数为
$$L(\theta |D)=\prod _i^{m}P(x_i|\theta )$$

2.2 连续型随机变量的似然函数

假如连续型随机变量 $x$ 的概率密度函数为 $f(x|\theta )$，样本集 $D$ 上有 $m$ 个样本，则 $D$ 上的似然函数为
$$L(\theta |D)=\prod _i^{m}f(x_i|\theta )$$