2.1 Binary Variables

碎碎念:这节二元分布折腾了我好一整子,因为直接看英文,后面再看中文翻译,折腾得够呛的,不过现在看到英文虽然还是很怕,但下意识不是跳过了,而是会硬着头皮读下去,至于读不读得懂又是另一回事啦!虽然还有一大部分内容还有四五十页,不过,嘿嘿,我打算着手中文了,要不我真的快被榨干了(┬_┬)

repost : the link between Bayes'theorem and maxmizing likelihood function

repost : the introduction about the Bernoulli distribution & Binary Variables & Multinomial Variable & beta distribution & Dirichlet Distribution

Bayesian threorems(贝叶斯定理)

2.1.1

在机器学习的应用中,它属于后验概率(posterior distribution), 表示事情已经发生的结果下,它属于哪类。

其中,

Prior probability (先验概率)

Class-conditional-probability (类条件概率)

Posterior probability(后验概率)

因为分子为正数,对后面的估计没有影响,即后验概率与(先验概率x类条件概率)成正比关系,即共轭性(conjugacy)。

但是,实际问题中我们获取的数据可能只是有限数目的样本数据,而先验概率和类条件概率都是未知的,如果仅仅根据样本数据分类时,我们必须先对先验概率和类条件概率进行估计,再套用贝叶斯公式,先验概率比较简单,而类条件概率比较难,信息是随机的,样本数据不多,这样我们就要将其转换为估计参数,其中最大似然估计就是一种较好的估计方法。


the beta distribution(贝塔分布) ——  the prior probability

其中gramma function是为了保证beta distribution的归一化(normalized),其定义如下:

2.1 Binary Variables_第1张图片
百度百科


2.1 Binary Variables_第2张图片
百度百科

(3)保证beta distribution 归一化(normalizedS):

2.1 Binary Variables_第3张图片

Why introduce the beta distribution :

为了找到一种先验概率与后验概率(即贝叶斯公式)有着相同的公式形式,从而符合共轭性,如果找到这样的函数,则这样的函数会有很多有用的性质,所以,我们找到了 beta distribution,与后验函数有着相同的函数形式,如下:

the mean(均值) and variance(方差)of the beta distribution are given by:

2.1 Binary Variables_第4张图片

其中,a and b are often called hyperparameters(超参数),控制参数:

2.1 Binary Variables_第5张图片
来源《PRML》Figure 2.2

Maximum likelihood estimation —— the posterior dristribution

2.1 Binary Variables_第6张图片

why introduce the MLE:

由Bayesian threothm的思路,类条件概率比较难,信息是随机的,样本数据不多,这样我们就要将其转换为估计参数,其中最大似然估计就是一种较好的估计方法

最大似然估计目的是:利用已知的样本结果,反推最有可能导致这样结果的参数值

最大似然估计原理是:给定一个概率分布D,假定其概念密度函数(连续分布)或者概率聚集函数(离散分布)为fD,以及一个分布参数θ,我们可以从这个分布中抽出一个具有n个值的采样X1,X2,…,Xn,通过利用fD,我们就能计算出其概率: 

最大似然估计会寻找关于θ的最可能的值(即,在所有可能的θ取值中,寻找一个值使这个采样的“可能性”最大化)。

要在数学上实现最大似然估计法,我们首先要定义可能性:并且在θ的所有取值上,使这个函数最大化。这个使可能性最大的值即被称为θ的最大似然估计。

计算 maximum likelihood estimation 的步骤如下:

(1)写出似然函数:


(2)取对数:

对求导数(derivative)并令其为0:

2.1 Binary Variables_第7张图片

此方程为对数似然方程。解对数似然方程所得,即为未知参数 的最大似然估计值。同时,为样本均值(sample mean)。

注:the difference between the maximum likelihood function and binomial distribution :

二项分布的似然函数为(就是二项分布除归一化参数之外的后面那部分,似然函数之所以不是pdf,是因为它不需要归一化)。

Bernoulli distribution(伯努利分布):

2.1.2



2.1 Binary Variables_第8张图片

你可能感兴趣的:(2.1 Binary Variables)