机器学习中的一些概率论

条件概率

P(B|A)=13 表示的意思为当A发生的时候，B发生的概率
公式：
P(B|A)=P(AB)P(A)
P(AB)=P(B|A)∗P(A)=P(A|B)∗P(B)
P(A|B)=P(B|A)∗P(A)P(B)

全概率公式

B1,B2,B3……Bn 为样本空间的S的一个划分则可以得到
P(A)=P(B1)P(A|B1)+P(B2)P(A|B2)+……P(Bn)P(A|Bn)=∑ni=0P(Bi)P(A|Bi)

贝叶斯公式

P(Bi|A)=P(A|Bi)∗P(Bi)∑ni=0$P(A|Bi)
关于贝叶斯公式的几个理解和解释

P(A|B)=P(B|A)∗P(A)P(B)
其中P(A)的概率为先验概率，这个在机器学习中通常指的是某个分类出现的概率>

P(B|A)为条件概率，就是在A类中B发生的概率

P(A|B)为后验概率，具体指的含义为：当B事件发生了，这个时候来自A分类的概率是多少。

极大似然估计 maximum-likelihood

原理
利用已知的样本结构，去反推最大可能导致这样结果的参数值。极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ。记已知的样本集为：
D=x1,x2,x3,……xn
l(\theta)=p(D|\theta)=p(x_1,x_2,x_3……x_N| \theta )=\prod_{i=1}^{n}P(x_i|\theta)$$ 就是D的似然函数

ML 中如何求极大似然函数

求使得出现该组样本的概率最大的θ值。

$$ \hat{\theta}=argmax l(\theta)=argmax\prod_{i=1}^{N}P(x_i|\theta)
简单的理解，我们就是在已知是θ 发生的情况下让D序列出现的概率最大。而连乘不太好计算。我们可以做一下改变。

θ^=argmaxl(θ)=argmax∏i=1NP(xi|θ)=argmax(ln(∏i=1NP(xi|θ)))=argmax∑i=1Nln(P(xi|θ))