哈工大机器学习复习（二）

概率论

利用概率量化机器学习任务在推理中遇到的不确定性

样本空间S-所有可能的结果（可以是有限或无限的）

事件A-S的任一子集

公理化概率论定义：

• 0≤P(A)≤1
• P(ϕ) = 0
• P(S) = 1
• P(A U B) = P(A) + P(B) – P(A ∩ B)

随机变量是将一个唯一的数值X(ω)与实验的每一个结果ω∈S关联起来的函数。

 

用的最多的还是高斯分布，密度函数为,

链式法则：P(A ∩ B) = P(A|B) P(B)，如果A和B相互独立，P(A|B)=P(A)

条件独立：P(A ∩ B|C) = P(A|C) * P(B|C) ≡ P(A|B,C) = P(A|C)

贝叶斯定理：

贝叶斯定理的更一般形式：,           

 

iid 数据的参数学习

目标：从独立同分布的（iid），完全观察的训练案例的数据集估计分布参数θ

• MLE
• 
• 选择最有可能生成我们看到的数据的参数设置：
• 目标函数：
• 我们需要最大化这个w.r.t. θ
• 对θ求偏导，设偏导数为0，求得θ的值

如果先验是一致的，MLE=MAP