PRML读书感悟

    PRML入门小生一枚，属于后知后觉的那类，所以看这种书特别慢，前四章特别重要，到现在是第三遍在看了，今年一定要把前四章吃透！当然进度也很重要ToT...

    对PRML不熟悉可能有这么几个原因：

   ①对概率论一些本质问题没有弄清楚

   ②对一些概念没有弄清楚就跳过去

   ③死磕在一些问题上卡壳

   ④智商问题...

ⅠIntroduction

1、关于频率学派和贝叶斯学派，今天在这章看到了一个观点：

     In Frequentist：a fixed parameter，possible data sets D

     In Bayesian：the uncertainty in the parameters is expressed through a probability distribution over w，only a dataset D

     体会到了重复试验和从一次经验中提取的概率区别，sets和set的区别

2、关于最大似然估计的思想和在PRML中的地位和限制：

     一般来说，我们用参数去估计观察值，而似然估计是用观察值去估计参数

    "Later in this chapter,and also in subsequent chpters,we shall highlight the significant limitation of the maximum likehood approach."

3、关于高斯分布在PRML中的地位：

    "We shall make extensive use of this distribution in the remainder of ths chapter and indeed throughout much of the book."

4、关于平时看到论文和书中经常提到的“可解释性”(Interpretative)：

    就是要让分类直接的差距越大越好

5、好的模式识别应具备两个特点：

    ①较低维度但可以做出更好的区分

    ②平滑

Ⅷ Graphical Models

1、关于联合概率

①在图模型中，我们认为一个节点只和它的直接前驱有关系，这样就可以大大简化分析的过程。用这种思维，我们只需要考虑每个节点以及父节点之间的概率关系，最终生成联合概率。

②联合概率是信息最丰富的概率，在里面可以找到任何你想要知道的节点时间发生可能性（因为枚举了大多数)

③概率一直都不是凭空产生而是基于现实事件发生的可能性，形成一部分先验知识，继而得到先验概率。

④概率产生模式和判别模式

⑤边缘概率分布

2、关于概图模型的计算（Inference指的是计算）

①枚举法（Enumeration）

思想：将所有情况按顺序列举

优点：概率是精确无误的

缺点：往往计算复杂度高（当贝叶斯网络足够复杂时，未必能够算出来）；枚举法只适合离散而非连续

②消元法（Variable Elimination）

思想：传统的展开是自顶向下，那么类似递归总会有一些重复计算的项，怎么解决？我们采用自底向上的方式层层合并，直到根节点

优点：由于减少了部分重复计算而一定程度上降低了复杂度

缺点：有一定提高，但仍然麻烦

③无关变量法（Irrelevant Variables）

思想：无关变量不算在内

④使用采样思维（Sampling）

⑤拒绝式采样（Rejection Sampling）

⑥蒙特卡洛方法（MCMC）

思想：也是采样，但是通过这个直接生成后验分布，；有论文证明经过N次迭代后可以到达的一个状态