PRML读书感悟

    PRML入门小生一枚,属于后知后觉的那类,所以看这种书特别慢,前四章特别重要,到现在是第三遍在看了,今年一定要把前四章吃透!当然进度也很重要ToT...

    对PRML不熟悉可能有这么几个原因:

   ①对概率论一些本质问题没有弄清楚

   ②对一些概念没有弄清楚就跳过去

   ③死磕在一些问题上卡壳

   ④智商问题...

ⅠIntroduction

1、关于频率学派和贝叶斯学派,今天在这章看到了一个观点:

     In Frequentist:a fixed parameter,possible data sets D

     In Bayesian:the uncertainty in the parameters is expressed through a probability distribution over w,only a dataset D

     体会到了重复试验和从一次经验中提取的概率区别,sets和set的区别

2、关于最大似然估计的思想和在PRML中的地位和限制:

     一般来说,我们用参数去估计观察值,而似然估计是用观察值去估计参数

    "Later in this chapter,and also in subsequent chpters,we shall highlight the significant limitation of the maximum likehood approach."

3、关于高斯分布在PRML中的地位:

    "We shall make extensive use of this distribution in the remainder of ths chapter and indeed throughout much of the book."

4、关于平时看到论文和书中经常提到的“可解释性”(Interpretative):

    就是要让分类直接的差距越大越好

5、好的模式识别应具备两个特点:

    ①较低维度但可以做出更好的区分

    ②平滑

Ⅷ Graphical Models

1、关于联合概率

①在图模型中,我们认为一个节点只和它的直接前驱有关系,这样就可以大大简化分析的过程。用这种思维,我们只需要考虑每个节点以及父节点之间的概率关系,最终生成联合概率。

②联合概率是信息最丰富的概率,在里面可以找到任何你想要知道的节点时间发生可能性(因为枚举了大多数)

③概率一直都不是凭空产生而是基于现实事件发生的可能性,形成一部分先验知识,继而得到先验概率。

④概率产生模式和判别模式

⑤边缘概率分布

2、关于概图模型的计算(Inference指的是计算)

①枚举法(Enumeration)

思想:将所有情况按顺序列举

优点:概率是精确无误的

缺点:往往计算复杂度高(当贝叶斯网络足够复杂时,未必能够算出来);枚举法只适合离散而非连续

②消元法(Variable Elimination)

思想:传统的展开是自顶向下,那么类似递归总会有一些重复计算的项,怎么解决?我们采用自底向上的方式层层合并,直到根节点

优点:由于减少了部分重复计算而一定程度上降低了复杂度

缺点:有一定提高,但仍然麻烦

③无关变量法(Irrelevant Variables)

思想:无关变量不算在内

④使用采样思维(Sampling)

⑤拒绝式采样(Rejection Sampling)

⑥蒙特卡洛方法(MCMC)

思想:也是采样,但是通过这个直接生成后验分布,;有论文证明经过N次迭代后可以到达的一个状态



你可能感兴趣的:(PRML)