PRML 学习感悟

Overview

Chap 2: Distribution and non-parametric models

Chap 3: Generalized Linear model

其实所谓的广义线性模型 (GLM) 就是 ”1.5“ 层的神经网络。书中对于 GLM 的定义如下：

ŷ=w0+∑iwi⋅ϕi(x)(1) (1) y ^ = w 0 + ∑ i w i ⋅ ϕ i ( x )

而不管是什么基函数（base function） ϕi(x) ϕ i ( x ) ，其形式都是先过一层仿射（affine，也就是线性变换加一个 bias），再过一层非线性函数，最后这是一个对于 ϕ(x) ϕ ( x ) 的仿射变换。其实这就是如下的神经网络：

因此，就一般的使用上，我认为完全可以用 DNN 代替 GLM 了，至于另外的价值，我认为在 GLM 的贝叶斯（Bayesian）统计分析上，而这些统计分析于基函数（base function）的选取也是无关的。