机器学习-Bayesian概念学习

这篇文章中我想由beta分布-二项分布这组常用的共轭分布来介绍Bayesian概念学习(concept learning)。在开始之前，我想先回答两个问题。

第一，机器学习中为什么要引入概率？

在机器学习中，我们通过已知的信息希望能够推断出一些未知的信息，但在推断过程中有时并不能唯一确定目标值，这时便可以使用概率来体现各个可能目标值的可能性。例如，KNN(K Nearest Neighbors)分类问题中，已知平面中的N个点Xi和它们的类别Yi，希望根据这些信息来推断平面上其他点X的归类，做法是观察离X最近的K个已知的Xi，若这K个Xi中有2个属于类别A，则我们说X属于类别A的概率为2/K。通过引入概率，可以避免只给出一个确定值而造成偏颇，同时又由概率值大小告诉我们可能性大小，可以让我们有进一步判断的根据。

第二，什么是概念学习？

很多时候我们在学习的时候只有正项的反馈，比如孩子认识花朵的过程，父母会告诉他“XX是一朵花”，而很少会主动告诉他“XX不是一朵花”，再比如我们中学时学习解数学题的方法M时，老师总是教我们“XX题要用方法M来解”，而较少教我们“XX不要用方法M来解”，这里的“花”和“可以用方法M来解的题”就可以看做是一个“概念”。在给定一些属于这个概念C的一些实例(正项的反馈)时，我们希望由此来估计这个概念到底可以包含哪些实例。

Bayesian概念学习就是解决在仅给出正项实例时的学习问题。

我们可以将概念C理解为包含它所有实例的集合，那么给定的正项实例就可以看做是集合C中的一些元素，我们希望由部分元素来推断集合C到底是什么。假如已知集合C包含4,8,16这三个元素，那么集合C可能是什么？有很多种可能性，它可能是全体偶数，所有4的倍数，所有整数，也可能是{2,4,8,16}，还有可能是{4,5,8,16}，或者全体偶数再并上55。但从集合C作为一个概念来讲，它是全体偶数、所有4的倍数或是所有整数都有其合理性，但后三种情况不太合理，虽然我们不能说这些情况不可能发生。于是在不考虑已知实例的情况下，集合C可能的选择是有一个概率分布的，上面举的前3种情况概率值较高，而后三种情况概率值较低，这个概率分布称为这个概念C的先验(prior)。在先验和已知的数据下，我们进行推断，这就是Bayesian概念学习。

在一般的问题中，概念C所有可能的选择可能具有同一个形式，并带有某个参数c，则概念C的先验分布就可以看做是参数c的概率分布，二者是同一个意思，下面用beta-binomial这组共轭分布来具体阐释一下。

假设我们投掷硬币，出现正面(1)的概率是c，则出现负面(0)的概率是1-c，则每次投掷硬币的结果服从Bernoulli分布Ber(c)。另外我们有数据D，D包含了N次投掷硬币得到的结果，即D={X_1,...X_N}，而每个Xi都服从Ber(c)。在这个例子中，概念就是投掷这个硬币可能出现的情况，即在已有数据D的情况下我们希望推断出以后(下一次或以后多次)投掷硬币出现的情况，即出现正面的概率，而这是与c的取值是息息相关的。首先，在给定c的情况下，数据发生的概率(称作likelihood)为

N1、N0为D中出现1和0的次数，N1+N0=N。在已知投掷总次数N的情况下，给出X_1,...,X_N的具体的值和给出N1对估计c的作用是一样的，这里N1的值叫做c的充分统计量，而N1服从二项分布Bin(N,c)，即

在计算有了D之后c的可能性之前，我们希望给c一个先验，在先验中表达我们对它的理解。首先c是Bernoulli分布的参数，它的取值范围是[0,1]，为了简化计算，我们取c的先验具有和likelihood一样的形式，一个很自然的选择就是令它服从某个beta分布Beta(a,b)，即

这也就是为什么beta分布是二项分布的共轭分布。

则在给定数据之后对c的估计(称之为posterior,后验)，由Bayes法则可得

则我们对c的估计有下面几个常用的值

分别对应于c的极大后验估计、极大似然估计和后验均值估计。这几类估计值的使用范围都很广泛，值得一提的是如果我们仅用数据D来估计下一时刻投掷结果X=1的概率为

即X服从Ber(E[c|D])分布，也即，用数据来估计未来值时，和代入后验均值的效果是相同的，并且积分的过程也会解决一部分overfitting的问题。

这时候会有一个问题，我们在将先验定为共轭分布时主要为了使后验分布计算方便，那这样的设置是否合理呢？一个可行的解决办法是取先验分布为共轭分布的线性组合，这至少可以在取均值估计时同时兼顾合理性与运算简便性。另一组常用的共轭分布Dirichlet-multinomial的情况非常相似，不再赘述。

Reference:

Machine Learning-A Probabilistic Perspective, Kevin P. Murphy, 2012.