「模型思维」 part 1 多臂老虎机

最近在读一本新书，斯科特·佩奇的《模型思维》，这是一本比较花时间，也比较乏味的书，但如果能够耐得下心去仔细阅读的话，一定能够帮你建立起比较重要的模型思维。

模型思维

其中，今天先介绍其中一个模型，叫「多臂老虎机」模型。

多臂老虎机

本质上想解决的问题是面对多个备选方案，我们如何平衡探索和利用，找出一个使得预期收益最高的备选方案，根据有无先验信念分为伯努利型和贝叶斯型，前者通过试验来获得信心，后者通过试验后得到的实际收益来更新之前对各个备选方案的信念，然后用吉廷斯指数来衡量在当下采取不同的选择方案对应的未来最终总收益。

image

多臂老虎机来源于这样一个场景，假设说你来到赌场玩老虎机，每个老虎机玩一次需要接收一枚硬币，而你共有T枚硬币，理论上可以玩T次，假设说老虎机中奖的概率是（这里的i是指第i台老虎机），而这个概率分布是不知道的，你要如何分配在每台老虎机上面的尝试次数以获得最高的期望收益呢，每台老虎机的中奖概率都不同（否则就不用考虑分配问题了）

根据你对老虎机的收益分布是否有先验的信念可以分为伯努利多臂老虎机问题和贝叶斯多臂老虎机问题，其对应的就是频率派和贝叶斯派，其根本出发点不同，前者认为每台老虎机的收益和概率都是未知的（伯努利瓮），后者认为在做实验之前就对整体的期望收益分布有了先验信念。

伯努利多臂老虎机

前提是我们认为我们并不知道每个备选方案的收益情况，每个备选方案都是一个伯努利瓮（白球和黑球的比例是未知的）。在这种情况下我们如何去平衡好「探索」（继续寻找最优方案）和「利用」（利用目前探索的结果去选择最优的方案）。

在这种情况下，有两种方式去探索和评价。
第一种是取样并择优启发式（sample-then-greedy），这种启发式算法如名字所说，尽可能地多做实验，然后根据结果以及尝试次数的大小定出不同备选方案的差异，以及该差异的置信水平。
比如对每个方案都尝试M次，平均比例的标准差为std，这个平均比例也可以认为是差异为0的那个中心（比如图中就是不同方案的收益的差异的分布），这个标准差有个上限，比如说尝试100次，其中方案A的收益是70%，方案B的收益式50%，收益的差异是20%，然后计算出来是5%，因为差异都已经到了20%，这个时候我们就有95%的把握说明方案A是显著好于方案B的。

这种启发式算法的缺点在于对于结果明显比较差的方案还进行了很多没有必要的实验，可以看得到，如果较差的方案B连续10次都表现比A差，那还有必要试到100次得出一个信心吗？

第二种启发式是自适应探测率启发式（adaptive exploration heuristic）。所谓自适应就是随着前一阶段的结果去动态调整后面一次实验的一些参数或者计算方案。
它的工作流程是这样的：
第一阶段，让各个方案各自试验10次，得出每个方案的成功率，比如说A方案成功了6次，B方案成功了2次。
第二阶段，根据前面各个方案的成功率去重新分配每个方案的实验次数，假设说第二轮总共还进行20次实验，这个时候A方案获得次的实验机会，而B方案则获得5次的实验机会，然后又计算出这一轮的各个方案的成功率。
第三阶段，还是一样的，只不过这次的尝试次数的分配概率以平方形式更新，假设说这里的成功率跟上一轮一样，那就是。

以此类推，这样的算法相对于第一种算法有不少改进，如果某个方案已经明显表现出来了比较差的水平，那在接下来的试验当中就不会再浪费过多的精力和时间在较差的方案上面了。

image

贝叶斯多臂老虎机

量化了探索的价值，探索后获得的新的收益可以用来更新关于收益分布的信念。

吉廷斯指数指的是假设说按照当前掌握的信息采取最优行动，未来获得的总期望收益。

image

image

image

在采取行动时，我们更加关心的是备选方案成为最优选择方案的概率而不是期望收益。

其实这有点类似于到底是看长期还是看短期收益，以上面为例子，如果只选择一期的话，选择方案B的话就会计算起来期望收益很低，应该选择A方案，但是如果是看10期的长期奖励的话，那么第一步应该选择B方案，这也是强化学习的本质。

这个模型告诉我们，就算某个高收益的备选方案的成功率比较低，你也应该持续去选择它，在早期阶段尤其是这样。
这一点其实可以用来帮助我们到底是毕业去考公务员，去找安稳的工作还是去激烈的竞争公司当中拼杀，年轻人早期最好就是去找高收益的备选方案。如果采取行动没有额外风险，就算高收益备选方案的成功率低，我们也应该持续尝试。

正如写知乎文章，微信公众号文章一样，成为爆款的成功率低，但是也应该持续尝试，因为带来的收益相当可观。

image

模型的意义在于指出我们直觉上可能存在的误差，直觉上可能觉得应该做什么或者说知道该做什么但实际做的不是这样，模型会给出一定的参考意见，而这些参考意见是基于过去数据的模式化。·