[Group testing]群组测试：毒药谜题

问题背景

这个问题在统计学和组合数学领域被称为群组测试问题(Group testing),问题源于二战时期，美国需要通过血样检测美军是否携带梅毒，但是当时血液检测耗时耗钱，将每个士兵的血液都检查一遍效率很低。考虑到携带梅毒的总归是少数，Rosenblatt和Dorfman提出将全部待检测士兵的血样分组混合后再检测，如果混合后的血样没有病毒，可以推定整个组都没有病毒，如此便能够减少不必要的检测。

将以上问题标准化描述如下：

• 给定集合N，其中有n个个体，每个个体要么是正例(Positive)要么是负例(Negative)，记其中正例个数为d。
• 目标：通过尽量少的测试次数，找出所有的负例。
• 群组测试(Group testing)：在N 的一个子集上测试（与在每个个体上测试相对）。

这样做有一个前提：d<< n；可以设想，如果一个集合N当中大多数都是正例，那你随便找个子集，大概率都是含有正例的， 那么就不能达到排除一个子集的效果，这个方法就失去意义了。

Katona在1976年介绍了一种矩阵表示法，只需要次测试即可检测出n个样本中的一个正例，并且证明的其最优性。这个方法就是被各个互联网公司面试题疯狂引用的1000瓶药中有一瓶有毒，要求用最少的小白鼠检测出这一瓶毒药的题目。我也刷过，但是不得不吐槽，起码对我来讲，倘若没见过这个题目的解法，要想自己独立思考出来，可以说是难如登天，即使有些人能够写下解法，但是这个“最优”一词，可能很少有人能说上来其中的原因。反正大加面试题抄来抄去，也没有认真想过为什么要出这么个面试题，可能面试官觉得自己已经背过了，不出给别人觉得浪费。

吐槽完了还是简单说说这个题目的解法，就免得部分同学再点到其他网页游览一圈了。将1000只老鼠用二进制的到编上序号，需要10位二进制码，然后把序号第1位为1的药混合在一起喂给老鼠1，....然后把序号第10位为1的药混合在一起喂给老鼠10。假设老鼠i死掉了，那么可以推定毒药的编号的第i位是1，把每只老鼠的实验结果综合起来，就能得到毒药编号的每一位，毒药就找出来了。另外，前述的此法所需测试次数 实际上就是所需二进制编码的位数。

一般，对上述从n个样本中寻找一个正例的问题，很容易能想到的就是采用二分法去寻找，把样本分成两份，分别进行群组测试，那么只有一个能包含正例，所以，排除一半，对另一半进行检测····使用此法也能在次检测结束后找到解。不过此法与Katona的方法区别在于，此法是多阶段的决策(adaptive Algorithm)，比如第二次对哪一拨进行测试，要根据第一次的测试结果来确定。但是Katona方法则不同，其在测试开始前即可确定全部的测试群组的划分(non-adaptive Algorithm)。

---

以上的只是一些老生常谈的问题，可能大家都看过无数遍了，我为甚么又要提起这个问题，还要谁个博文呢？主要是我昨天参加了IGG的线上笔试题，这个公司不走寻常路，出了一个这个问题的加强版，也就是在n个样本中寻找d个正例。这种题一下子就触及到我这样的刷题党的知识盲区了，因为之前没见过，要现场想出个解法太难了。

但是当时我还是大致写了个方法，不过不严密，当时也想的比较混乱。大致思想如下，既然已知其中有d个正例，我直接把样本随机分为d份，然后分别进行群组测试，按照鸽笼原理和统计学常识，这些正例恰好每组一个的概率是不太大的，所以能够淘汰掉一些群组。一直重复这个过程就能够排除掉很多负例。但是达到一定程度(在剩余样本里正例占比很大的时候)，就不能再采用分组测试了，应该采用单独测试。后来我去查阅文献，发现这个思想和文章[1]类似。

-信息论下界

从信息论讲，这个问题(仅有一个正例)一定有一个下界。因为每次测试只有两个输出信息---正例or负例，因此进行k次测试最多表示种信息状态，因此，至少要次测试才能获得足够的信息，因此，下界为。
同理，对于d个正例的情况，下界为。当然，下界一般而言是难以达到的。

解法1：可以简单地想到一种解法，利用二分法去解决，首先把n个样本分成两份进行检测，有毒（正例）的群组继续检测，没毒的部分排除，一直重复这个过程直到剩下的样本总数等于d，就找到所有的正例了。这个方法实际上就是算法中常用的剪枝的思想，剪枝越早，效率越高，假设你运气好，没走几步就只剩下d个可疑样本了，那就直接求出结果了。再来看看它的复杂度，由于其中只有d个样本是正例，那么在二叉搜索树的某一个层上最多只有d个节点能被检测出正例，而二叉树的深度是，所以复杂度为。而哪个IGG笔试的题目实际上就是要求这个复杂度，只能说考试总是这样，交卷了思维才会清晰起来，呵呵。

但是这个方法也不是没有问题，因为它是adaptive的，需要的时间复杂度是，也就是要进行至多次的试验。如果题目要求一次就测出来，那么就还需要一个提前决定测试分组的编码方案，并且在测试结果出来之后能够解码得出到底哪些是正例。由于我对类问题兴趣不大，所以暂时不想深究,有兴趣的可以去文献[3]尝试寻找答案。

最近比较忙，倘若日后有空再去看这个问题，如果你有了自己的见解欢迎分享给我，万分感谢。

//TODO

[1]: Li, Chou Hsiung (June 1962). "A sequential method for screening experimental variables". Journal of the American Statistical Association. 57 (298): 455–477. doi:10.1080/01621459.1962.10480672
[2]:https://en.wikipedia.org/wiki/Group_testing
[3]:Ding-Zhu, Du; Hwang, Frank K. (1993). Combinatorial group testing and its applications. Singapore: World Scientific. ISBN 978-9810212933.