人工智能应用案例学习6

此文也是接续前文继续学习Go Further在githup提供的学习资料，需要不断完善理解建模思想。

围棋建模方案优化：

接上文提到使用CNN模仿人类下棋构建的模型存在学会臭棋的问题，据Aja Huang本人说，这个网络的棋力大概相当于业余6段所有的的人类选手，远远未能超过当时最强的围棋电脑程序CrazyStone。Aja Huang的老师Remi Colulum在2006年对围棋AI做出的另一大重要突破《Efficient Selectivity and Backup Operators in Monte-Carlo Tree Search》，也就是蒙特卡洛搜索树（Monte-Carlo Tree Search）。

蒙特卡洛搜索树（Monte-Carlo Tree Search）基本思想是：

首先模拟一盘对决，使用的思路是：随机。

当面对一个空白棋盘s0，最初对棋盘一无所知，假设所有落子的方法分值都相等，并设为1。

之后，随机从361种方法（即棋盘位置）中选一种走法a0，在这一步后，棋盘状态变为 s1，之后假设对方也和自己一样，随机走了一步，此时棋盘状态变为s2。

重复以上步骤直到 sn，并且双方分出胜负，此时便完整的模拟完了一盘棋，用变量r记录此轮下棋结果，胜利记为1，失败则为0。

那么此行为可转化为，如果这一盘赢了，那意味着这一连串的下法比对面要明智一些，毕竟最后赢了，那么把这次落子方法 (s0,a0)记下来，并把它的分值变化：

                                                        公式1：新分数=初始分数+r

同理，可以把之后所有随机出来的落子方法 (si,ai)都应用公式1，即都加1分。之后开始第二次模拟，这一次，我们对棋盘不是一无所知了，至少在 s0状态我们知道落子方法 a0的分值是2，其他都是1，我们使用这个数据的方法是：在这次随机中，我们随机到a0状态的概率要比其他方法高一点。

之后，我们不断重复以上步骤，这样，那些看起来不错（以最后的胜负来作为判断依据）的落子方案的分数就会越来越高，并且这些落子方案也是比较有前途的，会被更多的选择。

如上述公式所述，n=19(棋盘大小)，每一个状态 s都有一个对应的每个落子点a（a也是19*19个状态）的分数，只要模拟量足够多，那么可以覆盖到的 s状态就越多，漏洞（未覆盖到的位置状态）就越来越小。

最后，当进行了10万盘棋后，在此状态选择分数最高的方案落子，此时，才真正下了这步棋。这种过程在论文里被称为Rollout。

Aja Huang很快意识到这种方法的缺陷在哪里：初始策略（或者说随机的落子方式）太过简单。人类对每种s(棋型）都要更强的判断能力，那么我们是否可以用 P(s)来代替随机呢？

Aja Huang改进了MCTS，每一步不使用随机，而是现根据 P(s)（备注：此处P(s)是前文提到的模拟人类棋谱学习到的每个s对应的a）计算得到a可能的概率分布，以这儿概率为准来挑选下一个a。一次棋局下完之后，新分数按照下面的方式来更新

                                        公式2：新分数=调整后的初始分+通过模拟的赢棋概率

如果某一步被随机到很多次，就应该主要依据模拟得到的概率而非 P(s)，就是说当盘数不断的增加，模拟得到的结果可能会好于P(s)得到的结果。

所以 P(s)的初始分会被打个折扣，这也是公式2中的调整后的初始分的由来

                                            公式3：调整后的初始分=P(s)/(被随机到的次数+1)

如此一来，就在整张地图上利用P(s)快速定位了比较好的落子方案，也增加了其他位置的概率。实际操作中发现，此方案不可行，因为计算这个P(s) 太慢了太慢了（此处所指太慢不是太理解，可能是指CNN训练慢，但是据我了解提前训练好之后是可直接使用结果，不需要在算的，此处先跳过留后续搞明白），一次P(s)的计算需要3ms，随机算法1us，慢了3000倍，所以，Aja huang训练了一个简化版本的P(s)，把神经网络层数、输入特征减少，耗时下降到2us，基本满足了要求。

更多的策略是，先以 P(s)开局，走前面大概20步，之后再使用 P(s)走完剩下的到最后。兼顾速度和准确性。综合了深度卷积神经网络和MCTS两种方案，此时的围棋程序已经可以战胜所有其他电脑，虽然和其他人类职业选手还有一定的差距。