rollout

似乎是策略网络在游戏状态$s$可能的移动$a$确定一个概率分布$p(a\mid s)$，程序以随机的方式搜索游戏树，而$p$确定了其该这样进行这种搜索。我们希望这个功能能“引导”程序做出强者可能做出的动作。这是有道理的，因为当你搜索游戏树的时候，以错误开始的分支在与一个聪明的对手评估当前棋盘位置时不太相关。
当他们说rollout策略（我相信他们借用了西洋双陆棋的术语——“rollout”）是一个线性的softmax函数时，这是用在逻辑回归中的$\sigma$函数的推广。该函数的形式为：

$$\frac{e^{{\beta }_i^{T}x}}{{\sum }_{j=1}^k{e}^{{\beta }_j^{T}x}}$$

其中的$x$是当前棋盘位置的一个函数的一个向量（根据线性softmax只能够在策略网络的最后一步使用的论文），$bet{a}_i$是权重向量。$x$和$bet{a}_i$一起决定了策略网络选择动作$a_i$的概率。