时间片轮转

背景介绍

时间片

1）时空分片实验方式

诸如Uber、Lyft、Doordash、滴滴等公司的业务模式均是在双边市场下提供相应的供需匹配，因此此种业务模式在进行传统的A/B/N实验往往会面对因网络效应而带来的指标观测偏差。

网络效应即同一时空下，用户的需求会共享同一批运力池。如果简单对用户进行随机分流，那么对实验组用户的策略不仅会影响实验组本身，同时也会影响对照组下的其他用户， 进而天然违背了A/B/N实验下的个体干预稳定性假设(SUTVA)，即实验组个体不会影响对照组个体。

因此为了更好的在双边市场下进行科学合理的实验，Doordash采用了时空分片的实验设计，即在同一空间下，以及连续时间分片，实验组对照组轮转生效，主要如下：

  1. 在进行高峰期附加费实验（SOS pricing）时，将单个时间片长度设计为30分钟，并对一天的时间进行切分；

  2. 时间片下的实验策略随机生效，而非定序轮播；

  3. 同一时间片下，不同空间区域单独随机，例如10:30-11:00下， Region A可能是对照组，而Region B会是实验组；

  因此策略随机的单位会是由时间和空间组成的时空分片：

（2）分片颗粒度测试

时空分片实验设计其中一个重点在于时间片和空间片的颗粒度设计：

1. 时间片长度越小，相同时间内的单位集合基数越多，集合间的同质性越好，variance 越小，但运力竞争影响越明显，bias 越大；

2. 时间片长度越大， 相同时间内的单位集合基数越少， 集合之间的同质性越小， variance越大； 但响应的随着时间片长度的增大， 运力竞争的影响越小，甚至没有， bias越小。

Bias：来自于因共享运力池/供给池，实验组个体会对对照组个体产生间接影响而带来的干扰

Variance：取决于随机分流时单位的颗粒度，和由此带来的不均匀。

Doordash通过进行长期AA实验，并对时间片和空间片进行颗粒度大小不一的切分。通过对比不同颗粒度下误差界限以及标准差，也证明了上述Lyft对于分片颗粒度的认知（Doordash一般会将其时间颗粒度定为30分钟， 空间颗粒度定为城市）。

 

参考

1. 货运双边市场因果推断系列（第二期）
2. 快手因果推断与实验设计
3. 解读神策 A/B 测试两大全新试验方案
4. 电商领域A/B实验平台建设方法
5. 因果推断中期学习小结