【阅读笔记】快手OCPX广告冷启动影子价格法

本文为阅读张任宇老师论文《Cold Start on Online Advertising Platforms: Data-Driven Algorithms and Field Experiments》的读书笔记。据张老师分享，该方法目前被应用到快手广告线上冷启动，取得了不错的收益。

问题背景

信息流广告冷启动面临的核心技术问题:

1. 新广告数据量不足，其价值难以准确预估
2. 合理分配广告流量，平衡消耗与冷启动价值

优化目标

找到合适的广告推送策略，最大化消耗与冷启动收益之和

符号说明

广告集合

转化出价

表示广告j是否被展现给用户t=1,2,3,...,T

表示第t个用户的特征i

在特征i下广告j的实际点击率

用户t特征i下广告j的预估点击率

表示冷启动时单次转化的价值(设为)

冷启动成功的阈值(设为10)

问题建模

其中第一项里面其实就是，也就是ecpm。

第二项是取当前转化数和冷启动阈值的最小值，再乘以冷启动单个转化价值得到冷启动总价值。

约束条件：

第一个约束是说一个广告要么曝光要么没曝光。
第二个约束是说对于一个用户，假设所有广告中总是只有小于等于一个广告获得展现。

对偶问题推导

由于原问题维数为T*K，即用户数x广告数，维数太高不好求解，需要转化到对偶空间。

先做一次线性化：

其中为广告离冷启动阈值还差多少个转化

为简化问题，忽略其他约束，只考虑最后一个约束条件，写出其增广拉格朗日公式

展开得




化简得

按分类讨论求。

当时候，在0处取得sup。又由一个队列只能有一个展现，可以约掉广告集合的求和项，得



否则，为正无穷。


略去跟自变量无关的常数项，得

这个对偶问题的第一项我们可以看成是调整后的新ecpm。

我们对广告主竞价加了一个“影子出价”来增加新广告的曝光率以提升长期冷启动的价值。

冷启动价值系数则是最优影子出价的上界。

求解对偶问题

主函数为凸函数，线上使用Sub-Gradient Descent Method（次梯度下降法）对其进行求解。

其次梯度为:

其中，I是示性函数，当广告j的新ecpm排名最高时，I为1，否则I为0。

这里k为迭代次数，为步长。
迭代终止条件为:

此次更新完成。

线上实现基本思路

MAB+Linear Programming

Shadow Bidding with Learning(SBI)算法

对于每个时刻：

1. 观测用户特征，以概率随机等可能展示一个广告;以的概率展示广告

2. 到了需要更新的时刻，解empirical dual；更新冷启动广告的影子出价

3. 更新DNN模型以及对应的pCTR,pCVR.

实验结论

SBI算法几乎能达到“上帝视角”的最优价值。

AB实验冷启动成功率+61.62%，冷启动价值+47.71%，CTR预测的AUC+7.84%，短期消耗和超成本情况几乎不变。