Web-Scale Bayesian Click-Through Rate Prediction for Sponsored Search Advertising in Microsoft’s Bing Search Engine

自己说

这个是在facebook中的gbdt+lr这篇文章中提到的bopr模型，据说是微软在做内部比赛的时候提出的模型。

经过这篇文章，我才知道什么是click model，之前做click model局限与在广告预估，现在直到click model主要就是为了给用户建模，有很多相关模型。

摘要

这个模型对参数进行高斯分布假设

介绍

本文作了三大贡献。 首先，它描述了赞助搜索应用场景，CTR预测的关键作用，以及从任务导出的特定约束，包括准确性，校准，可扩展性，动态和探索。 

本文描述了一个基于高斯函数假设的广义线性模型，可分解的参数性的、高斯函数分布，利用信息传递方法提供闭解

其次，它描述了一种用于二进制预测的新贝叶斯在线学习算法，后来被称为adPredictor。 该算法基于具有概率（累积高斯）链接函数的广义线性模型，特征权重的因式分解高斯置信分布，并计算近似后向使用消息传递，提供简单的闭式更新方程，具有自动特征 - 明智的学习率适应。 

第三，我们讨论我们用于使adPredictor在Bing的生产环境中工作的技术，现在每年都会以100％的赞助商搜索流量来展示广告展示。

算法细节

输入是离散变量，做one-hot encoding，label是+-1，输出是点击概率。

这个算法对每个特征的系数w做了贝叶斯假设，假设其符合高斯分布：

并且，该模型认为：

将其表示成概率图模型，就是这样：

其中，包括了两个隐变量s,t,每个隐变量表示对输入的一种变化，首先f指的是w的先验分布，g指的是在当前参数下，w与x的乘积分布；h指的是对当前分布加上高斯噪音之后的分布，然后q指的是通过一个阈值判断当前点击概率分布。

该模型的训练过程如下：

这个过程类似于SGD。可以做到在线学习。