Youtube时长预估

Watch Time推导

论文中排序模型的训练目标为视频点击率，记为：

$p=P(y=1|x)=\frac{1}{1+e^{-{\theta }^{T}x}}$

模型上线后的预测值计算方法却是：

$predict=e^{{\theta }^{T}x}$

其中$\theta$表示模型的参数，$x$表示模型的特征（$\theta ,x$实际是模型最后一层隐层参数和输入，当模型只有一层隐层时候，则是模型的全部参数和样本特征）。

简单解释一下预测值采用这种计算方式的原因。

• 首先Logit回归，是对样本正负概率比值$Odd$的对数值用线性回归模型建模：

$log\frac{p}{1-p}={\theta }^{T}x$

得出

$predict=e^{{\theta }^{T}x}=\frac{p}{1-p}$

可见Youtubed模型的在预测阶段输出的值实际上是正负概率比值，也就是所谓的Odd值。

目前为止可得出第一个结论，排序模型预测值为Odd：

$predict=Odd(1)$

• 第二，YouTube训练过程采用了播放时长做加权，也就是所谓的Weighted Logistic，模型训练的损失函数为：

$$Loss=-Time\ast label\ast logp-(1-label)log(1-p)$$

这种方式，相当于将当前正样本复制了Time次。

我们以具体的一个样本为例，例如样本特征为$x=X$，其中$X$表示某个具有具体取值的向量，我们将此类样本的总体记为$I=\{(y,x)|x=X\}$, 正例总体记为$I_{positive}=\{(y,x)|y=1,x=X\}$, 负例的总体$I_{negative}=\{(y,x)|y=0,x=X\}$。

将训练样本中出现的此类样本的集合，也就是采样集合，记为$S=\{(y,x)|x=X\}$。正样本采样集合记为$S_{positive}=\{(y,x)|y=1,x=X\}$，集合的大小记为$m=|S_{positive}|$, 负样本采样集合记为$S_{negative}=\{(y,x)|y=0,x=X\}$,结合的大小记为$n=|S_{negative}|$。

类似地，将正样本复制Time次后此类样本的采样集合记为$S^{\prime }=\{(y,x)|x=X\}$，正样本采样集合记为$S_{positive}^{\prime }=\{(y,x)|y=1,x=X\}$，负样本集合记为$S_{negative}^{\prime }=\{(y,x)|y=10,x=X\}$

将复制后采样集合对用的总体集合记为$I^{\prime }=\{(y,x)|x=X\}$，正样本总体记为$I_{positive}^{\prime }=\{(y,x)|y=1,x=X\}$，负样本总体记为$I_{negative}^{\prime }=\{(y,x)|y=0,x=X\}$。

假设训练数据采样比较充分，也就是满足$S\sim I, \space S’\sim I’。 $则有以下推导：

$Od{d}_I=\frac{|I_{positive}|}{|I_{negative}|}\approx Od{d}_S=\frac{|S_{positive}|}{|S_{negative}|}=\frac{m}{n}$

$Od{d}_{I^{\prime }}=\frac{I_{positive}^{\prime }}{I_{negative}^{\prime }}\approx Od{d}_{S^{\prime }}\frac{|S_{positive}^{\prime }|}{|S_{negative}^{\prime }|}=\frac{Time\ast |S_{positive}|}{|S_{negative}|}=Time\frac{m}{n}=Time\frac{m}{m+n-m}=Time\frac{\alpha }{1-\alpha },\alpha =\frac{m}{m+n}$

$\alpha =\frac{m}{m+n}=P(y=1|x\in S)\approx P(y=1|x\in I)=p$

目前为止，结合结论(1)可得出第二结论，Time Weighted Logitic模型预测目标为：

$predict=Od{d}_{I^{\prime }}=Time\frac{p}{1-p},p=P(y=1|x\in I)(2)$

• 第三，继续推导，有泰勒展开式：

$Time\frac{p}{1-p}=Time\ast p\ast (1+p+p^2+p^3+...)=Time\ast (p+p^2+...)\approx Time\ast p,p\in (0,1)$

可以得出最后的结论：

$predict\approx Time\ast p=Time\ast P(y=1|x\in I)=E[Time;x\in I](3)$

其中$p=P(y=1|x\in I)$, 也就是说预测值为总体集合$I$上的播放时长的期望。