【计算广告】计算广告阅读笔记

一、基本概念

广告市场的参与者

出资人、媒体和受众这三者的利益博弈关系构成了广告活动永远的主线。
广告活动的两个主动的参与方是需求方和供给方，被动的参与方是受众。

• 需求方：这里的需求方包括广告主，代表广告主利益的代理商或其他技术形态的采买方，概括来说，就是想要投放广告的一方。
• 供给方：这里的供给方可以是媒体，也可以是其他技术形态的变现平台。在移动互联网时代，媒体指一切拥有流量的电视媒体、报纸、Web网站、移动APP、H5页面等等。概括来说就是给想要投放广告的需求方提供广告位的一方。
• 受众：受众就是我们这群看广告的人啦，之所以说是被动的，因为给我们看什么广告并不是我们决定的，而是由需求方和供给方来决定的。

品牌广告和效果广告

• 品牌广告： 希望借助媒体的力量来快速接触大量用户,以达到宣传品牌形象、提升中长期购买率与利润空间的目的；
• 效果广告： 希望能利用广告手段马上带来大量的购买或其他转化行为。对短期效果的追求要求广告精准地送达目标人群，而这在传统媒体上缺乏有效的技术手段。

广告的根本目的

广告的根本目的是广告主通过媒体达到低成本的用户接触。

原生广告(Native AD): 将内容与广告以某种方式统一决策或排序的广告产品——原生广告(Native AD)

ADN， ADX和DSP

广告网络(ad Network,ADN)：批量地运营媒体的广告位资源，按照人群或上下文标签售卖给需求方，并用竞价的方式决定流量分配。

• 使得大量中小互联网媒体有了切实可行的变现手段：这些媒体有一定的流量，但还不值得建立自己的销售团队面向品牌广告商售卖,直接把自己的广告库存(inventory)托管给ADN,借助ADN的销售和代理团队为自己的流量变现。
• 广告网络中竞价的标的物有两种：一是上下文页面中的关键词，这是直接从搜索广告衍生而来的；二是根据用户行为加工的兴趣标签，这是从展示广告的定向逻辑发展而来的。

交易终端(Trading Desk, TD)：面向多个ADN或媒体按人群一站式采买广告并优化投入产出比的需求方产品

广告交易平台(ad Exchange,ADX)：聚合各媒体的剩余流量并采用实时竞价方式为他们变现的产品形态

需求方平台(Demand Side Platform,DSP)：通过实时竞价的方式,按照定制化的人群标签购买广告

程序化交易(Programmatic trade)，包括实时竞价(Real time Bidding)，优选(preferred deals)和私有交易市场(Private Market Place, PMP)等。

在线广告简史

• 合约阶段,广告主通过代理公司从媒体方采买广告,而媒体方的广告投放机则负责完成和优化各个广告主的合约
• 然后，市场进化出了竞价售卖方式,从而在靠近供给方产生了ADN这样的产品形态,而需求方的代理公司为了适应这一市场变化,孵化除了对应的媒介采买平台(media buying platform)
• 最后,当市场产生了实时竞价方式交易时,供给方进化出了ADX, 而需求方则需要用DSP与其对接来出价和投送广告。

计算广告核心问题

Find the best match between a given user in a given context and a suitable advertisement.
计算广告的核心问题，是为一系列用户与环境的组合找到最合适的广告投放策略以优化整体广告活动的利润。

最大化$T$次广告展示的总收入 $r$ 和总成本 $q$ 的差：
$$max\sum _{i=1}^T(r(a_i,u_i,c_i)-q(a_i,u_i,c_i))$$

• $a_i,u_i,c_i$ 为广告、用户和环境，即广告活动的三个参与主体

在线广告结算方式

eCPM(expected Cost per Mille)：千次展示期望收益
RPM：千次展示收入
CPM：千次展示成本
$$eCPM=点击率\mu (a,u,c)\times 点击价值v(a,u,c)$$

• CPM结算：即按照千次展示结算。在大多数互联网品牌广告,特别是视频广告中,CPM都是主流的结算方式。
• CPC结算：即按点击结算。在这种方式结算方式下,点击率的估计是由交给供给方(或者中间市场)完成的。点击价值的估计则由需求方完成,并通过点击出价的方式向市场通知自己的估价。
• CPS(cost per sale)/CPA(cost per action)/ROI结算：即按照销售订单数、转化行为数或投入产出比来结算。
• CPT(cost per time)结算：这是针对大品牌广告主特定的广告活动,将某个广告位以独占式方式交给某广告主,并按独占的时间段收取费用的方式。

在线广告产品进化

需求放层级组织与接口

一般来说,需求方提供的广告是分层次管理的。在市场上大多数的产品中,广告的层次分为广告主、广告(推广)计划(campaign)、广告(推广)组(adgoup)、广告创意(creative)等几个层级。

• 推广计划：对应于广告主的一次投放合同，包括预算、时间范围等基本信息。
• 推广组：对应于一个具体的广告投放策略，主要是设定受众定向条件和出价
• 广告创意：是最终展示出来的素材,可能在同一个组策略下有不同尺寸的创意存在

供给方管理接口

供给端的资源组织主要分媒体和广告位两个层次。
计算广告系列(一)-基本概念整理！

合约广告

合约广告又可以分为广告位合约和展示量合约。

• 广告位合约：指需求方和供给方约定，在某一段时间内、在供给方的某个广告位上固定投放需求方的广告。通常按照CPT进行付费。这种按CPT结算的广告位合约方式对技术的依赖性较小,只需要用到简单的广告排期系统。

• 展示量合约又称为担保投送广告，它通常按照CPM进行付费，但供给方需要针对某种特定的受众达到约定的展示量。举个例子，某化妆品广告主想要购买展示量合约，它与供给方约定，必须对女性受众展示我的广告10000次，并按照CPM=500进行付费。

搜索与竞价广告

搜索广告是比较典型的竞价广告产品，其特点是广告主就某标的物(在这里是关键词)的广告展示机会展开拍卖式的竞争，并根据竞争结果依次占据该广告展示的若干位置。

• 量的保证不复存在，广告主需要自行调整效果与量的平衡
• 价格的约定也被去掉,每个广告主都可以随时调整各关键词上的出价

受众定向

在考察某种定向方法时,主要有两个方面的性能需要关注：一是定向的效果，即符合该定向方式的流量上高出平均eCPM的水平;二是定向的规模，即这部分流量占整体广告库存流量的比例。

重定向(retargeting)：是对某个广告主过去一段时间的访客投放广告以提升效果。显然，某个广告主的访客是其独有的信息，因此这属于定制化标签。重定向被公认为精准程度最高、效果最突出的定向方式，不过其人群覆盖量往往较小。这是因为，重定向的覆盖投放量是由广告主固有用户的量和与媒体的重合比例共同决定的。

二、 位置拍卖和机制设计

位置拍卖(position auction)：

• $S$ 个广告位 $s=1,s=2,\cdots ,s=S$($S$一般为1)
• 一次请求中，$A$ 个广告$a=1,a=2,\cdots ,a=A$参与竞拍，每个广告的出价记为 $b_a$
• 系统将前 $S$ 个高出价的广告依次放到前面排序好的 S 个广告位上
• 对于放置在 $s$ 位置的广告 $a$，其期望收益 $eCPM={\mu }_s{v}_a$
  • 假设点击率 $\mu$ 仅与位置 $s$ 有关
  • 点击价值 $v$ 仅与广告 $a$ 有关
    

对于某次位置竞价，其对称纳什均衡(symmetric Nash equilibrium)可以描述为下式：
$$\begin{array}{rl}& {\mu }_s(v_s-q_s)\ge {\mu }_t(v_s-q_t),\forall t!=s\end{array}$$

• 对于最终位置排名竞价结果中的每一条广告,其收益都比排在其他位置上要高
• $v_s$ 为排在 $s$位置上广告的点击价值，并非 $s$ 位置带来的点击价值
• $q_s$ 为市场向排在 $s$ 位置上的广告收取的费用，即定价

广义第二高价

围绕位置拍卖最重要的机制设计是所谓的定价(Pricing)问题，它探讨的是在一次位置拍卖中给定各参与者的出价以及他们的期望收益,如何对最后获得某个位置的广告主收取合适的费用。

• 第二高价：指的是在只有一个位置的拍卖中，向赢得该位置的广告主收取其下一位广告主的出价，这样的拍卖也叫作Vickrey拍卖。
• 广义第二高价：对赢得每一个位置的广告主，都按照他下一位的广告位置出价来收取费用
• 第二高价是单位置拍卖时的最优定价策略，然而广义第二高价却不是多位置拍卖时的最优定价策略

如果是按照CPM结算，广义第二高价可以非常直接的应用，但是在CPC的广告场景下，需要考虑广告的点击率因素，即使是竞价很高的广告，如果点击率很低也不会给广告系统带来很大的收益，因此不应该为这类广告分配展现。

因此，对于每条广告，广告主会预先估计该广告在当前场景下的点击率 ${\mu }_s$，结合其竞价 $b_s$，计算千次展现期望收益：
$$eCP{M}_s={\mu }_s{b}_s$$

然后将广告集合按照 $eCPM$排序，选取排名靠前的若干条进行展现，如果第 $i$ 个广告被点击，从广告主扣除的费用为：
$$q_s=\frac{{\mu }_{s+1}{b}_{s+1}}{{\mu }_s}+\Delta$$

• $s+1$表示排名在 $s$ 后一位的广告。
• $\Delta$ 一般为广告系统结算货币的最小单位，如1美分，这是一种历史惯例，也在某种程度上让广告主心理上感觉更加公平。
• 广告点击率越高，每一次被点击时，从广告主扣除的费用越少，可以激励广告主优化广告质量提高点击率，从而提升整个广告系统的用户体验。

VCG定价

• VCG定价是 Vickrey、Clarke和 Groves在研究竞价系统均衡状态时得到的一种理论上较为优越的定价策略
• 其基本思想是：对于赢得了某个位置的广告主，其所付出的成本应该等于他占据这个位置给其他市场参与者带来的价值损害，是最大化社会价值
• 在这一原则下,VCG的定价策略可以表示为：
  $$q_s=\sum _{t>s}({\mu }_{t-1}-{\mu }_t)v_t$$
  • 即如果位置 $s$ 没有被占据，排在这个广告后面的所有广告$t>s$ 都可以往前挪一个，点击率都可以获得相应的提升

市场保留价

市场保留价是什么

• 为了控制广告的质量和保持一定的出售单价，竞价广告市场往往要设置一个赢得拍卖位置的最低价格，这一价格我们称为市场保留价(Market Reserve Price,MRP)，俗称“起价”或“底价”
• 广告主的出价只有在高于市场保留价时才能获得竞价机会
• 同时在赢得某个拍卖位置后，如果根据定价策略算出的付费低于市场保留价(以广义第二高价为例,很容易验证这种情况是可能发生的)，也需要调整到市场保留价的水平上

MRP的设定

• 确定MRP是竞价广告重要的产品策略，MRP定得过低或过高都不利于整个市场的收益最大化。
• 一般来说，当竞争较充分、广告主深度足够时，MRP可以设置得比较高；反之则应适当降低
• 市场保留价的设置有两种方法,一是对整个竞价市场采用同样的保留价格,二是根据不同标的物(如搜索广告里的关键词)的特性设置不同的保留价格。如果按照后一种方法设置，显然应该对那些竞争程度较激烈的关键词设置比较高的MRP。

价格挤压

在CPC结算的广告产品中，eCPM可以表示成点击率和出价的乘积，即$r=\mu \times v=\mu \times bi{d}_{CPC}$

但是在竞价的机制设计中，有时会对此公式做一些微调，把它变成下面的形式：
$$r={\mu }^K\times bi{d}_{CPC}$$

• 其中的$K$为一个大于0的实数
• 当$K\to \infty$，相当于只根据点击率来排序而不考虑出价的作用
• 反之，当$K\to 0$时，则相当于只根据出价来排序
• 因此，随着 $K$ 的增大，相当于我们在挤压出价在整个竞价体系中的作用，我们把这个因子叫做价格挤压(squashing)因子

价格挤压因子的作用：

价格挤压因子的作用主要是能够根据市场情况更主动地影响竞价体系向着需要的方向发展：

• 比如说，如果发现市场上存在大量的出价较高但品质不高的广告主，则可以通过调高$K$来强调质量和用户反馈的影响
• 如果发现市场的竞价激烈程度不够，则可以通过降低$K$来鼓励竞争，如果存在短期的财务压力，这样就可以短期使得
  整体营收有所上升；如果为了鼓励广告主提高广告质量和相关性，则可以通过提高 $K$ 来降低出价的影响

三、广告网络

广告网络的产品功能是批量聚合各媒体的剩余流量，按照人群或上下文标签的流量切割方式售卖给广告主。

• 售卖的标的主要是人群，而广告位被淡化了
• 当流量满足多个广告活动要求时,简单地采用竞价模式而不用考虑量的合约
• 由于是按人群售卖,广告网络会极力淡化媒体和广告位的概念。由于淡化了媒体的概念，广告网络中很难拿到品牌溢价高的广告位，一般来说也不适合广告主的品牌类需求。
• 联盟模式：对于一些有特殊业务需求或者特殊数据来源的媒体或媒体组合来说，有时候希望能够直接从广告网络的广告库中挑选广告，并能够创造比广告网络自动挑选更多的价值。因此,某些广告网络也会对一部分合作供给方开放广告库供其自行挑选，广告网络的这种运营模式可以称为联盟(affiliate)模式

四、竞价广告需求方产品

• 竞价广告市场的产生对需求方的技术也提出了新的要求：原来通过直接与媒体签订保量合约的采买方式变成通过竞价为广告主完成量与质需求的采买产品。
• 具体地说，这样的产品需要具备一项基本功能，即按照广告主预算跨媒体一站式采买人群的功能。另外，还可以具备一项高级功能，即机器决策的ROI优化功能。

搜索引擎营销：搜索广告对应的需求方产品，即通过竞价采买搜索引擎关键词来做推广，这就
是搜索引擎营销，即SEM。
媒体采买平台：面向展示广告网络的一站式采买平台称为媒介采买平台，与之类似的概念还有
交易终端(Trading Desk,TD)，可以认为是同一类的产品。

五、程序化交易广告

5.1 实时竞价(RTB)

定制化用户标签：我们在加工人群标签的过程中需要利用到广告主的数据。这样的标签称为定制化用户标签(customized audience segmentation)。

• 采用广告网络这样的封闭式竞价方案是无法规模化和精细化地针对定制化标签进行投放的。
• 什么样的解决方案才能够规模化呢？其实很简单，只要把竞价过程开放，在广告展示时由需求方来判断是否需要并出价，就可以解决上面的问题，这样的思路就产生了实时竞价。
• 因此，我们认为：用定制化标签指导广告投放是实时竞价的关键产品目标。

RTB过程：

• cookie映射：
  • 步骤1.1:从广告主网站向DSP服务器发起cookie映射请求。
  • 步骤1.2:DSP与ADX服务器之间通信完成cookie映射。
• 广告请求(ad call)。以Web投放环境为例，RTB的广告请求可以分为以下三个步骤。
  • 步骤 2.1:用户浏览媒体网站。
  • 步骤 2.2:媒体网站通过JavaScript或SDK向ADX发起广告请求。
  • 步骤 2.3:ADX 向各 DSP 传送 URL 和本域名 cookie，发起询价请求。DSP根据预先做好的cookie映射查出对应的已方cookie，决策是否参与竞价，如果参与，则返回自己的出价。在等待一个固定的时间片后，ADX选出出价最高的DSP返回给媒体网站。
  • 步骤 2.4:媒体网站从胜出的DSP拿到广告创意并展示。
    其中步骤 2.2 和步骤 2.3 可以合并为一步，即 DSP 同时返回出价和广告创意地址，由ADX返回给媒体。

实时竞价中的“实时”这一限定，特指的是需求方实时地，也就是在每一次展示时参与广告竞价，而供给方对不同广告实时比价的过程在前面讲到的一般竞价广告中也存在。因此，不要把搜索广告、广告网络等也理解成实时竞价产品。

5.2 优选

• 优选比实时竞价产生要早，可以看成是只有一个需求方的程序化交易
• 需求方如果不需要此次展示机会，则通知媒体广告投放机，由供给方广告投放机从自有广告库中选择合适的创意返回
• 由于只有一个需求方参与，媒体可以比较容易地对广告的质量和来源进行控制。这种交易一般按照CPM方式结算，由于没有了多方竞价，又有选择流量的便利，往往要约定一个比市场价格更高的 CPM单价

5.3 私有市场

• 有时媒体为了保证广告主的质量，希望将拍卖限制在一些被邀请需求方的小范围内。这种程序化交易叫作私有市场。
• 私有市场与优选一样，是一种邀请制而非公开的交易方式，因此广告主的质量可以由少量被邀请需求方很好地控制，这有利于确保媒体的价值不受伤害。
• 在被邀请需求方之间仍然保留了竞价了关系，有利于提升媒体的变现能力。
• 往往是大型优质媒体在考虑程序化交易时的选择。另外,这也将使得更多的优质媒体加入到程序化交易市场，反过来可以促进品牌广告投放的程序化进程。

5.4 广告交易平台(ADX)

• 广告交易平台，即ADX，是程序化交易时代的关键产品，它负责将媒体流量以拍卖的方式售卖给DSP
• 广告交易平台中需要注意的产品策略，主要是如何解决给多个DSP发广告请求带来的带宽和机器成本的上升。这一问题，我们称为询价优化(call out optimization)
• ADX 一般为 CPM 结算方式

5.5 需求方平台(DSP)

与 ADX相对应，以 RTB方式购买广告的产品形态就是需求方平台,即 DSP。这一产品的核心特征有两个：一个是RTB方式的流量购买，另一个是需要支持需求方定制化的用户划分。

5.6 重定向

重定向是在线广告中最早产生，也最广泛使用的一种定制化标签。它的概念很简单，即把那些曾经对广告主服务发生明确兴趣的用户找出来，向他们投放该广告主的广告。在不同的广告类型上，重定向主要有两种目的。

• 用于品牌广告。当用户已经选择过某品牌的服务或产品后，如果在比较高质量的媒体上看到该品牌的广告,他会进一步肯定自己决策的正确性，从而对该品牌的认知度也大大加强。这种用途下，应当以宣传品牌而不是具体产品为主要诉求。
• 用于效果广告。当用户曾经考虑过某种产品，但没有完成最终转化，通过在线广告将这个用户找回,点击率和转化率都会明显高于平均水平。如果用户已经选择了该产品，那么可以利用推荐技术为他推送相关的产品广告。

5.7 供给方平台(SSP)

供给方平台产品策略：

• 从自有广告库中根据当前受众标签检索合适的广告候选，并估计每个广告候选的eCPM。
• 排序得到eCPM最高的广告候选以及相应的eCPM值 $r_{max}$
• 同样根据环境信息和受众标签估算出各个合作的广告网络大致的eCPM。
• 排序得到eCPM最高的广告网络以及相应的eCPM值 $r_{max}^{\prime }$
• 以$max(r_{max},r_{max}^{\prime })$为底价，通过RTB接口向各个合作的DSP查询更高变现价值的广告。

先进行本地广告检索和 eCPM 估计再进行 RTB 的好处是可以根据当前展示的情况动态调整 RTB 的底价，而当底价高到一定程度时，即可以略去 RTB 的过程，从而减轻服务器的负担。这样一来,此过程既可以利用RTB带来的大量广告主和市场流动性，又充分利用了本地广告库抬高竞价水平。

六、数据加工与交易

6.1 有价值的数据

• 用户标识
  • 对于浏览器行为，我们最常使用的用户标识是cookie，但是由于存在同时使用多个浏览器、cookie过期或用户主动清除cookie的情况，这种用户标识的长期一致性并不算太好。不过好在对广告来说，起关键作用的还是用户近期内的行为，所以用 cookie 作为用户标识还是有效且为业界广泛采用的基础方案。
  • 在移动互联的情形下，iOS与Android在应用内广告使用的用户ID有所不同：前者是苹果公司设计的广告专用用户标识符(Identifier for Advertising, IDFA)，其性质与cookie类似；而后者没有专门的广告用户ID,一般采用Android ID或IMEI(international mobile equipment identity)号等标识信息。
• 用户行为
  • 决策行为主要包括转化和预转化。这些都是在广告主的网站中发生的行为，往往对应着非常明确的用户兴趣。例如在电商网站上，转化就对应着最后的下单，而预转化对应下单前的搜索、浏览、比价、加入购物车等多种准备工作。
  • 主动行为主要包括广告点击、搜索和搜索点击。
  • 半主动行为主要包括分享和网页浏览。这两类行为都是用户在目的比较弱的网上冲浪过程中产生的，因此，其所涉及的兴趣领域对把握用户信息有价值，但是非常细节的内容其精准程度有限。半主动行为的指导意义虽然有限，但是其数据量却是各种行为中最大的。
  • 被动行为主要是指广告浏览。
• 人口属性、地理位置、社交关系

随着用户主动意图的提升，相应的行为数据信息价值也随之增大；其次，越接近转化的行为，对效果广告的精准指导作用越强。

6.2 数据管理平台DMP

第一方数据的收集和加工是广告市场上非常重要的环节。不过对于没有这方面技术积累的广告主而言,专门设团队进行数据加工是没有必要的。因此,市场上也产生了专从事此业务的产品,称为数据管理平台即DMP。

6.3 数据交易平台

• 数据交易平台(data exchange)的主要产品功能是聚合各种来源的在线的用户行为数据，加工成有价值的用户标签，然后在广告市场上通过售卖这些标签来变现。
• 可以认为DMP是站在第一方数据的角度提供产品，而数据交易平台主要是站在第三方数据的角度提供产品。

6.4 在线广告产品交互关系

从媒体角度来看，有以下三种产品可以帮助其变现流量。

• 可以将广告位托管给广告网络，由广告网络决策广告投放，赚取分成，如上图中的“媒体1”。
• 可以将广告位对接到广告交易平台，以实时竞价的方式变现,如图中的“媒体2 ”。
• 也可以将广告位托管给 SSP，这样可以同时对接多个广告网络和 PMP 接口，并按照动态分配的逻辑选择变现最高的需求方

对于广告网络来说，有以下两种需求方对接方式。

• 可以直接与需求方产品TD对接，通过后者将广告流量售卖给广告主，也可以让广告主自行投放。
• 将其剩余流量再导入广告交易市场，以实时竞价的方式变现，此种方式中的广告网络充当了广告交易市场的供给方。

SSP是彻底代表媒体利益的产品，因此，它将广告网络、广告交易市场和DSP等都视为提供预算的需求方，并通过统一的网络优化功能来管理收入和确保媒体的用户体验。

广告交易平台是相对比较中立的，在供给方和需求方之间提供公开、公平的流量交换能力的平台产品。广告交易平台的流量可以来自于媒体、广告网络或SSP，而需求方主要对接DSP进行变现。某些情况下也可以让某些广告网络以优先或者打底的方式接入。

从需求端来看，无论是广告主还是代理公司，主要通过两类产品来采买流量:
一是面向实时竞价的 DSP 产品二是面向非实时竞价的 ATD 产品。采用什么样的产品是由供给方的产品接口确定的。一般来说，实时竞价比较适合于采买定制化的人群，并进行深入的流量优化；非实时竞价则适合于简单、低成本的一些通用人群的采买。

七、移动互联与原生广告

7.1 原生广告相关产品

• 信息流广告
• 搜索广告
• 软文广告
• 联盟：联盟(affiliate)模式，即由媒体从广告库中自由选择要推广的对象，并按照自己控制的展现方式进行推广。虽然说这是比较原始的广告产品形式，但也对原生的思路有一定启发：只有给媒体一定的选择广告的权限,才能比较容易地做到广告与内容在主题上的和谐，也才会产生像淘宝客那样可以将广告自由地嵌入博客和各种网站。

7.2 原生广告平台

”原生“这一概念实际上有两种不同的诉求：

• 表现原生：一种诉求是将广告的展示风格和样式变得与内容相一致，从而做到产品形式上的“原生”
• 意图原生：另一种诉求是将广告的投放决策逻辑与内容生产相一致，从而做到用户意图上的“原生”。

社交网络信息流广告侧重于表现的原生性，而搜索广告在表现和意图两个方面都是原生的。

• 大体而言，对于那些用户直接意图比较模糊的用户产品，如社交网络、新闻列表等，表现原生的广告产品就足够了
• 而对于用户直接提供明确意图的用户产品，如搜索，则最好要做到意图上的原生性。
• 除了这两类产品，互联网上还有大量的用户产品在实际上有比较明确的用户意图，但是并未以查询等方式直接提供，并且表现形式上也不是规整的信息流模式，联盟或软文适用于这样场景的原生广告形式，这实际上也是兼顾了表现和意图上的原生性。但是，联盟和软文并不能像其他广告产品那样以计算的方式来优化效果，并且通过广告市场规模化地交易，因此在这方面存在着探索空间。

八、在线广告产品实践

8.1 媒体实战

这里所说的媒体指的是一切拥有流量的 Web 网站、WAP 网站、HTML5 网站、PC 或移动应用程序等。

8.2 广告主实战

广告主指的是所有以付费方式推广自己的品牌、产品或内容的组织。

8.3 数据提供方实战

九、计算广告技术概览

9.1 广告投放引擎

• 广告投放机(adserver)。
  • 这是接受广告前端Web服务器发来的请求，完成广告投放决策并返回最后页面片段的主逻辑。
  • 广告投放机的主要任务是与其他各个功能模块打交道，并将它们串联起来完成在线广告投放决策。一般来说，为了扩展性的考虑，我们都采用类搜索的投放机架构，即先通过倒排索引从大量的广告候选中得到少量符合条件的或相关的候选，再在这个小的候选集上应用复杂而精确的排序方法找到综合收益最高的若干个广告。
  • 对广告投放机来说，最重要的指标是每秒查询数(Query per Second,QPS)以及广告决策的延迟(latency)。

9.2 一些开源工具

分布式配置和集群管理工具 ZooKeeper

• 由于广告系统的流量很大，单台广告投放机往往不能满足需要。在使用多台服务器的时候，会遇到很多诸如配置文件更新、集群上下线管理等分布式环境下的同步问题。
  ZooKeeper(http://zookeeper.apache.org)是解决这些问题非常有用的开源工具。

• ZooKeeper 是为分布式应用建立更高层次的同步(synchronization)、配置管理(con-figuration maintenance)、群组(groups)以及名称服务(naming)的通用工具。

• 在编程上，ZooKeeper的设计很简单。所使用的数据模型非常类似于文件系统的目录树结构，简单来说,有点类似于Windows中注册表的结构，有名称、树节点、键/值对等，可以看作一个树形结构的数据库，可以分布在不同的机器上做名称管理。

十、基础知识

倒排索引

• 倒排索引(inverted index) 是现代搜索引擎的核心技术之一，其核心目的是将从大量文档中查找包含某些词的文档集合这一任务用 $O(1)$ 或 $O(logn)$ 的时间复杂度完成，其中 $n$ 为索引中的文档数目。
• 也就是说,利用倒排索引技术，可以实现与文档集大小基本无关的检索复杂度。这一点对于海量内容的检索来说至关重要。正是有了倒排索引技术的支撑，互联网才在实时检索大规模数据方面取得了质的飞跃。

十一、合约广告核心技术

流量预测

流量预测的问题可以描述为：给定一组受众标签组合以及一个 eCPM 的阈值，估算在将来某个时间段内符合这些受众标签组合的条件、并且市场价在该 eCPM阈值以下的广告展示量。这里的 eCPM 阈值主要是用于竞价广告系统中，目的是了解在某出价水平下的流量情形。对于展示量合约式广告来说，这个阈值是不需要的，或者为了工程上一致,将该阈值设为一个很大的常数。

频次控制

频次，指的是某个用户在一段时间内看到某个或某组广告的曝光次数。

一般来说，随着某个用户看到同一个创意频次的上升，点击率呈下降的趋势。

因此，在按照CPM采买流量时，广告主有时会要求根据频次控制某个用户接触到某创意的次数，以达到提高性价比的目的。特别是在视频广告这样有效曝光程度较高的广告产品中，频次控制(frequency capping)的意义和重要性尤为显著。

在线分配

在线分配问题指的是在通过对每一次广告展示进行实时在线决策，从而达到在满足某些量的约束的前提下，优化广告产品整体收益的过程。

十二、程序化交易核心技术

12.1 广告交易平台

广告交易平台的优化目标：
$$ma{x}_{a_1,\cdots ,a_T}\sum _{i=1}^{T}bi{d}_{CPM}(a_i)$$
$a$ 代表的是某DSP而非某具体的广告。

12.2 cookie映射

在 Web 环境下投送的广告，用户身份标识可以用 HTTP 协议提供的 cookie机制来完成。

cookie机制在安全性方面有很多好处，比如每个域名下的服务只能访问本域名下的cookie，这实际上是由浏览器保证了不同 Web 应用之间用户数据的隔离。

不过 cookie 在用户跟踪的有效性方面受到一些限制：首先，用户可以主动清除cookie，于是广告系统对该用户的跟踪就中断了；另外，由于广告网络往往是在其他域名的网站上跟踪用户和投放广告，其种植的cookie是第三方cookie。而对于第三方cookie，浏览器一般有更为严格的限制，有的浏览器甚至会在默认情况下禁止，这也成为行为定向的障碍。

cookie的跟踪方式还有一个问题，那就是当某台电脑的用户使用多个浏览器时，其cookie 无法直接统一起来。

cookie映射

• 与其他身份标识不同，cookie由于具有域名之间的隔离性，在 RTB这种服务器间的广告请求中，DSP无法直接得到自己域名下的cookie。因此，必须要通过某种技术手段来完成身份对应，这称为cookie映射。
• cookie映射应用的范围很广，除了上面提到的ADX与DSP之间的身份对应，典型的应用还例如媒体与DMP之间的身份对应以及某具有永久用户标识的服务向其他域名提供cookie找回的服务等。

媒体与DMP间cookie映射示例：

• 用户到达媒体页面。
• 向媒体的cookie映射服务请求一段负责此功能的JavaScript代码。
• 媒体的cookie映射服务返回该段JavaScript代码。
• 该JavaScript代码判断需要映射的话(如果最近已经做过则可以不做)，向DMP发起cookie映射请求，并传送两个参数：媒体的标识(mid)以及媒体方的cookie(mck)。
• DMP返回一个1×1的beacon,并记录下媒体方cookie(mck)与己方cookie(dck)的对应关系。

DSP与Ad Exchange间cookie映射:

这次是由DSP在广告主页面上发动映射,并由DSP保存映射关系。
这样做也是符合业务逻辑的：DSP主要需要广告主的人群做深入加工并对这部分人群在ADX中出价，因此从广告主页面发动；而 RTB 是 cookie 的对应，由各 DSP 分别自行完成比在 ADX 中集中时完成显然更加合理，因此这一映射表保存在DSP方。

12.3 询价优化

广告交易平台需要在带宽或服务成本的约束下，优化整体市场的eCPM水平。

要考虑带宽或服务成本的约束，显然就需要对每次展示中询价的 DSP数目做精简，这个问题称为询价优化。

12.4 需求方平台

需求方平台

点击价值估计
$$v(a,u,c)=h(a,c)\cdot c(a,u)\cdot t(a)$$

• 点击价值可以分解为到达率 $h$、转化率 $c$ 和转化单价 $t$ 三个量的乘积
• 到达率指的是实际打开广告落地页次数与点击次数的比例，这与广告主网站的页面打开延迟关系最大，与媒体的属性、特别是误点情况也有一定关系，因此可以认为它与广告主 $a$ 和媒体 $c$ 有关
• 转化率指的是到达落地页以后，有多少比例产生了广告主定义的转化行为，这主要与用户对广告主产品的兴趣有关，因此是广告主 $a$ 和用户 $u$ 的函数
• 转化单价在 CPA/CPS 类的广告中是广告主指定的转化费用，而在ROI类广告中是广告主客单价与分成比例的乘积，因此我们认为转化单价主要与广告主 $a$ 相关

十三、其他技术

13.1 创意优化

创意优化的一个重要原则是：为了提高用户的关注程度，需要将向用户推送此广告的关键原因在创意中明确表达出来。

13.2 反作弊

广告中的作弊行为主要有以下三种情况：

• 媒体作弊。媒体是广告活动的主要受益者，因而作弊的动力也最强。
  由于大多数广告网络与媒体之间是按照点击的价格来结算，因此点击作弊是最为常见的，当然也存在为了满足CPM订单量的需求而对展示进行作弊的情形。这种作弊的花样繁多，既有将广告展示和点击代码放在非约定位置上或非用户自然行为产生的流量上的方式，也有通过将广告位与内容靠得很近甚至相互重叠来骗取点击的方式。

• 广告平台作弊。
  广告网络或广告交易市场这样的广告平台也有制造虚假点击，以获取更多分成的目的。而DSP这样的需求方广告产品，除了混入劣质流量的广告展示、制造虚假点击以外，还会通过一些作弊手段为广告主带来虚假转化，以满足效果考核的要求。

• 广告主竞争对手作弊。
  某些广告主的竞争对手,会通过技术手段大量消耗该广告主的预算,达到降低其广告效果的非正常竞争目的。与媒体作弊不同,广告主的竞争对手很难通过控制广告展示的方式来作弊，而是通过多次重复点击广告的形式来作弊。
  由于通过单一IP或 cookie大量点击广告很容易被发现，作弊方往往会通过频繁清除 cookie，改变 IP，甚至通过木马控制多台用户电脑来达到作弊的目的，当然，这样的作弊手段也被媒体或广告平台所采用。