计算广告-系统结构组成

计算广告技术：

一、个性化系统与搜索系统介绍

有很多大数据驱动的产品，就其技术架构而言，往往落地成个性化系统，即根据用户、上下文的一些信息动态决定返回什么内容的系统。计算广告是一个典型的个性化系统。

个性化系统与搜索系统都是互联网时代具有挑战性的大规模计算问题。由于数据规模的要求：一般采用检索+排序这样类搜索的系统架构。

两者的差别：在于大量的用户特征的使用。

常用方案：将离线的分布式计算平台（需要对每一个用户进行刻画）和在线的流计算平台（实时地利用线上数据）相结合。

二、个性化系统框架

计算广告是根据用户个体用户信息投送个性化内容的典型系统之一，类似的系统还有推荐系统，个人征信系统以及室内导航系统等。

个性化系统的构成：

     1、用于实时响应请求，完成决策的在线投放（online serving）引擎；

     2、离线的分布式计算 （distributed computing）数据处理平台;

     3、用于在线实时反馈的流计算( stream computing）平台；

     4、连接和转运以上三部分数据流的数据高速公路（data highway）

     这四部分相互配合，完成个性化系统的数据挖掘和在线决策的任务。

四大部分的协作流程：

     在线投放系统的日志接入数据高速公路，再由数据高速公路快速转运到离线数据处理平台和在线流计算平台；

     离线数据处理平台周期性地以批处理方式加工过去一段时间的数据，得到人群标签和其他模型参数，存放在高速缓存中，供在线投放系统决策时使用；

     与此相对应，在线流计算平台则负责处理最近一小段时间的数据，得到准实时的用户标签和其他模型参数，也存放在高速缓存中，供在线投放系统决策时使用，这些是对离线处理结果的及时补充和调整。

强调：由于个性化需要的是对用户尽可能准确的理解，因此除了个性化系统本身的日志，一般还会用到其他的业务数据或采买的数据，这些数据都会进入到数据高速公路以及后续的加工流程中。

英文表示：

     GD： 担保式保量投放

     DSP：需求方平台

     核心驱动力：在一个完整的广告系统架构中，数据的记录、交易、流转、建模和使用，因为这些是广告系统最核心的驱动力，也从本质上决定了广告产品的变现能力和利润空间。

     广告投放引擎：

          必不可少的部分是一个实时响应广告请求，并决策广告的投放引擎。采用类搜索的架构，即检索加排序的两阶段决策过程。另外，，广告搜索引擎还有个独特的模块，就是要从全局优化的角度对整体收益进行管理。

          主要模块：

               1)、广告投放机（ad server）：采用类搜索的投放机架构，即先通过倒排索引从大量的广告候选中得到少量符合条件的或相关的候选，再在这个小的候选集上应用复杂而精确的排序方法找到综合收益最高的若干个广告。

          最重要的指标是每秒查询数（query per second ,QPS）以及广告决策的延迟（latency）

               2)、广告检索（ad retrieval）：根据用户标签与页面标签从广告索引中查找符合条件的广告候选。广告检索得到的候选将被送入到广告排序模块。

               3)、广告排序（ad ranking）：在线高效地计算广告的eCPM，并进行排序的模块。eCPM的计算主要依赖于点击率估计，这需要用到离线计算的CTR模型和特性（CTR Model & Features），有时还会用到流计算得到的实时点击率特征（real-time features） 

               4)、收益管理（yield manament）:以全局收益最优为目的做调整的功能。

               5)、广告请求接口

               6)、定制化用户划分