DSP广告系统架构

源文：DSP广告系统架构

DSP的目标

使用程序的方式进行广告的投放的管理，并利用算法和技术自动实现精准的目标受众定向,只把广告投放给对的人。
  对广告主而言，使用程序化购买不仅能提高流量采购效率，更低成本的或可靠，稳定的流量，还能使用各种策略，投放不同的目标人群,使得广告的投放效果更加可控。减少广告浪费的同时,提升转化率,扩大覆盖面积，最终实现跨终端的投放管理和效果追踪
  对媒体资源而言，使用程序化管理的方式，能实现资源的自动化售卖，提高流量的使用率，有效利用优质流量和长尾流量，并且能基于人群的属性、兴趣等标签,对不同流量给出不同售价,提升流量库存的收入。

DSP投放系统架构图

image

image

平台核心要素

1. 流量资源
   不同的流量资源会有不同的效果,如何选择媒体和广告位是关键。平台上各种站点，频道，广告位，广告投放前制定投放策略喝中药作,需要根据投放KPI(即广告主用于评估效果的关键指标)选择适合的媒体。
   制定媒体策略首先需要分析目标受众,根据目标受众选择匹配的媒体资源。媒体 策略可以从所要投放的广告位所在页面(page)、位置(spot)、流量 (inventory)、价格(price)和转化(conversion)五个角度来制定。
   页面: 包括渠道、载体(PC/WAP/APP)、媒体分类、频道、URL、页面关键词 等。
   位置: 广告位所在的具体位置、尺寸的大小、广告位类型、屏次(如首屏、第二 屏)等,都会影响广告的有效性。
   流量: 总流量的大小决定着能采购的流量大小。比如,每天需要投放3,000,000个 展示,那么起码得先确保所选媒体的总流量大于这个量级。需求方平台通常有流量预 估功能,可以为需求方的流量采购提供一定的参考价值。
   价格: 广告主KPI一般会对单价或量级有要求,要在有限的投放预算里面满足 KPI,就得考虑价格。在竞价环境中,价格是不固定的,但是我们可以参考历史投放 的平均价格。
   转化: 除了参考流量和价格,还需要参考历史转化情况,以达到更好的媒体效果 预估。

2. 投放策略及受众定向

1. 基础设置

• 出价上限，可以按照CPM或CPC设置，广告主可以设置好能承受的价格上限,将投放成本控制在可接受范围。
• 预算控制，提前设置好预算可以避免消耗过度，预算分为每日预算、总预算。在平台上还可以设置曝光数限制和点击数量限制，相应的有每日曝光数、总曝光数或每日点击数、总点击数。
• 频次控制，频次控制是指广告主设置的同一个用户在设定时间内看到特定广告的总次数,或者在设定时间内看到某个广告素材的总次数。一方面,在预算有限的情况下,有效的频次控制可以覆盖到更多的用户;另一方面,同段时间内对同一用户进行大量曝光或者大量重复同一广告素材的意义不大,有效的频次控制还能在一定程度上提升点击率和转化率。
• 投放时间，设置投放日期或投放时段,也可以设置为不限制。投放日期或每日的投放时段都会对广告效果产生影响,比如周末、晚上高峰阶段。

2. 受众定向

• 地区定向，指定投放区域,包括国家、省份、城市等。
• 客户端定向，设置受众的操作系统、浏览器、系统语言等。
• 移动设备，包括设备类型(如手机、平板)、设备品牌(如 Apple、华为)和设备 型号等。
• 人群标签定向，基于DMP系统，可以选着不同兴趣爱好的人群进行广告投放，以实现更精准的人群覆盖

3. 创意内容
   选择好广告位和对应的人群,还需要有适合的创意匹配用户的喜好。即使是同一个广告位,甚至是同一个用户,对不同创意素材的反应都是不同的。制作创意首先要把握好创意形式(Format)和用户交互(Engagement)方式。
   创意形式是指素材是以什么文件形式呈现,比如图片、文字、图文、Flash、视 频、表单或者其它。目前来看,视频创意和图文创意(如信息流)创意形式最佳,这 跟广告位特性有关,这些广告位的价格也比普通广告位高一些。用户交互是指用户在素材上进行什么动作,如点击切换动态创意、在创意上填写注册信息、点击广告后扩展素材、甚至是语音提交信息。

• 图片PC
• 小灯泡
• 动态创意

数据指标

作为广告主一方，在广告投放过程中，必须要需要关注广告的投放效果，以及时调整投放策略，达到效果最大化，关注的指标包含：请求，展示，点击，花费基础指标，以及不同时间段，不同网站，策略，创意，广告形式，省市，频次的高阶指标

1. 基础指标

• 请求数：包含总请求数，有效请求数，参与竞价数，赢得竞价数
• CPC：每点击成本，即广告被点击一次对应的价格。用公式表示即 CPC=Cost/Click。如果结算类型是CPC，那么CPC和CTR会是主要的考核和优化目标
• CPM：每千人成本, 即广告被展示一千次对应的价格。用公式表示即 CPM=(Cost/Impression)*1000。如果结算类型是CPM，一般会从CPM和CTR着手
• CTR：指广告的点击率,即广告点击次数占广告展示次数的百分比。用公式表示即CTR=(Click/Impression)*100%

2. 高阶指标

• 独立访客数(UV)：Unique Visitor数量,指在特定时间内访问页面的虚拟自然人(用客户端标识)的总数。
• 访问数 …
• 网站到达率：指用户到达landingpage的数量和点击数的比值，用于衡量该环节用户流失率
• 频次：分为离线频次和累计频次，指对每个独立用户的曝光频次
• 网站浏览量：用户到达目标页面产生的浏览量
• 二跳率：…
• 平均停留时间：该次投放用户到达目标页面后的平均停留时间
• 下载，激活，注册：该次广告投放引导用户下载，激活，注册的数量
• 付款金额，付款人次，该次广告投放引导用户产生支付的金额，人次

程序化创意

程序化创意,就是实现从创意制作到投放优化整个过程的程序化。针对不同受众 的不同消费需求,或者同一受众在不同时期不同场景的不同消费需求,程序化自动生 成个性精准创意,最大化刺激消费需求,提升创意制作效率和广告投放效果。
1)DCO原理
动态创意优化(Dynamic Creative Optimization,简称DCO):根据用户的标 签属性匹配相应的创意,并根据他们的行为实时调整策略,自动选择最优方案。

流程1:PCP通过商品对接服务对接客户的商品信息,包括商品的名称、价格、页 面、库存等。需要注意的是,商品库存和价格信息对实时性有要求(试想像一下,用 户点击某广告进入想购买,结果收到库存不足或者价格变化的提醒),其它数据对实 时性要求没那么高。商品库对接方式:JS代码、Feed接口、FTP方式、Excel/CSV导 入等。
流程2:商品信息入库。
流程3:创意管理平台调用商品库的商品信息和用户数据中心的用户信息设置动态 创意规则,设置好需要推荐的商品、展示方式、创意样式等(如库存量低于某个值 时,该商品不推荐;一次推荐5个商品,按销量降序排列等)。PCP将设置好的动态 创意规则生成创意代码Ad Tag,发送到DSP。
流程4:DSP竞价成功后,发送Ad Tag到浏览器。
流程5:浏览器向PCP创意渲染服务发起创意请求,携带当前用户的唯一标识User ID。
流程6:创意渲染服务向推荐引擎请求该User ID对应展示的创意内容,并携带Ad Tag对应的商品规则。
流程7:推荐引擎向用户数据中心查询该User ID的用户信息,如兴趣爱好、行为 数据等。
流程8:用户数据中心返回用户信息。
流程9:推荐引擎根据用户信息以及商品规则,得出要推荐展示的商品,并从商品 库查询调用商品信息,返回到创意渲染服务。
流程10:创意渲染服务根据推荐引擎返回的商品信息和Ad Tag对应的创意样式 等,生成个性化创意,并展示到浏览器中。

image

用户数据中心,DMP

在RTB竞价逻辑图和DCO原理图中均出现了用户数据中心,具体是如何实现数据 输入、标签生产与管理、数据输出呢?我们通过下图可以对其工作流程有大概的了解。

image

流程1:将第一方、第二方、第三方数据输入到用户数据中心,包括:通过收数 接口传输广告主通过加代码埋点时统计到的网站或APP的数据、通过收数接口传输广 告投放时的业务数据(如曝光、点击数等)、通过对接接口传输外部数据(包括广告 主CRM数据、电商交易数据、第三方DMP数据等)。
流程2:传输数据信息并写入日志Log,包括2.1的收数接口和2.2的对接接口传输 数据到日志整理存储。需要注意的是,由于数据输入的来源较多,用户标识不一致, 特别是PC环境下的cookie,因此需要用户ID映射表将所有来源的数据用唯一ID打 通。
流程3:日志管理存储将汇总后的数据信息(包括结构化数据、半结构化数据和非 结构化数据)发给数据处理服务。
流程4:数据处理服务对日志信息进行标准化处理,发送到分析引擎。
流程5:分析引擎对数据进行清洗,过滤作弊数据和其它异常数据,将有效数据发 送到算法中心。
流程6:算法中心结合标签规则模型对数据进行机器学习和数据挖掘,将数据标签 化处理后返回给标签管理平台。
流程7:标签管理平台通过输出接口同步数据到各数据应用平台,如DSP、PCP、 AdX/SSP或其它平台。

反作弊

1. 几种常见的作弊方式

• CTR异常，明显高于正常水平
• 广告访问IP异常，某些IP产生大量的展示点击
• 有点击展示，没有对应的广告请求
• 点击热力图异常
• 广告请求，展示，点击，跳转，时间顺序异常
• 无时间定向时某些时间段的请求，展示，点击数量明显高于正常水平
• 某些设备产生了大量的展示，点击
• 重复展示，点击
• 广告请求中的参数异常，如UA，IP，机型等

2. 反作弊方法
   反作弊工作需要事前预防、事后追溯、人工排查、智能算法等方式多管齐下。下面从“用户标识、用户行为、广告来源”三个角度讲解反作弊的基础理论和方法,基 于这些理论和方法,我们才能更好地去完善反作弊算法和人工排查。
   反作弊的最终目的是识别机器人流量和正常流量，即要能准确的过滤非正常流量，又要确保正常流量不被过滤，作弊和防作弊在广告平台是个永恒的话题。以下列出了常见的几种能有效过滤非法流量的方法

1. 广告来源

   • 过滤爬虫IP，过滤内网IP，过滤长时间产生异常数据的IP
   • 出现大量无refer的广告流量:一般是通过非法手段直接刷广告点击代码,而不 是通过媒体页面上的广告点击跳转。
   • refer与所投放的媒体不对应,例如要求投向A网站,refer却出现大量B网站。

2. 用户标识

   • 可以根据IP、cookie或设备ID作为分辨用户的依据,统计某些用户是否存在高频次或高频率曝光或点击。
   • 有些情况会出现IP，cookie不一样，但是浏览器型号、分辨率、用户窗口大小、操作系统版 本号、设备品牌都相同，这种流量也需要特别注意，人工排查

3. 用户行为，对广告请求、请求频次、展示、展示频次、点击、点击频次进行分析，常见的作弊行为模式

   • 同一用户、同一时间在多个广告位产生了浏览或点击行为,或短时间内在同一广告位产生多次曝光或点击;
   • 同一用户的广告浏览或点击时间间隔过于规律;
   • 曝光数和点击数在某个时间点暴涨;
   • 用户未浏览广告就直接产生了点击行为,通常表现为出现大量无曝光的点击;
   • 用户浏览广告的面积和时长数据异常,可用广告可见度(Viewability)衡量和分析;
   • 用户点击广告的位置过于规律或过于集中,一般用广告位热图来观察分析;
   • 用户行为的各环节(浏览广告->点击广告->到站->转化)遵循严谨的时间先后顺序,如果点击广告的时间早于浏览广告的时间,或浏览和点击行为之间的时间间隔异常,一般可以判断为作弊。
   • 到站情况，综合考量用户留存、停留时间,访问深度等指标,用于分析转化用户的质量。同时,还得关注用户的站内交互情况(点击、滚动、输入等操作)。和广告点击作弊一样,为了制造用户活跃的假象,作弊的方可能会利用机器产生大量页面点击,同样地,我们可以利用点击的区域、次数、频率、页面窗口大小等指标去伪存真。

image