程序化广告（6）：相关技术

本系列文章是对《程序化广告 - 个性化精准投放实用手册》一书的简单总结，整理了书中重要的知识点和概念，希望能有助于理解互联网广告业务。
主要分为6个章节（点击前往）：

1. 概述
2. 参与者
3. 交易模式
4. 考核指标
5. 广告投放
6. 相关技术（当前所在）

第六章、相关技术

（一）RTB竞价逻辑

1、竞价逻辑

广告呈现的整个流程：

• 

• 说明：

  • 竞价请求一般会携带的信息：时间、请求识别号、IP地址、网页URL、广告位识别号、广告位频次、广告位宽高、广告位类型、广告位底价、访客来源、媒体分类、UA信息、人群标签ID、操作系统、硬件信息、地区等。
  • 广告投放管理平台：广告主在广告投放管理平台设置投放时间、预算、地区定向、用户属性等投放策略。
  • 算法引擎：主要的决策部分，主要围绕投放需求、媒体质量、人群属性、创意内容、用户场景、市场环境（竞争激烈程度）细分不同维度，并通过不断升维和降维进行自动调优。
  • 竞价过滤：根据广告主设置的投放条件和KPI要求以及流量质量等进行过滤。另外，有反作弊能力的还会对作弊流量进行过滤。

2、AdX/SSP竞价结算规则

• 广义第二价格（Generalized Second Price，简称GSP），即出价最高的赢得竞价，用比出价第二高多0.01元的价格进行结算。
  • 表面上使用最高价结算可以让媒体收到更高的价格，赚到更多钱。但实际上，这种模式会让大家趋向于往低报。
  • 在RTB竞价环境中“出价即定输赢”，因此每个买家都想用最合适的价格赢得流量。而使用第二高价结算即还有另外一个买家愿意出相同的价格，符合买家的“最合适的价格”心理，竞价会更积极主动。

3、AdX/SSP底价规则

• 固定底价：为广告位设置一个固定底价，DSP出价高于该底价时才能获得竞拍资格
• 双重底价：广告位底价统一为0，同时设定隐性底价（仅用于区分结算模式，假设为2元）。当出价价格大于0而低于2时，则用最高价结算；当出价价格大于2时，则用次高价结算。
• 静态多重底价：根据流量的不同属性、广告主的不同行业设置不同底价。
• 动态多重底价：根据广告质量动态地设置不同底价，如点击率高的广告可能获得更低的底价，从而促使其增加投放量。

4、DSP内部竞价排名规则

• 在满足参与竞价条件的众多广告主中，根据内部平台每个广告活动的出价方式及数值、点击率、转化率进行计算，预估eCPM并对其进行排序，再将胜出者的出价返回给广告交易平台。

  • eCPM：有效CPM，由算法通过动态点击率pCTR或转化率pCVR预估

  • 点击率和转化率：通过离线模型和实时模型计算得出

5、竞价相关指标

• 竞价请求量、预过滤后请求量、实际发送请求量、实际发送率、出价次数、出价率、放弃竞价次数、放弃竞价率、有效竞价次数、无效竞价次数、响应超时次数、响应超时率、解析错误次数、成功竞得次数、成功竞得率、曝光次数、曝光率、竞价失败次数、竞价失败率、使用率

（二）流量对接

对接和升级AdX/SSP之前，都需要先评估其流量质量、流量规模、技术成熟度等。

1、DSP与AdX/SSP对接

1. AdX/SSP基本情况确认：竞价计费模式、资源量级、PC:移动比例、IOS:Android比例、eCPM、eCPC、CTR、广告位类型和占比、点击跳转逻辑、是否提供CDN、是否提供视频频道分类、IDFA/iMEI/Android-ID支持情况、是否提供DMP、行业限制
2. 竞价接口确认：媒体分类信息、上网类型定向、设备类型定向、设备品牌定向、设备型号定向、操作系统定向、运营商定向、LBS（经纬度）定向、是否需要审核第三方检测、动态创意、自定义代码、是否含RTB市场、PD/PA/PDB支持情况、订单接口同步、Cookie Mapping支持、广告位同步接口、创意尺寸特殊处理
3. 创意及审核接口确认：审核接口、修改接口、审核机制、行业分类、创意类型、视频创意格式、提供CDN、图文创意说明、落地页是否支持302跳转、应用下载是否要中间页、曝光监测、点击检测、https协议要求、代码投放说明、动态代码支持情况、重新送审、mraid协议支持、deeplink支持、Cookie Mapping支持
4. 资质及审核接口确认：审核接口、行业分类、是否分开送审
5. 流量日志字段确认

2、Trading Desk对接DSP

• 一般来说，DSP为第三方Trading Desk平台（3rd Party Trading Desk，简称TD）提供的对接接口分为API和Pre-bid两种方式：
  • API接口：由DSP方提供报表查询或设置投放策略的API接口，TD方进行开发，将API接口整合进TD。
  • Pre-bid对接：DSP在出价前，将流量转发给TD询问是否出价，TD结合投放策略设置及自有DMP数据进行出价决策，并将决策结果返回给DSP。通过TD平台进行活动策略设置。

对接方式	设置平台	出价决策方
API - 报表查询	DSP平台	DSP方
API - 报表查询及策略设置	TD平台	DSP方
Pre-bid对接	TD平台	TD方

• 测试：
  • 延迟性测试：Pre-bid的对接对响应时间要求较高，双方对接前一般需要先进行延迟性测试。
  • 对接测试：在正式投放前使用TD进行小量投放并测试对数，看双方数据的差异值是否在标准范围内。

3、PDB对接

1. 100%采购模式：订单是按需求量进行100%采购。投放起来简单，但不能够挑选受众，可能会导致广告费用的浪费。
2. 1:1.5退量模式：订单按一定需求量并按约定退量比进行采购。可挑选挑选目标受众，流量质量会更高。但对广告投放平台的技术有较高要求，需要做好退量计算和把控。
   • 最优的退量算法是确保能够投放到尽可能多的目标人群，并且保证整体退量比。
   • 算法技术的关键点在于：结合目标退量比例、历史退量比例、上一分钟的退量比例，实时（分钟级）动态调整出价比例。

（三）用户识别与ID映射

1、用户识别原理

• PC端通常用cookie作为“人”的唯一标识，为每个“人”打标识的技术在业内叫“种cookie”。有以下缺点：
  • 生命周期短，一般3个月左右就会过期，或者被软件清理。
  • 不同浏览器的cookie是独立的，当用户使用多个浏览器查看页面，系统无法识别为同一个用户。
  • 不同技术平台的cookie是从属于各自域名的，且命名规则也不同。因此各平台之间无法共享数据，除非建立cookie映射关系。
• 移动端相对较稳定，一般用唯一设备号ID：安卓用Android-ID或者IMEI号识别，iOS用IDFA号识别。
  • 相较于PC端“种”cookie的方式，设备号ID周期较稳定，且各技术平台获取的设备号ID都是一致的。

2、cookie映射(cookie mapping，CM)

• 通过cookie映射技术可以将不同平台的用户信息对应起来，涉及CM代码（一般为URL形式）的部署，需要关注3个问题：谁埋CM代码？埋谁的CM代码？何时埋CM代码？
  1. AdX与DSP间的cookie映射：两种情形
     • 
     • 
  2. DSP与DMP间的cookie映射
  • 
  3. DSP与广告服务平台间的cookie映射
     • 
  4. AdX与DMP间的cookie映射
     • 

3、移动设备ID映射

• 一般情况下，移动设备ID不需要mapping映射，但部分AdX发给DSP的ID会采用加密方式（如md5加密），因此，DSP方需要将竞价请求中的加密ID与原始ID进行映射。

4、衡量指标

• 衡量DSP购买精准人群的实力时，通常会考量DSP与AdX或其他数据供应方之间的CM比例及“人群匹配率”。
  • cookie mapping比例越高，代表需求方平台能识别的人群越大。
  • 匹配率越高，人群标签在流量池中被命中的概率就越大，需求方平台才有可能大面积地覆盖所需人群。

（四）程序化创意

程序化创意，就是实现从创意制作到投放优化整个过程的程序化。针对不同受众、不同消费需求，利用程序自动生成个性精准创意。

1、DCO原理（动态创意优化）

• 根据用户的标签属性匹配相应的创意，并根据他们的行为实时调整策略，自动选择最优方案：
  • 

2、创意制作流程

• 为了实现程序化自动批量生成创意，我们需要在创意管理平台制作和管理创意。创意基本框架（称为创意模板）的内容可以分成5部分：

  • Key Vision（主视觉）：显示创意的主要内容，通常是指商品图片。
  • Logo（品牌标识）：用于显示广告主的Logo。
  • Information（文案说明）：主视觉的补充说明信息，通常是商品名称、价格、折扣信息等。
  • Call to Action（行为召唤）：与用户进行互动，一般是转化通道，如下载、注册、购买按钮等。
  • Background（背景图）：一般用来美化衬托创意。

• 创意制作流程：

  1. 上传各元素内容，形成物料库。具体包括Logo、商品信息（图片、名称、价格、折扣等）、按钮等
  2. 制作模板，定义好尺寸比例、各元素的位置及内容来源等。
  3. 设置创意规则，比如对女性用户展示模板A、商品内容为该用户加入到购物车的信息、每个动态创意自动轮播展示5个商品、商品展现顺序按热销度降序排列等。
  4. 将模板和规则应用到广告投放，程序化自动生成创意展现给用户。

3、商品信息库对接

• 常用的商品库对接方式有FTP、FEED、JS代码形式这三种：
  • FTP方式：数据提供方通过离线传输文件的方式发送商品信息给PCP平台。
  • FEED方式：通过URL拉取商品信息。又分为xml方式和json方式。
  • JS代码：通过代码同步商品信息。

4、对接DSP

• PCP的动态创意代码一般是HTML代码片段，形式有JS、Iframe和普通HTML。PCP的动态创意代码需要带上DSP提供的点击宏。初次使用时，需要测试DSP是否能够正确支持PCP代码的创意展示

（五）用户数据中心

1、DMP原理

• 

2、用户画像逻辑

• 人群标签原理：
  • 
• 用户标签生成及优化过程：
  • 

3、Look Alike原理

• 基于种子用户的浏览兴趣和广告行为找出相似用户，即找出种子用户与哪些人群更相似，从而扩大目标投放人群。

4、DMP对接DSP

• 

（六）数据统计原理

1、网站统计逻辑

• 

2、App统计逻辑

• [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FTbZltDl-1574228351750)(/Users/wangkai/Library/Caches/calibre/ev2/f/tmpa5AsrD/images/00192.jpg)]

3、S2S对接（Server To Server，服务器对服务器）

• 

4、第三方广告监测

1. 监测分为曝光监测、点击监测、落地页监测（站内监测）。
   • 曝光和点击监测代码常以URL形式提供，曝光监测URL通常是1×1的透明像素图片。
   • 广告在客户端产生曝光时，会触发曝光监测URL完成曝光监测计数。
   • 点击监测URL分为同步点击监测和异步点击监测
     • 由于触发代码的先后顺序不同以及代码触发机制不同，会导致同步监测下，广告投放平台监测数据一定大于等于第三方监测数据。
   • 站内监测需要加特定代码。网站监测一般是加JS代码（可以用1像素统计代码替代），App监测一般是加SDK代码。代码分为基础代码、事件代码：
     • 基础代码：用于流量的统计，如PV、停留时间等，一般加到网站编码的标签中。
     • 事件代码：用于行为事件统计，如按钮点击、注册、分享、购买等。还可以用于收集用户数据，在重定向投放时使用。
2. .第三方数据差异问题及原因：
   • 

5、DSP数据处理系统架构

• 

（七）广告验证

1、反作弊

1. 作弊环节：曝光、点击和转化（包括但不限于注册、激活、互动、购买等）。
2. 作弊方式
   1. 假用户 ：一般是利用机器人，不断地变换IP、cookie甚至设备ID等来伪装成不同的“用户”去刷广告页面或点击广告。
   2. 真用户假流量 ：利用真实的用户设备，使得作弊流量的用户属性特征更接近真实流量。常见手段有：广告堆叠、归因作弊、广告容器设置为1×1像素、利用插件植入不可见的广告位置、“肉鸡”刷广告、雇佣“枪手”刷广告等。
   3. 真用户真流量 ：用劣质流量滥竽充数卖高价；或是通过http或者DNS进行流量劫持，不完全算是作弊流量，称之为“非法流量”可能更准确。
3. 常见作弊现象
   • 可离线解决的作弊：
     • 一个cookie对应超过N个IP或设备ID。
     • 一个设备ID对应N个以上IP或userAgent。
     • 点击的refererurl包含display_ad.php。
     • 有点击无曝光的IP。
     • 点击率异常的IP和设备ID（如：移动端大于10%或PC端大于6%且点击量大于30）。
     • 广告位的曝光或点击集中在少量IP、cookie或者设备ID，可能是作弊广告位。
     • 页面停留时间大于平均水平。
     • PC端平均窗口大小指标小于70万像素或大于110万像素，或移动端PC端平均窗口大小指标小于1万像素或大于50万像素。
   • 可实时解决的作弊：
     • 某个cookie在N分钟内使用的IP超过N个。
     • 某个cookie在N分钟内点击超过N次。
     • 所有userAgent出现java、python关键字直接拉黑。
4. 反作弊方法
   • 用户标识：根据IP、cookie（或设备ID）作为分辨用户的依据，统计是否存在高频次或高频率的曝光或点击。
   • 用户行为：
     • 对用户的广告浏览频次/频率和点击的频次/频率进行分析。
     • 综合考量用户留存、停留时间，访问深度等指标，用于分析转化用户的质量。
   • 广告来源：对到站流量进行来源页面（一般叫refer）的侦查，将refer数据与投放媒体进行匹配。

2、品牌安全

• 品牌广告的投放需要品牌安全的保障，通常会有专门的品牌安全供应商（广告验证平台）提供该项服务。广告主通过广告验证平台设置敏感或非法的关键词/页面的黑名单，投放时过滤此黑名单的流量。·
• DSP平台需要提前对接好这些广告验证平台，用于支持品牌广告的投放，分为Pre-bid和Post-bid，可以理解为竞价前和竞价后的品牌安全。

3、可见度测量

• 可见度是通过JS代码来检验当前页面的位置以及可视面积的。

• 可见度相关指标有可监控曝光次数、可视曝光次数和可视率。不可监测曝光的情：

  • 部分媒体不支持JS代码投放。
  • 媒体的广告位是跨域iframe形式，JS无法检验跨域情况下广告位的位置和可视面积。

• 在App环境里，由于广告位是基于webview的，整个广告位可以当成是一个完整的页面，即可视面积是100%，因此移动端的Viewability并不十分准确。

（八）算法优化