这是一本讲述网络广告及技术的书。
从本质,由因到果。
作者:
刘鹏,奇虎360高级总监、商业产品首席架构师,负责360变现产品及工程。清华博士、前微软亚洲研究院,人工智能研究。他讲授的《计算广告学》,作为北大计算机系、北航软件学院研究生院、清华公开课的课程。
王超,北大硕士。曾就职百度、微博、搜狐广告变现部门。多年来专注计算广告中机器学习算法研究和实践。曾参加Criteo举办的CTR(广告点击率)预测比赛,718个参赛队排名第7。
搜狗ceo王小川评价本书:全面而富有条理,既有计算广告全线产品的介绍,又有对其商业逻辑和原理的透彻解剖,还有应对的技术架构和关键算法的深入讨论。
第一部分 在线广告市场与背景
1、广告定义(源自《当代广告学》):
有确定的出资人通过媒介进行有关产品的,通常是有偿的、有组织的、综合的、劝服性的非人员的信息传播活动。
2、广告活动中,三个利益博弈者:
需求方(广告主、代理商或其他采买方);
供给方(媒体,或其他变现平台);
受众。
3、就目的性,广告分为两类:品牌广告和效果广告。
广告的根本目的:广告主通过媒体,低成本达到用户接触。
4、广告的展现类型
banner广告;
文字链;
富媒体广告;
视频广告;
社交广告;
移动广告;
EDM;
等。
5、关键术语及缩写
GSP(Generalized Second Price)-广义第二高价:竞价的计价方式;
RTB(Real Time Bidding)-实时竞价:需求方按自己的人群定义,实时竞价挑选流量;
ADX(ad Exchange)-广告交易平台;
DSP(Demand Side Platform)-需求方平台:点击预测、点击价值估计、流量预测、站外推荐。
DMP(Data Management Platform)-数据管理平台;
6、计算广告的核心指标:eCPM(expected Cost Per Mille)千次展示期望收入
两个主要影响因素,点击率CTR(Click Though Rate)和点击价值(click value或者理解为效果转化)
7、互联网广告的技术特点
1)技术和计算导向;
2)效果的可衡量性;
3)创意和投放方式标准化;
4)投放媒体多样;
5)数据驱动投放决策。
8、付费结算方式
1)CPM,千次展示结算;
2)CPC,点击结算;
3)CPS/CPA,效果结算;
4)CPT,时间段结算。
第二部分 在线广告产品逻辑
1、合约广告,主要是以展示CPM为主的广告形式,对广告主缺乏透明性。
2、搜索广告,典型的竞价广告产品,售卖的标的是关键字,以竞价方式售卖和cpc结算的广告产品。
搜索广告会关注广告的质量度,如落地页等,避免恶意行为、促进长远发展。
质量度这个参数,在广告系统中可调节:
当出现大量出价高但品质不高广告主,可以调高质量权重,强调质量和用户反馈的影响;如果竞价激烈不够,可以适当降低质量权重,鼓励竞争,同时也可用来提升短期财务收入。
3、广告网络(网盟)
售卖的标的是人群。
广告网络两个展现形式:信息流广告,标签化的展示广告。
广告网络,分为广泛对象的水平广告网络,和细分人群的垂直广告网络。
4、SEM优化
EF是一家专门从事SEM优化公司,4亿美元被Adobe收购,能提供搜索关键词投资组合,每年管理6亿美元4000万搜索关键词的优化。
5、程序化交易广告
实时竞价RTB,催生数据加工和交易市场,用定制化标签指导广告投放是实时竞价的关键目标。
6、实时竞价流程
1)广告主向DSP服务器发起cookie映射,需要用户;
2)DSP与ADX(广告交易)服务器发起完成cookie映射;
3)用户访问网站,DSP匹配用户cookie,ADX选出最高价的DSP给到网站。
其中ADX询价的过程时长约100ms,如广告有计算延迟,对CTR点击有明显不良影响。
理论上DSP可以极低的价格参与竞价,虽不获得流量,但可极低成本获得网站上的用户行为数据。
7、广告交易方式(程序、人的参与度)
程序化:RTB
半程序化:网络优化 广告网络
优先销售:CPM CPT
8、定制化用户划分:从受众定向角度,与广告主相关的定向方式,就是定制化用户划分。
例如:电商网站希望对老用户,做一次广告投放,这里“老用户”就是定制化用户划分,显然只有电商自己才能定义这个老用户。
又如,银行希望通过广告,接触到信用卡潜在用户,我们需要银行现有用户,分析他们的共同特征,再去拓展潜在用户。这一过程需要需求方数据,以及第三方或媒体数据,加工出来的依然是真对这个客户需求的用户,因此也属于定制化用户划分。
9、DSP的出价策略
1)通过历史的观察和预测,得到市场的曲线;
2)预算分配到市价较低的时间段。
10、重定向
在线广告中常用的定制化标签。
重定向广告作用:
1)用于品牌广告:
用户在高质量媒体看到已经选择的服务,会加强肯定自己决策正确性;
2)用于效果广告:
考虑过广告主服务,但未完全转化,此类用户找回,点击率和转化会高于平均水平。
11、重定向广告分类:
1)网站重定向
经一定时间内,到达广告主网站的用户作为重定向集合
2)个性化重定向
根据品类和购买阶段等因素,进行创意上的深度个性化。
推荐引擎,站内推荐主要根据上下文信息进行,而站外推荐根据用户信息来进行。站内推荐由于发生在某个特定购买环节上,因而不需根据用户购买的阶段来调节,而站外推荐这么做却非常必要。
对站外推荐,发现商品下架或是与创意上不符,对效果和形象有很不好影响。个性化重定向,需要广告主提供准确实时商品库接口,让广告主将库存和价格信息同步过来。
3)搜索重定向:对搜索过与广告主相关关键字的用户作为重定向集合,获得很精准的用户群。
12、新客推荐
大部分广告主除了对老用户深耕细作,更希望有办法接触那些“有可能”的潜在用户。
广告主根据自己第一方数据提供一部分种子用户,由拥有丰富第二方数据的广告平台分析这些用户行为特征。很显然也属于定制化用户标签。这样的标签加工策略,称为新客推荐,即look-like。但在中国市场,look-like成为了效果不明、原理解释不清的定向方式遮羞布。几乎所有广告产品声称拥有此项能力,成为中国look-like乱象。
13、公司案例:“聚效”国内最大的效果类DSP之一。不过目前,内部进行流量RTB化改造,预计未来会演变成ADX承接广告网络流量,需求方则完全以DSP为接口的模式。
14、数据加工与交易
提高定向准确度和人群覆盖率,技术永远不是唯一重要的因素,数据的来源和质量,同样是非常重要的。
15、有价值的数据来源
1)用户标识
浏览器行为,常用的是cookie,
ios是苹果设计的专用广告标识符idfa,安卓用ID或IMEI
2)用户行为
转化、预转化、搜索广告点击、展示广告点击、搜索点击、搜索、分享、页面浏览、广告浏览等行为,被广泛采集。
3)人口属性
4)地理位置
5)社交关系
16、移动广告特点(对比PC)
1)情景广告的可能性
移动设备与PC最大的不同,是可以对用户行为模式进行全天候的监测和分析,有可能做到从情景和意图出发,而不仅仅是根据兴趣推送;
2)大量潜在的本地广告主
PC只能定位到城市级别,移动广告可以精确到区域这种更小的颗粒。
17、移动广告的形式
1、横幅与插屏
2、开屏
3、推荐墙与积分墙
18、原生广告
软文、信息流广告有一些原生广告的意味,但只是一个侧面。所有商业化内容和非商业内容混合在一切生产或排序的产品,都可认识是原生广告。内容即广告。
原生广告得到充分重视,因为移动互联网时代的到来。屏幕较小的情况下,独立展示和运营广告遇到挑战。
19、广告主营销决策过程(图)
20、数据提供方变现决策流程(图)
第三部分 计算广告关键技术
1、计算广告技术概述
一般采用检索加排序的架构。
2、个性化系统框架,由四部分组成:
完成决策的在线投放引擎,
离线分布式计算数据处理平台,
在线实时反馈的流计算平台,
连接和转运以上三部分的数据流的数据高速公路。
3、计算广告系统架构
1)广告投放引擎,又包含:
a、广告投放机(ad sever):串联功能模块,完成投放决策;
b、广告检索(ad retrieval):用户标签和页面标签;
c、广告排序(ad ranking):高效计算eCPM回报,依赖于CTR点击模型;
d、收益管理(yield management):全局收益最优,做调整。
2)数据高速公路;
3)离线数据处理,包含:
a、用户会话日志生成:以用户ID存活存储的会话日志;
b、行为定向(behaviour targeting):挖掘用户日志,打上结构化标签库中的某些标签;
c、上下文定向(contextual targeting):给上下文打上标签,并在使用时进行抓去;
d、点击率建模(click modeling):训练得到点击率模型参数和特征;
e、分配规则(planning):为在线收益管理模块服务,得出合适上线的分配方案;
f、商业智能(business intelligence,BI):数据处理和分析流程;
g、广告管理系统:这里是广告操作者,客户执行(AE)与广告系统的接口。
4)在线数据处理
a、在线反作弊(anti-spam)
b、计费(billing)
c、在线行为反馈,包括受众实时定向(real-time targeting)和实时点击反馈(real-time click feedback):短时间将用户行为和广告日志及时的加工成实时用户标签及实时点击率模型。
d、实时索引(real-time indexing):实时接收广告投放数据。
总结
计算广告的技术基础知识,主要有三方面:信息检索、最优化、机器学习。
较多数学公式、代码和核心方法,没能力深入和阐述了。
行行皆有技术。