亚马逊云科技——户外广告传媒行业数字化转型的摆渡者

  随着社会经济发展水平的持续提升，人类也正式过渡到了数据大爆炸时代，国际数据公司 （IDC）曾在2006年发布报告称 数字世界（digital universe）项目统计得出全球数据总量为0.18ZB，并预测在2011年达到1.8ZB（等于大家熟悉的10亿TB），时至今日，早已很难估算全球设备中存储的数据总共有多少，而平均到每一家企业，数据已然是一股泥石流般的存在，一个企业可能暂时未能从数据中获取价值，但是绝对不可能在没有数据的情况下开展业务，而在大数据洪流冲击下的今天，数字化转型、数字化运营更是成为传统行业迫在眉睫的挑战。

  户外广告传媒这样一个传统行业，传统模式下媒介载体资源管理、资源售卖形式、设备排片上刊、设备健康状态等等都是靠堆积人力进行运作的，在当今5G时代的速度下，早已显得格格不入；在本文中，我们就亚马逊云科技在IoT物联网、数据仓库、数据湖、数据可视化等方面的如何助力户外广告传媒行业数字化转型的问题上展开探讨，同时，亚马逊云科技提供了100余种产品免费套餐。其中，计算资源Amazon EC2首年12个月免费，750小时/月；存储资源 Amazon S3 首年12个月免费，5GB标准存储容量，更多详情请参考：AWS免费套餐详细信息。

图1.0 亚马逊云科技部分产品举例

1. 户外广告传媒行业的困局

  提起户外广告传媒行业，大家最先想起什么呢？扰人的恶心广告？其实作者在没有入行前也是感同身受的，隔行如隔山，因为没有步入这个行业，也曾大言不惭过；当真正从事这个行业后，就会慢慢发现，广告并非如此讨厌，于企业，广告能爆红一款产品，快速打入市场，提高公司的盈利收入；广告也能给企业建立良好的品牌的效应，给用户买下一颗印象的种子，当用户需要这类产品时，自然会想起你，成为企业的消费者；于消费者，广告能种草更好的产品体验，把更多的有趣产品带到你的面前；更有充满灵魂的广告，让你眼前一亮，终生难忘；而户外广告传媒呢，就是将利用户外媒介载体（海报、电子屏、灯箱、投影等)将广告呈现在大众面前的一个传统行业。
  正是这样一个传统行业，在每一期（投广告一般有个周期，投几秒、几分钟、几小时、几天、几周、几个月、甚至几年）的广告发布中，都会产生大量的数据，如图2.1，户外广告传媒数据生命周期闭环一般分为以下几个步骤：

1. 媒介基础数据：排除异常不可用的、预估筛选合格的广告媒介载体，按一定维度，度量值统计归纳好一份可售资源表；
2. 广告销售：将可售的资源表分发到销售人员手里，销售人员根据资源维度和客户对接项目，签相关合作合同；
3. 排片上刊：客户提供素材（海报画面、视频广告），排片人员按照一定逻辑对素材进行排列组合，形成一个排片版本，上刊人员把素材按照排片版本上刊到媒介载体上；
4. 广告播放：广告媒介载体按一定是规定，如定期时间播放广告内容；
5. 效果数据：广告播出后的效果数据。

图1.1 户外广告传媒数据生命周期闭环

  而针对这些步骤，随着企业规模的扩大，媒介载体资源的增多，接入客户的丰富，传统的运营模式早已捉襟见肘，主要表现在：

1. 媒介载体资源数据繁多，维护成本高，如设备是否异常、能否可售需要大量人员参与排查；
2. 客户广告投放策略的多元化，使得原有的固定维度、固定模式无法满足客户挑选媒介载体资源、受众标签等需求，面临客户流失；
3. 排片、上刊、换刊需要大量人工投入，容错率不强，如疫情期间户外媒介载体人工换刊难度大；
4. 媒介载体广告播放内容、频次是否达标，户外电子屏是否音量过大扰民，是否黑屏无心跳等问题过渡依赖巡视人员；
5. 投放后效果如何？是否引起微博话题热搜，线上线下该广告主的产品销售量是否有影响？效果数据较为模糊；
6. 数据的安全问题，不仅要保证数据使用的安全性，也要保证广告在媒介载体中的安全播放，一旦播放内容被截胡播放一些不合规的内容是件很可怕的事情；
7. 运营人员提出的多维度运营管理，无法及时响应；
8. ……

  针对这些问题，多少有些冲击户外广告传媒的命脉，数字化转型迫在眉睫，一场场宣讲会下来，最终决定携手亚马逊科技共同完成公司的数字化转型，考虑到公司隐私，作者个人无权将公司信息及隐私数据公开，所以本文出现的公司信息及数据均已脱敏处理，单纯涉及技术架构讲解。

2. 为什么AWS

  迫在眉睫数字化转型业务需求，以及公司决策层决定将重心倾向于业务扩张版图，快速的占领市场才是第一要务，技术团队决定站在巨人的肩膀上前进，选择一家适合本公司业务行情的云厂商，一起携手共创数字化转型的解决方案，在所有宣讲会听下来后，决定于亚马逊云一起在户外广告传媒行业共同成长，为什么AWS（亚马逊云科技）呢？主要基于以下几个优势：

1. 起源早、云服务的领导者：Gartner2020年9月发布的《云基础设施和平台服务魔力象限》报告中亚马逊云科技连续10年评为领导者；
2. 云服务广泛：包含计算、存储、数据库、网络、物联网等200多项功能的服务；
3. 高稳定、高可用、高灵活：稳定性上AWS一年的平均宕机时间比规模次大的云端供应商少7倍之多;可用性上亚马逊云科技每一区域由一个地理区域内的多个隔离的且在物理上分割的可用区域组成，某一区域的宕机可以立马在另一个可用区恢复，从而达到更大的容错机制；网络灵活性上所有可用区都通过高宽带、低延迟网络与完全冗余的专用城域光纤互联；
4. 数据安全合规：亚马逊在云产品上的安全是所有云产品中的佼佼者，各种创新机制，最大限度上保证客户的数据资产安全；
5. 成熟丰富的全球业务体系支持：这点是公司最看重的，因为公司业务也遍布全球，希望一套完整的数字化转型方案即能在各种不同广告产品间横向扩展，也能在全球各个国家地区间纵向平移，真正实现一招鲜，吃遍天；
6. 众多全球知名客户伙伴的选择：亚马逊云科技拥有每个月数百万活跃用户、90%世界《财富》100强的巨头企业与大多数世界500强的企业，各大企业的成功实践，给了我们更大的信心和鼓舞。

图2.1 亚马逊云科技——数字化转型更好的选择

3. AWS——户外传媒行业数字化转型的得力助手

图3.1 亚马逊云科技助力户外广告传媒行业的数字化转型

  户外广告传媒行业的数字化转型，基于媒介载体设备的不同，大体上分为两种设备：

• 具有联网能力的智能电子屏设备；
• 不具备联网能力的海报、贴纸框设备；

  此二者设备在架构设计中会略有差别，具体后续步骤会细述，以下是户外广告传媒行业利用亚马逊云科技完成数字化转型的一个参考流程：

1. 媒介载体资源管理系统收录所有的媒介资源，整理媒介载体资源的各类维度，后端数据采用Amazon RDS存储；
2. 数据通过ETL技术工具上载到AWS云上数据湖Amazon S3或数仓Amazon Redshift，做一个数据的集成；
3. 利用Amazon EMR集群内的Spark、Flink等计算框架对数据进行加工计算，结果落地成明细数据事实宽表、各类维度表、维度汇总表、业务应用表等回写到Amazon Redshift数据仓库；
4. 按照业务规则筛选出可以正常播放广告媒介资源设备，减少意外的发生，筛选出来的资源进行版本控制导入排片上刊的关系数据库，后端也采用Amazon RDS；
5. 将可售资源的Amazon RDS各版本的数据按照一定频率写入到Amazon OpenSearch，整个Amazon OpenSearch作为智能排片上刊引擎的后端，具备联网功能的智能电子屏设备可实现物联网IoT的能力进行网络远程上刊、换刊、监播（调看播放的广告素材内容），而海报贴纸还是需要人工辅助；同样，具备联网设备的智能电子屏利用IoT网络可以每隔一段时间（如5分钟）返回设备的心跳数据包，包含设备当前的各种状态，如音量、正在播放的素材、画面亮度、是否开关机等；同理海报贴纸设备是不具备的；
6. 上刊结束的数据，智能电子屏可通过心跳数据包传回kafka内，利用Amazon EMR的Flink消费，然后写入到Amazon Redshift，形成一个数据闭环；
7. 针对外部合作的数据，如微博话题指数、电商平台回流的数据，往往会先落地Amazon S3内，再接入Amazon Redshift进行数据整合；
8. 最终整个广告生命周期的闭环数据，随着每一期时间的沉淀的历史数据，落地在数仓Amazon Redshift内，供整个公司的数据使用；而针对运营、决策层有巨大帮助的数据最终处理成数据可视化报表，利用Amazon QuickSight进行数据交互呈现。

  针对此次利用亚马逊云科技数字化转型的历程中，存在许多令人惊叹的创新之举，此处就列举两处展开细说一番：

• AWS物联网（IoT）——所有媒介设备零距离操控；
• AWS智能湖仓——数据应用体系的完美实践。

3.1 AWS物联网（IoT）——所有智能媒介设备零距离操控

图3.2 亚马逊云科技物联网相关的技术

  首先要感谢亚马逊云科技的物联网IoT技术，如图3.2，尤其是AWS IoT Device Management，她出色的功能可以轻松而安全地大规模注册、组织、监控和远程管理 IoT 设备，以及通过无线方式 (OTA) 发送设备的固件更新等等，有了这套机制，只需要将公司的媒介设备换成支持IoT网络的智能设备，设备装上同时支持移动、电信、联通的三网卡（SIM卡），结合AWS IoT Device Management技术，最终完美的实现所有智能媒介设备零距离操控，让坐在办公室的同事轻松遥控全国的智能电子屏设备:

1. 接收设备的心跳，确认设备是否在线；
2. 监播设备的播放内容；
3. 控制设备的亮度、音量、开关机时间；
4. 远程实现设备的上刊、换刊；
   ……

  此项技术的最终落地，使得公司优化了大量的媒介设备运营人员，节约了公司2/3的设备运营支出。

3.2 AWS智能湖仓——数据应用体系的完美实践

图3.3 亚马逊云科技智能湖仓架构落地前后对比

• 无湖仓架构前：

1. 数据分布散乱，业务系统各自为政；
2. 数据格式不统一，数据库种类繁多，技术栈紊乱；
3. 数据计算标准不统一，数据维度、指标无统一口径，甚至同一个指标数据在各个系统称呼不同，计算逻辑各异；
4. 数据流通性差，数据孤岛严重，数据断层严重；
5. 资源浪费，主要表现在资源的不合理利用，数据大量冗余，浪费大量算力重复计算相同数据等等；

• 利用Amazon S3、Amazon RedShift、Amazon EMR搭建湖仓架构后，如图3.4：

图3.4 亚马逊云科技上的智能湖仓架构

1. 数据统一集中存储：数据最终都在Amazon S3管理，安全又稳定，再利用数仓的技术架构在Amazon Redshift按需建立外部表、内部表等，分为离线数据和实时数据，离线数据按T+1更新，用时间字段(event_day,如20220420)作为分区存在Amazon S3，再加载进Amazon Redshift内；实时数据直接用Amazon Flink消费Kafka、数据库日志等方式，实时落地Amazon RedShift；整个Amazon Redshift分为四层架构：ODS(数据贴源层，集成各个系统的数据在此，保持数据的原汁原味)，DWD（数据明细层，将ODS的数据拆分成事实表和维度表，并采用维度建模思路做成雪花模型），DWS（数据汇总层，按照需求维度的不同、粒度层次的不同汇总数据），ADS（数据应用层，按照不同业务系统需求生成应用的数据大宽表）；
2. 数据格式统一：数据都按照一定的文件格式存入Amazon S3，然后再利用Amazon Redshift的列式存储和高级压缩统一使用，利用Amazon Redshift SQL进行数据的操作；
3. 数据计算标准统一：在Amazon Redshift数仓内统一指标，统一维度后一致输出对内对外，原则上所有的数据必须进入数仓；
4. 数据流通性高：数据统计集成在AWS湖仓架构内，数据治理后打破各个系统的数据壁垒和数据孤岛，全局把控数据，使得数据流通性强；
5. 节省资源：数据存储、计算分工明确，数据存储统一用Amazon S3和Amazon Redshift，数据计算统一用到Amazon EMR，如计算广告媒介载体经纬度附近的地理位置标签，客户（广告主）的标签，以及广告牌位置和广告主的匹配，消费者与广告屏互动（扫码、点击等）埋点数据分析、广告播放时长是否足量的CTR监测报告、外部效果数据的回流匹配等等算法，都需要进入Amazon EMR计算，然后数据再回写到Amazon S3和Amazon Redshift统一集成；
6. BI（Business Intelligence）数据可视化交互：针对运营以及决策层的需求数据，利用Amazon QuickSight可视化的展示为日报、周报、月报等报表，再根据一定的条件筛选，参数传入，人员权限的把控等操作完成BI数据可视化交互。
   亚马逊云科技智能湖仓架构的本质。如图3.6，实际是通过将不同结构、不同类型、不同来源的相关数据汇总起来并加以分析，用户能够得出更深刻、更丰富的洞察见解。为此，用户需要从不同孤岛中获取所有数据、将其聚合至统一位置（也就是人们常说的「数据湖」），再以此为基础执行分析与机器学习，用户也会将数据放置在其他专用存储体系之内，例如存储在数据仓库内以针对结构化数据执行复杂查询并快速获得结果。

图3.5 亚马逊云科技智能湖仓的本质

4. 未来已来，携手AWS共同成长

  何为未来已来？就是人类能预测到某一个行业的未来发展，然后抓住机遇朝这个方向努力，如果看不见的未来，何谈已来呢？数字化转型的旗帜下，户外广告传媒行业也在不断探索前进，本着专业的人做专业的事的态度，公司还是倾向于将更多的人力物力倾斜在扩展户外广告建设的疆域版图上，而科技技术支持，愿意携手亚马逊云科技共同成长。

  同时亚马逊云科技专为开发者们打造了多种学习平台：

1. 入门资源中心：从0到1 轻松上手云服务，内容涵盖：成本管理，上手训练，开发资源；详情传送门：AWS入门基础课程；
2. 架构中心：亚马逊云科技架构中心提供了云平台参考架构图表、经过审查的架构解决方案、Well-Architected 最佳实践、模式、图标等；详情传送门：AWS架构中心；
3. 构建者库：了解亚马逊云科技如何构建和运营软件；详情传送门：Amazon 如何构建和运营软件；
4. 用于在亚马逊云科技平台上开发和管理应用程序的工具包；详情传送门：用于在 AWS 上开发和管理应用程序的工具。

  除此之外更有专属福利期待你的参与：

1. 福利一: 100余种产品免费套餐。其中，计算资源Amazon EC2首年12个月免费，750小时/月；存储资源 Amazon S3 首年12个月免费，5GB标准存储容量。详情传送门：AWS 免费套餐；

2. 福利二：最新优惠大礼包，200$数据与分析抵扣券，200$机器学习抵扣券，200$微服务与应用开发抵扣券；详情传送门：最新优惠

3. 福利三：解决方案CloudFormation一键部署模版库。详情传送门：AWS 快速入门。