拥抱“Zero ETL”未来，亚马逊云科技助力乐城堡加速数据分析

获得全球三千五百多万用户的认可的移动游戏企业乐城堡希望通过数据分析为游戏业务提供更好的决策支撑。乐城堡在亚马逊云科技上利用Amazon Redshift等服务构建属于自己的云上游戏数据分析平台，实现复杂查询，保证游戏运营人员能快速、近实时地获取所需的数据与统计信息，实现产品的持续优化和更新，提升玩家体验。乐城堡所采用的亚马逊云科技服务包括Amazon Redshift、Amazon MSK、Amazon S3、Amazon CloudFront、Amazon SageMaker等。 

 

业务需求与挑战

北京乐城堡科技有限公司（以下简称“乐城堡”）致力于为全球用户提供精品移动游戏的公司。北京乐城堡科技公司旗下产品已获得全球三千五百多万用户的认可，旗下产品爱丽丝与词幻境（Alice in Wordland）获得苹果商店全球三千多次推荐。

在游戏业务运营中，乐城堡秉承“好的产品一定是用户体验优先，创新应来源于对用户的洞察，细节决定成败，精品需要精心打磨才能造就。”的产品理念，不断创新，为玩家提供优秀的智能手机游戏产品。要打造好的游戏作品，需要更好地了解玩家的喜好，因此游戏数据分析对于乐城堡来说至关重要。在过去的业务发展中，不同的游戏项目团队采用团队自己进行数据分析的方式，随着业务的不断发展，企业需要一种更好的方式来获得全局能见度。

 

为什么选择亚马逊云科技

通过对不同解决方案提供商的评估，乐城堡最终选择了亚马逊云科技，基于Amazon Redshift等服务构建属于自己的云上游戏数据分析平台。在乐城堡看来，亚马逊云科技的数据仓库与分析解决方案具有以下优势：

面向行业需求专门构建并且经过大量用户验证

亚马逊云科技面向游戏行业提供了针对游戏的分析和大数据应用解决方案，能够帮助企业更好地理解玩家、发展产品和提升玩家的参与度与保留率，并让企业做出更好的设计决策。这些解决方案不仅被众多的知名游戏工作室所应用和验证，同时也提供了面向全球市场的数据安全性与合规控制，帮助游戏企业更好地保护玩家数据。“我们的游戏业务运行在亚马逊云科技上，包括通过Amazon CloudFront处理访问日志，选择在亚马逊云科技上实现游戏业务的数据分析，不仅能够获得更低的延迟，消除大规模的数据传输和迁移工作，也能够让我们以弹性的方式存储和处理各类数据，降低数据分析中的构建和运营开销。”李明说。

提供易于集成的托管云服务和实时化的分析能力

游戏行业中数据分析对于乐城堡这样的游戏公司的重要性不言而喻，因此企业需要兼顾数据的准确性和实时性，尤其针对用户行为的分析。

乐城堡采用Amazon Redshift产品作为企业的核心数据仓库服务，通过将用户行为的埋点数据写入到Amazon Managed Streaming for Apache Kafka（MSK），结合Amazon Redshift内置的Streaming Ingestion技术能够将数据以准实时方式的写入到Amazon Redshift，并在此基础之上开展后续所需的数据分析。Amazon Managed Streaming for Apache Kafka（MSK）利用完全托管、高度可用的Apache Kafka服务安全的流式传输数据，是完全托管，无需担心基础设施的部署、配置和维护。

它消除了运营开销，包括预置、配置和维护高度可用的Apache Kafka和Kafka Connect集群的开销。Amazon MSK使得利用完全托管的Apache Kafka实时摄取和处理流数据变得很简单。“这种构建方式简化了数据分析团队的业务复杂度，并且在实时性和效率方面上有大幅的提升，帮助我们更快地了解用户的行为，更及时的调整我们业务策略，真正的实现让数据驱动业务。”李明谈到。

广泛的数据与分析服务可满足当前与未来的业务需求

亚马逊云科技提供了从数据存储、数据湖、大数据分析、流式分析、商业智能与机器学习在内的一系列广泛的云上托管服务，能够满足不同发展阶段的企业对于数据分析与利用的需求。“我们建立企业统一分析平台的初衷之一是消除各项目组自建数据库和自行分析给IT环境和业务造成的复杂度，亚马逊云科技的托管服务让我们可以轻松地按照业务的需求进行灵活的组合和构建，在短时间内打造属于自己的数据仓库和分析能力，因此我们可以更多地去关注于分析的策略和规则，而不是技术的运维管理。”李明谈到。

获得的成效

通过采用亚马逊云科技面向游戏行业的大数据分析解决方案，乐城堡不仅成功地应对了业务运营中的各类数据分析挑战，也让企业获得了多方面的成效：

首先是将之前分散在各个项目组的数据汇总，在企业内构建服务多游戏产品的统一数据分析平台，为企业提供数据驱动的业务运营引擎。亚马逊云科技的众多服务提供了“开箱即用”的方案以及与开源技术相一致的使用体验，乐城堡的数据分析团队可以充分利用这些优势在2个月的时间内完成各项目组的数据整合、迁移与数据仓库的构建，并根据不同业务的需求设计定制化的分析指标，让游戏项目组成员从复杂的数据分析设计和操作中释放出来，转变为分析结果的使用者，从而让有限的人力资源专注于游戏产品的创新。

其次让企业更有信心地应对玩家数量持续增长所带来的分析难题。“我们游戏业务所产生的数据量一直在增长，并且业务需要对一定时间的历史数据进行观测，结合DAU、日志量、时间范围等因素，仅玩家分析一个场景就需要面对数万条记录，以前无论是自建还是采用第三方的SaaS化方案效率都是极低的。”

李明说，“Amazon MSK作为全托管、高可用的Apache Kafka服务，帮助我们快速构建流式传输的管道，将之前端到端的数据传输延迟从分钟级提升到秒级，使得实时摄取和处理流数据变得简单高效。Amazon Redshift作为企业级数据仓库，能够容纳规模至PB级别的数据，实现复杂查询，保证游戏运营人员能快速获取所需的数据与统计信息，无论是规模还是并发性能，对于业务的持续增长我们都能保持信心。”

此外，亚马逊云科技各服务之间的良好集成度和互操作性也让乐城堡可以更好地降低数据分析的成本。与自建Hadoop集群与构建HDFS存储相比，采用Amazon Redshift与Amazon S3直连的方式可以简化企业在数据加工和存储过程中的架构复杂度并实现更好的成本效益，数据工程师可以使用熟悉的ANSI SQL直接在Amazon S3中查询开放文件格式，并可将各类数据轻松导出至Amazon S3数据湖进行进一步的加工利用。根据乐城堡的测算，在同样数据体量下，采用Amazon S3为数据仓库提供存储支持更具经济优势，能够帮助企业将成本控制到自建方式的十分之一。

展望未来，乐城堡将继续在游戏业务运营和数据分析场景中与亚马逊云科技保持密切的合作，以更好地挖掘数据所隐藏的价值。目前公司已在业务中应用Amazon Redshift ML，让大数据团队的开发人员能够在数据仓库中使用熟悉的SQL命令以更加轻松的方式来创建、训练和应用机器学习模型，乐城堡也将在人工智能与机器学习的应用中整合Amazon SageMaker提供的托管机器学习能力完成模型训练，帮助企业实现更加精细化的业务运营。