Spark & Alluxio在网易严选架构演进中的实践和探索

本文来自于 2019年7月27日网易严选 & Alluxio 联合举办的 Meetup。本文分享作者左琴,2013年硕士毕业于浙江大学控制系,先后在网易、阿里巴巴等公司,从事分布式存储系统的开发,性能优化,大数据基础设施建设等方面的工作。目前在网易严选带领数据工程团队,负责数据智能决策平台建设,Spark优化和计算存储分离等方面的工作。


本文分享网易严选使用 Apache livy 、K8S 等构建 Spark 服务相关的工作,以及严选在优化 Spark 计算引擎、存储格式等方面的优化探索,严选大数据架构的演进方面的工作。Alluxio 在网易严选大数据生态中同样扮演着重要的角色,Alluxio 的特性能有效的帮助网易严选解决在spark优化,计算存储分离,计算混合部署等架构演进中遇到的困难。

关注 过往记忆大数据 公众号,并回复 spark_in_yanxuan 获取本文完整 PPT。

Spark & Alluxio在网易严选架构演进中的实践和探索_第1张图片

Spark & Alluxio在网易严选架构演进中的实践和探索_第2张图片

Spark & Alluxio在网易严选架构演进中的实践和探索_第3张图片

Spark & Alluxio在网易严选架构演进中的实践和探索_第4张图片


猜你喜欢

1、Kafka 是如何保证数据可靠性和一致性

2、图文了解 Kafka 的副本复制机制

3、Airbnb 是如何通过 balanced Kafka reader 来扩展 Spark streaming 实时流处理能力的

4、Kafka 客户端是如何找到 leader 分区的

Spark & Alluxio在网易严选架构演进中的实践和探索_第5张图片

你可能感兴趣的:(Spark & Alluxio在网易严选架构演进中的实践和探索)