Spark+AI Summit 2019: Netflix 进入Spark时代

流媒体老大Netflix在今年Spark+AI Summit分享了他们用Spark替代了Hive和Pig的经验和教训!Netflix是Amazon web service的最大客户!原本data pipeline是Pig + Hive。如今,spark的job每日上万个,高达了总数的92%,cluster runtime也有85%,S3 read接近90%,S3 write接近80%。。。彻底告别了Hadoop,走入Spark新时代!!!

这个slides Migrating to Apache Spark at Netflix 分享了他们migration期间的各种经验和教训!大家疯狂点击!

下图展示了Google Trends的三个国内比较流行大数据平台的最新走势!

Spark+AI Summit 2019: Netflix 进入Spark时代_第1张图片

你可能感兴趣的:(Spark+AI Summit 2019: Netflix 进入Spark时代)