TOP100summit:【分享实录-Microsoft】基于Kafka与Spark的实时大数据质量监控平台
邢国冬(TonyXing):Microsoft资深产品经理、负责微软应用与服务集团的大数据平台构建,数据产品与服务导读:微软的ASG(应用与服务集团)包含Bing,、Office,、Skype。每天产生多达5PB以上数据,如何构建一个高扩展性的dataaudit服务来保证这样量级的数据完整性和实时性非常具有挑战性。本文将介绍微软ASG大数据团队如何利用Kafka、Spark以及Elasticsea