中国移动运营分析实时监控平台之SparkStreaming实时数据分析并将最后结果存储到redis中

业务概况

通过实时的分析用户的流量数据，获取用户动态的充值的订单量、充值全过程的平均时长、以及某段时间充值的成功率等。首先解析数据格式，从标签体系库中截取出需要的字段值，使用SparkStreaming的对抽取出来的属性加以处理。
1）统计每个市的充值失败的次数，并以地图的方式显示数据的分布情况。
2）以市为维度，统计订单量排名前5的市，并统计每个市的订单的成功率。
3）实时统计全省的每分钟的充值笔数和充值金额。

实现要点：
1、采用spark streaming直连 kafka方式，避免数据重复消费和丢失。
2、手动管理Offset, 并对Offset做校验，通过获取MySQL中持有的偏移量与Kafka集群上的EarliestOffset进行对比，保证数据准确与安全。
2、实时计算的所有指标数据都存储到redis，并使用Echarts做数据可视化。

具体代码实现：
https://github.com/wangleikai/cmcc_monitor