大数据实战项目------中国移动运营分析实时监控平台 || 项目背景

中国移动运营分析实时监控平台

1. 项目背景
   中国移动公司旗下拥有很多的子机构,基本可以按照省份划分. 而各省份旗下的充值机构也非常的多.
   目前要想获取整个平台的充值情况,需要先以省为单元,进行省份旗下的机构统计,然后由下往上一层一层的统计汇总,过程太过繁琐,且统计周期太长. 且充值过程中会涉及到中国移动信息系统内部各个子系统之间的接口调用, 接口故障监控也成为了重点监控的内容之一.
   为此建设一个能够实时监控全国的充值情况的平台, 掌控全网的实时充值, 各接口调用情况意义重大.

技术选型：
2.Apache Spark
Spark Streaming 是核心 Spark API 的一个扩展，它并不会像 Storm 那样一次一个地处理数据流，而是在处理前按时间间隔预先将其切分为一段一段的批处理作业。Spark 针对持续性数据流的抽象称为 DStream（DiscretizedStream），一个 DStream 是一个微批处理（micro-batching）的 RDD（弹性分布式数据集）；而 RDD 则是一种分布式数据集，能够以两种方式并行运作， 分别是任意函数和滑动窗口数据的转换。

3.项目架构

项目数据量
 数据量每天大概 2000 到 3000 万笔的下单量, 每条数据大概在 0.5KB 左右,下单量数据大概在 15GB 左右.
 最后充值成功的大概 500 到 1000 万,平时充值成功的大概五六百万笔.
 月初和月末量比较大