通信网络时时刻刻在产生着大量的事件,如信令、xDR等,产生速度可达几十MB/s至几十GB/s。要想实现大规模流数据的实时分析,传统的IT系统已经无法支撑,因此,我们需要引入流计算平台,如IBM Streams。利用流计算平台高性能、分布式、可扩展等特点,高速产生和流动网络事件能及时地获取有业务价值的信息。流计算平台在网络质量实时分析中实现的关键业务包括:
信令数据直接从网络设备引入到Streams流计算平台;然后由Streams应用程序按照业务规则,对信令数据进行实时的加工、计算、汇总等处理;最后将实时分析结果写入至目标存储,如数据库、HDFS或实时展现工具。
无论采取哪种流计算技术,网络事件的实时分析都可以分为三大部分:
下图是网络质量实时分析的参考模型。为了方便结合业务场景进行描述,参考模型用多个红线框划分功能模块。
网络设备所产生的数据通过TCP/FTP/本地文件等方式实时注入到Streams。由于数据源可能提供多种不同的数据格式,如二进制码流、或CSV格式的文本,Streams接收到数据之后先进行解析,以便后续的处理。
根据用户静态属性(来源于数据库或文件),过滤出高价值客户,即VIP客户。对于这类客户的相关业务质量实时分析,有助于及时发现他们在使用通信网络中遇到的问题,以便及时处理VIP客户的投诉与对他们进行定制化的客户关怀。
利用所有网络事件对全网的网络质量进行实时分析,包括各项KPI的按不同的时间粒度进行统计,如1分钟和10分钟粒度的MSC内切换次数,通话失败原因的汇总和排序等。
将实时分析结果写入数据库,以便后续的查询和展示。除了写入数据库的方式,Streams也支持将结果写入文件、Kafka或TCP Socket等方式,亦可直接将结果推送给实时展示工具,如Excel Realtime Data。
利用Streams的可定制业务逻辑及高性能处理能力的特点,实现网络事件数据的实时ETL
调研Streams提供的HDFS相关Toolkit,将经过预处理的网络事件数据写入至HDFS,一般后续进行离线分析。
当然,除了电信业以外,其它行业的成熟解决方案如交通、医疗、零售、金融等也可以参考一下慧都大数据、与IBM国际厂商合作的一个商家,解决方案以及案例还是比较权威的。