钱岭：电信运营商大数据平台和应用实践

在4月10日上午的《数据库技术探索》主题演讲中，来自中国移动研究院云计算系统部总经理助理钱岭先生，为我们分享了关于《电信运营商大数据平台和应用实践》的相关话题，其中主要包括两个部分，电信运营商大数据面临的挑战和“大云”大数据平台的研发。

　　电信运营商大数据面临的挑战

　　在谈到电信运营商在大数据时代的优势和机遇时，钱岭表示，通信记录着人们在现代社会的信息指纹，比如：电话号码的背后是人的行为;流量的分析和内容检测是人的需求等等。我们可以结合自身的特殊数据来寻找潜在的资源。大数据给电信运营商带来了很好的发展机遇，通过一些结合社会化的数据，可以提高用户的体验;通过个人位置信息的分析、匹配，可以提供创新服务。数据的结合，在公共卫生、疾病防治、金融保险等方面都会发挥作用。

　　大数据给运营商从技术和业务两个层面都带来挑战。从技术来讲，主要是数据的管理、采集、分析不足。数据量的增加使得运营商传统的处理数据和存储压力增大，数据类型的多样化使得传统数据处理窗口难以处理。另外，运营商知道用户访问过哪些网站，但是不知道用户究竟看了哪些内容;或者知道用户在哪个地址，但是不知道用户在哪个地点。在数据分析方面，运营商希望复合关联，希望快速实施，但事实上，现有的DPI的分析仅仅用了几张报表。数据散落在各种系统中无法进行有效的采集、分析。

▲移动互联网用户流量激增，4G将大大加快移动网络数据业务和流量增加

　　电信业近十年来的变革，是电信运营商上百年的历史上都是不曾有过的。尤其是，今年来以来，4G技术突飞猛进，移动互联网日益普及，电信运营商的各种商业模式随之被打破。尽管电信运营商一直积极地优化4G网络、不断加强WLAN的部署，中国移动也已经开始力推LTE，但网络的持续扩容与升级并未给电信运营商带来十分可观的收入，三大运营商的传统业务和整体固网业务都受到了移动互联网的巨大冲击，增长趋缓甚至下滑。

▲大数据技术在互联网公司的成功应用

　　不仅如此，在大数据时代，电信运营商还面临着来自数据、管理方面的巨大挑战。海量的半结构化和非结构化的数据大大降低了数据处理的效率，给运营商带来了巨大的数据存储和读写压力。如若不能缩短数据处理的周期，很多数据的价值都会被极大地稀释。此外，庞大的数据规模和复杂的数据种类也给运营商带来了管理层面的难题。对于电信运营商自身而言，每一个省、市公司都是相对独立的，仅一个省的单月计费清单数量就多达数十亿条，而大数据时代要求跨地域、跨业务的数据整合和分析，对运营商统一的数据整合和管理能力提出了非常高的要求。

　　中国移动大云项目负责人钱岭从运营商的角度分析了电信运营商在大数据领域的需求，介绍了“大云”大数据平台的组成和架构，同时分享大数据平台在电信运营商的应用情况，并在最后展望大数据平台和应用的发展。

　　他认为，大数据已经成为业界的一个新的研究热点，大数据的价值需要通过云计算平台才能被充分发掘和体现，Google等互联网公司是大数据平台和应用领域的发源地和领先者。通常互联网大数据平台能够总结出以下特点：

　　规模大。数据集中存储和处理，无论是交易系统还是分析系统，数据规模均超过PB级。

　　数据高可靠，系统高可用。数据采用多副本、纠删码、跨IDC等技术实现数据高可靠性。

　　基于通用底层技术平台的高效定制化系统。采用通用的底层通用平台，针对应用特点定制大数据系统，获得更高性能。

　　资源共享。在多个应用之间共享存储和处理能力，利用率高达80%。

　　他指出，电信运营商拥有大数据，但是由于业务模式不同，大数据平台的研发和应用尚没有获得大规模发展，因此电信运营商需要开发适合自己的大数据处理架构。

▲中国移动“大云”2.5云计算平台

　　最后他总结到，电信企业面临着与互联网公司不同的挑战，但问题并不在技术，因为技术问题总是能解决的，很多情况下，电信企业与众不同的管理架构才是真正的难处。