2020-12-01

云通信眼中的大数据 

大数据这个名词这几年突然之间火了，可以预测未来还会持续火下去。如今和一些朋友聊天，不管他们是不是真的了解大数据，总是会不经意间提到这个概念。其原因无非以下几点：一是人们对新技术的渴求期待；二就是有些人为了显示自己的高端前沿，不管是不是真懂，吹上一通再说；三是部分人的确已经在从事大数据方面的研究和应用。但更多的人其实对大数据的概念还是一知半解。

由于小编目前从事的是云通信行业，而和大数据有着千丝万缕的联系。所以在这谈谈小编对大数据的理解，希望能和大家共同学习、共同进步。

老样子，我们先看一下对于大数据比较官方的定义是什么样的？

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。同时IBM还提出了大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

接下来谈谈小编的个人看法？

小编认为大数据就是互联网发展到现今阶段的一种必然趋势，完全不需要去过度神话。因为随着云存储，云通信等一系列云计算技术的发展，这些原本很难收集和应用的数据开始较容易被利用起来，为我们创造价值。换句话说大数据其实一直是存在的，即使是在过去，他依然是存在的。

我们可以想象一下，原始社会时期，人类需要靠狩猎和采集维持生存。那么整个地球上的每个人每天通过狩猎获取的猎物数量、种类、等等是不是非常庞大的一个数据？这何尝又不是一种大数据呢？为什么当时没人提出大数据的概念呢？因为受到技术的影响，当时的人类无法收集获取数据，更加无法管理分析和应用，自然也就没有什么大数据的概念了。

那么现在提出的大数据概念是什么呢？其实它的本质是对大数据如何运用的一个完整过程的研究。我们可以把大数据的一个完整研究过程分为以下几个步骤：大数据的采集、大数据存储、大数据加工、大数据应用。

一、大数据采集：大数据采集一般是指对企业经营数据、企业的管理数据和企业外部的用户行为数据等进行收集、获取的流程。可以使用如系统日志、网络爬虫、开放API等采集工具来进行。当然这里需要注意一个隐私问题，要小心在采集数据的过程中侵犯用户隐私信息，引起不必要的麻烦；

二、大数据存储：鉴于大数据的大量、多样性、低密度等特点，不但对数据的存储量有要求，同时对数据的有效管理提出了很高的要求，如存储设备的容量、读写性能、可靠性、扩展性等，还需要充分考虑功能集成度、数据安全性、数据稳定性、系统可扩展性、性能及成本各方面因素。现在大多应用到的存储技术主要是分布式存储；

三、大数据加工：通过大数据的特点我们可以看出海量的数据下，并不是采集获取的所有数据都是真实有用的，而数据的真正价值在于加工，将数据进行二次加工，经过精密分析，才能真正发挥数据的价值和作用。

四、大数据应用：完成采集、存储、加工之后，最终的结果是为了应用，不能很好应用可以说前面的步骤就是无用功。大数据应用环节是指将处理好的数据产品应用到行业中去，为企业和决策者提供决策支持，从而提高运营效率。

下面再具体结合我们SUBMAIL赛邮云通信来聊聊大数据的运用过程。SUBMAIL赛邮云通信作为一个PAAS型平台网站，主要是为政企和个人客户提供、邮件、验证码等在线群发以及触发服务。比如春节即将来临，某位电商企业用户需要我们帮助发送一批营销短信给自己的客户，该用户可以通过自己官网平台的网络日志获取所有客户的手机号码，加以整理，根据客户不同的浏览习惯大致确定他们的类型（如经常浏览服装页面的看作一类型，经常浏览美食页面的看作一类型，然后根据不同类型推销相应的短信内容）。然后通过实时大数据计算后,针对不同用户的浏览习惯、偏好，通过API 将推荐内容发送给特定的用户。

对用户日常的浏览数据，通过大数据计算，得到用户的使用习惯就相当于大数据采集环节；对用户的浏览习惯进行分类相当于大数据的加工；通过SUBMAIL地址簿 API 保存数据的行为可以看作是大数据的存储； 最后通过SUBMAIL API触发推荐信息推送就是一次大数据的具体应用。

所以说大数据离我们并不遥远，也谈不上是多么神秘。但是大数据也的的确确带来了很多的价值。 除了商业价值以外，对于政府和一些公共机构也具备很大的研究价值。2015年奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升到美国国家领域。而我国政府对于大数据也同样上升到了高度重视的地位。政府部门在获取大数据方面具有一定的先天优势，而且相对于企业体量更大，内容更加丰富。如气象数据、金融数据、信用数据、电力数据、住房数据、海关数据、旅游数据、医疗数据、教育数据等等。如政府针对气象数据，通过大数据的分析，可以及时发现自然灾害、提高应急处理能力和安全防范能力。

SUBMAIL赛邮云通信在17年计划推出大数据服务，完善大数据的采集、计算、和存储等大数据服务。