大数据随笔

      

      大数据，顾名思义，就是数据量大，不过它还不止这一个特点，它具有真实性，有价值的，追求速度的等特点。大数据不采用随机分析法（抽样调查）这样捷径，而采用全量数据进行分析处理。大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

      大数据，在当下已经不是什么新鲜的词语了，相信现在的每一个互联网公司都在搞数据研发，不仅如此还在大量引进人才，外界有传闻，说不分析数据的企业不是好企业，也可以说不分析数据的企业将不会长久。 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 

      根据数据收集的端口，企业端与个人端之间，大数据的数量级别是不同的。企业端（B端）数据近10万的级别；而个人端（C端）的大数据要达到千万级别。

　1、Variety（多样化）

　　大数据一般包括以事务为代表的结构化数据、以网页为代表的半结构化数据和以视频和语音信息为代表的非结构化等多类数据，并且它们的处理和分析方式区别很大。

　　与大数据现象有关的数据量为尝试处理它的数据中心带来了新的挑战：它多样的种类。随着传感器、智能设备以及社交协作技术的激增，企业中的数据也变得更加复杂，因为它不仅包含传统的关系型数据，还包含来自网页、互联网日志文件（包括单击流数据）、搜索索引、社交媒体论坛、电子邮件、文档、主动和被动系统的传感器数据等原始、半结构化和非结构化数据。简言之，种类表示所有的数据类型。

　　2、Volume（海量）

　　如今存储的数据数量正在急剧增长，毫无疑问我们正深陷在数据之中。我们存储所有事物：环境数据、财务数据、医疗数据、监控数据等。有关数据量的对话已从TB级别转向PB级别，并且不可避免地会转向ZB级。现在经常听到一些企业使用存储集群来保存数PB的数据。随着可供企业使用的数据量不断增长，可处理、理解和分析的数据比例却不断下降。

　　通过各种智能设备产生了大量的数据，PB级别可谓是常态，一些客户每天处理的数据量都在几十GB、几百GB左右，估计国内大型互联网企业每天的数据量已经接近TB级别。

　　3、Velocity（快速）

　　大数据要求快速处理，因为有些数据存在时效性。比如电商的数据，假如今天数据的分析结果要等到明天才能得到，那么将会使电商很难做类似补货这样的决策，从而导致这些数据失去了分析的意义。

　　就像我们收集和存储的数据量和种类发生了变化一样，生成和需要处理数据的速度也在变化。不要将速度的概念限定为与数据存储库相关的增长速率，应动态地将此定义应用到数据——数据流动的速度。有效处理大数据需要在数据变化的过程中对它的数量和种类执行分析，而不只是在它静止后执行分析。

　　4、Vitality（灵活）

　　在互联网时代，和以往相比，企业的业务需求更新的频率加快了很多，那么相关大数据的分析和处理模型必须快速地适应新的业务需求。

　　5、Complexity（复杂）

　　虽然传统的BI已经很复杂了，但是由于前面4个V的存在，使得针对大数据的处理和分析更艰巨，并且过去那套基于关系型数据库的BI开始有点不合时宜了，同时也需要根据不同的业务场景，采取不同的处理方式和工具。

       大数据产业是以数据为核心资源，将产生的数据通过采集、存储、处理、分析并应用和展示，最终实现数据的价值。整个大数据产业分为大数据采集与存储、大数据分析计算、大数据交易和大数据应用。大数据应用主要是大数据加速向传统产业渗透，驱动生产方式和管理模式变革，推动制造业向网络化、数字化和智能化方向发展。金融、电信、交通等行业利用已积累的丰富数据资源，积极探索客户细分、风险防控、信用评价等应用，加快服务优化、业务创新和产业升级步伐。这就是大数据产业链。