大数据概述（一）

大数据概述（一）

一、大数据产生

1.基于海量的存储与处理面临挑战：

1.1.数据量大，数据种类多。
1.2.海量数据的高存储成本。
1.3.流式数据处理缺失。
1.4.优先的扩展能力，单一数据源。
1.5.数据资产对外增值。

二、大数据概念

“大数据”是一个涵盖多种技术的概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。

三、大数据时代

数据产生方式的变革，是促成大数据时代来临的重要因素。总体而言，人类社会的数据产生方式大致经历了 3 个阶段:
3.1.运营式系统阶段
3.2.用户原创内容阶段
3.3.感知式系统阶段

四、大数据发展历程

大数据的发展历程总体上可以划分为 3 个重要阶段:萌芽期、成熟期和大规模应用期

五.大数据数据类型

5.1.结构化数据：
是指可以存储在数据库里，可以用二维表结果来逻辑表达实现的数据。
5.2.非结构化数据：
不方便用二维表结果来逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像、音频、视频信息等等。
5.3.半结构化数据：
介于结构化数据和非结构化数据之间的数据。HTML文档就属于半结构数据。
分析当代的数据集合，由25%的结构化数据和75%的非结构化和半结构数据构成。