大数据概念与hadoop起源

1、大数据定义

        根据维基百科的定义，大数据是指根据常用软件工具捕获、管理和处

理数据所耗时 间超过可容忍时间的数据集。按照麦肯锡的定义，大数据是

指无法在一定时间内用传统 数据库软件工具对其内容进行抓取、管理和处

理的数据集合。在特征方面，大数据不仅 “容量大”，还有很多其他的特

色。总体而言，可以用“5V + 1C”来概括：Variety (多样 _化）、

Volume (海量）、Velocity (快速）、Vitality (灵活）、Value (价值

性）、Complexity (复杂）。其中，大数据之“大”，更多的意义在于其

价值性：人类可以“分析和使用” 的数据在大量增加，通过这些数据的交

换、整合和分析，可以发现新知识，创造新价值， 带来“大知识” “大

科技” “大利润”和“大发展”，其他几个特征如复杂性，则对大数 据

的分析技术、工具及人才提出挑战和要求。

Variety (多样 _化）是指数据来源多样性，比如oracle、mysql、文档、日志等等；

Volume (海量）顾名思义数据量大；

Velocity (快速）是指数据产生的速度快；

Vitality (灵活）是指数据的用途，用法，多样，可以用于数据分析，用户画像，还可以用于人工智能ai等等；

Value (价值性）是指通过数据产生价值；

Complexity (复杂）是指数据处理方式的复杂性，比如可能先通过python数据清洗，然后用机器学习库进行训练，再用spark进行分析；

2.Hadoop 产生背景

• 1. HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引

擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，

• 遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。

• 2. 2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。

——分布式文件系统（GFS），可用于处理海量网页的存储

——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。

• 3. Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中

剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目，迎来

了它的快速发展期。

3.Hadoop 与 Hadoop生态圈

4.Hadoop2.x 三大 组件

Hadoop发展到现在已经有3个版本

Hadoop（存储+计算+资源和作业调度）

Hadoop1.x 

HDFS           存储

MapReduce 计算+资源和作业调度

Hadoop2.x 将资源和作业调度单独抽离出来

HDFS               存储

MapReduce    计算

YARN                资源和作业调度

不只是MapReduce需要用到YARN平台，其他计算组件也要用到YARN平台，包括spark等；

目前企业主要用Hadoop2.x 

Hadoop3.x