Hadoop简介2018-05-13

1、大数据概念

5V1C

Variety多样性、Volume海量、Velocity快速、Vitality灵活、Value价值

Complexity   复杂

2、Hadoop背景

1、最早起源Nutch

2、2003、2004年谷歌发型2篇论文

        分布式文件系统(GFS)    处理海量存储

        分布式计算框架MapReduce    处理海量网页搜索计算问题

3、开源实现HDFS和MapReduce独立出Hadoop

3、Hadoop

广义:Hadoop为主的生态圈    Hadoop flume......

狭义:Apache Hadoop    http://hadoop.apache.org

4、Hadoop版本

Hadoop1.x:

    HDFS:分布式文件系统,存储

    MapReduce:分布式计算+资源调度和作业调度

Hadoop2.x:

    HDFS:存储

    MapReduce:计算

    Yarn:YetAnother    Resource Negotiate 资源调度和作业调度  

你可能感兴趣的:(Hadoop简介2018-05-13)