Hadoop概述

Hadoop概述

Hadoop介绍

• 狭义上Hadoop值的是Apache的一款开源软件。

  用java语言实现开源软件框架

  允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理

• Hadoop核心组件

  Hadoop HDFS(分布式文件存储管理系统)：解决海量数据存储

  Hadoop YARN(集群资源管理和任务调度框架)：解决资源任务调度

  Hadoop MapReduce(分布式计算框架)：解决海量数据计算

• 广义上Hadoop指的是围绕Hadoop打造的大数据生态圈。

Hadoop发展简史

• Hadoop之父：Doug Cutting

• Hadoop起源于Apache Lucene子项目：Nutch

  Nutch的设计目标是构建一个大型的全网搜索引擎。

  遇到瓶颈：如何解决数十亿网页的存储和索引问题。

• Google 三篇论文

  《The Google file system》：谷歌分布式文件系统GFS

  《MapReduce: Simplified Data Processing on Large Clusters》：谷歌分布式计算框架MapReduce

  《Bigtable: A Distributed Storage System for Structured Data》：谷歌结构化数据存储系统

• 狭义上Hadoop指软件 广义上Hadoop指生态圈
• Hadoop之父Dong Cutting
• Hadoop起源于Nutch项目
• 受Google三篇论文启发
• 2008年开源给Apache软件基金会

Hadoop特性优点

• 扩容能力

  Hadoop是在可用的计算机集群分配数据并完成计算任务的，这些集群可用方便的扩展到数以千计的节点中。

• 成本低

  Hadoop通过普通廉价的机器组成服务器集群来分发以及处理数据，以至于成本很低。

• 效率高

  通过并发数据，Hadoop可以在节点之间动态并行的移动数据，使得速度非常快。

• 可靠性

  能自动维护数据的多份复制，并且在任务失败后能自动地重新部署计算任务。所以Hadoop的按位存储和处理数据的能力值得人们信赖。

Hadoop国外应用

• Yahoo

  支持广告系统

  用户行为分析

  支持Web搜索

  反垃圾邮件系统

• Facebook

  存储处理数据挖掘和日志统计

  构建基于Hadoop数据仓库平台（Apache Hive来自FB）

• IBM

  蓝云基础设施构建

  商业化Hadoop发行、解决方案支持

Hadoop国内应用

• 百度

  用户搜索表征的需求数据、阿拉丁爬虫数据存储数据分析和挖掘 竞价排名

• 阿里巴巴

  为电子商务网络平台提供地产的基础计算和存储服务交易数据、信用数据

• 腾讯

  用户关系数据

  基于Hadoop、Hive构建TDW（腾讯分布式数据仓库）

• 华为

  对Hadoop的HA方案，以及Hase领域的深入研究

• Hadoop成功的魅力–通用性

  精准区分做什么和怎么做，做什么属于业务问题，怎么做属于技术问题。用户负责业务，Hadoop负责技术

• Hadoop成功的魅力–简单

Hadoop发行版本

1. 开源社区版 Apache开源社区发行也是官方发行版本

   优点：更新迭代快

   缺点：兼容稳定性不同

2. 商业发行版 商业公司发行基于Apache开源协议某些服务需要收费

   优点：稳定兼容好
   缺点：收费 版本更新慢

• Apache开源社区版本

  开源社区

• 商业发行版本

  Cloudera

  Hortonworks

Hadoop架构变迁（1.0-2.0变迁）

• Hadoop 1.0

  HDFS （分布式文件存储）

  MapReduce （资源管理和分布式数据处理）

• Hadoop 2.0

  HDFS （分布式文件存储）

  MapReduce（分布式数据处理）

  YARN（集群资源管理、任务调度）

• Hadoop 3.0

  Hadoop 3.0架构组件和Hadoop 2.0类似，3.0着重于性能优化。

  • 通用

    精简内核、类路径隔离、shell脚本重构

  • Hadoop HDFS

    EC纠删码、多NameNode支持

  • Hadoop MapReduce

    任务本地化优化、内存参数自动推断

  • Hadoop YARN

    Timeline Service V2、队列配置
    精简内核、类路径隔离、shell脚本重构

  • Hadoop HDFS

    EC纠删码、多NameNode支持

  • Hadoop MapReduce

    任务本地化优化、内存参数自动推断

  • Hadoop YARN

    Timeline Service V2、队列配置