Hadoop(林子雨慕课课程)

文章目录

    • 2. Hadoop
      • 2.1 Hadoop简介
      • 2.2 Hadoop版本演变
      • 2.3 Hadoop项目结构
      • 2.4 Hadoop集群的部署和使用

2. Hadoop

2.1 Hadoop简介

  • Hadoop可以支持多种编程语言:c,c++,java,python

  • Hadoop用java语言开发,具有跨平台特性

  • Hadoop两大核心:HDFS+MapReduce 分别解决了海量数据的分布式存储和分布式处理问题

    Hadoop(林子雨慕课课程)_第1张图片 Hadoop(林子雨慕课课程)_第2张图片
  • 2003年,谷歌发布了分布式文件系统GIS,2004年Hadoop将其纳入自己平台下开源实现

    Hadoop(林子雨慕课课程)_第3张图片
  • 2004年,谷歌发布了分布式的并行编程框架MapReduce

  • Hadoop特性:

    • Hadoop具有很高的可靠性:多台机器构成集群,部分机器发生故障,剩余机器可以继续对外提供服务
    • Hadoop具有很高的效率:可以将成百上千的机器一起计算
    • Hadoop具有很好的扩展性:可以不断的在集群中增加机器
    • Hadoop的成本非常低:高性能计算(High Performance Computing 缩写HPC)
      • 其可以采用普通PC机构成一个集群
  • Hadoop应用现状:

    • FaceBook公司采用Hadoop集群用于日志处理、推荐系统和数据仓库等方面

      Hadoop(林子雨慕课课程)_第4张图片

2.2 Hadoop版本演变

Hadoop(林子雨慕课课程)_第5张图片
  • Hadoop1.0的两大核心:HDFS和MapReduce

    Hadoop(林子雨慕课课程)_第6张图片
  • Hadoop2.0对mapreduce的资源调度做出划分

    • 将1.0版本中关于资源调度的模块单独抽出来,变成一个模块Yarn
    Hadoop(林子雨慕课课程)_第7张图片
  • Hadoop的发行版:Hortonworks(企业版)、cloudera CDH:Cloudera Distribution Hadoop、MapR

    Hadoop(林子雨慕课课程)_第8张图片
    • 易用性
    Hadoop(林子雨慕课课程)_第9张图片
    • 性能

Hadoop(林子雨慕课课程)_第10张图片

2.3 Hadoop项目结构

Hadoop(林子雨慕课课程)_第11张图片
  • YARN:负责资源调度:内存/CPU/带宽等
  • Spark:类似MapReduce的通用并行框架,区别是Spark是基于内存计算的、MapReduce是基于磁盘计算的
  • Hive:是hadoop上的数据仓库
  • Hive:把sql语句转换为MapReduce作业
  • Pig:一个基于Hadoop的大规模数据分析平台,提供类似SQL的查询语言Pig Latin
  • Oozie:需要不同应用程序配合完成工作,需要工作流管理系统来完成
  • Zookeeper:分布式锁,一致性管理,提供分布式协调一致性服务
  • HBase:是Hadoop上的非关系行的分布式数据库,支持实时应用
  • Flume:日志采集
  • Sqoop:是Hadoop和传统数据库之间的数据传递
  • Amber:Hadoop快速部署工具,支持Hadoop集群的供应、管理和监控

2.4 Hadoop集群的部署和使用

  • 集群硬件配置:NameNode和DataNode

  • MapReduce有两大核心组建:JobTracker和TaskTracker

    • JobTracker负责MapReduce的作业管理:将MapReduce的大作业拆分成小作业分发到各个机器上去执行
    • 而不同的机器上的协调问题就是TaskTracker:每个TaskTracker负责跟踪执行自己负责的那部分作业
  • 冷备份:SecondNameNode

    • NameNode出现故障之后SecondNameNode无法马上顶上去,需要一个恢复的过程

      Hadoop(林子雨慕课课程)_第12张图片
  • TaskTracker和DataNode可能在同一个机器上面,即这个机器既是TaskTracker又是DataNode

  • TaskTracker和DataNode的集群硬件配置

    Hadoop(林子雨慕课课程)_第13张图片
  • NameNode总管家

    • 管理各种元数据并提供服务
    • NameNode里面有很多元数据都是直接保存在内存当中的
    Hadoop(林子雨慕课课程)_第14张图片
    • 小集群可以将secondNameNode和NameNode放在一起,若是集群较大SecondNameNode需要单独设置一台服务器
  • 集群规模

    Hadoop(林子雨慕课课程)_第15张图片
  • Hadoop集群的部署和使用

    • Hadoop自带的一些基准测试程序,被打包在测试程序JAR文件中
    • 用TestDFSIO基准测试,来测试HDFS的IO性能
    • 用排序测试MapReduce:Hadoop自带的一个部分排序的程序,这个测试过程的整个数据集都会通过洗牌(Shuffle)传输至Reducer,可以充分测试MapReduce的性能

你可能感兴趣的:(大数据应用,hadoop,hadoop,大数据,分布式)