Hadoop教程 day01 初识Hadoop

Hadoop基础知识

  • 分治思想
  • 大数据部门
  • 第一章 Hadoop概念
    • 1、核心组件
    • 2、hadoop关联项目
  • 第二章 Hadoop架构
    • 1、前提和设计目标
    • 2、HDFS架构
    • 3、YARN架构
    • 4、MapReduce架构
  • 大数据技术生态体系

分治思想

单机处理大数据的问题
需求:

  • 有一个非常大的文本文件(1TB),里面有几百亿行,只有两行内容一样,它们出现在未知的位置,需要查找到它们。
  • 硬件:单台机器,而且可用的内存很少, 只有500MB

思考:

  • 假如IO速度是500MB/S
  • 1T文件读取1次需要约30分钟
  • 循环遍历需要N次IO时间
  • 分治思想可以使时间降为2次IO

解决:

  • 分为2000个文件块
  • readLine读取每一行,通过哈希运算
  • 内存中做比较运算
    Hadoop教程 day01 初识Hadoop_第1张图片

需求:如何对1TB文件进行排序,从小到大
思考:

  • 读到的每一行进行hashcode,根据区间分到不同的块,大于1000和小于等于2000的放在1(序号 1块)。
  • 将每一块500M内容一次读入到内存里,在内存中对该文件块进行排序,进行快排。再取第二块依次顺序这样执行。 内外部都排序
    Hadoop教程 day01 初识Hadoop_第2张图片

需求:如何实现分钟、秒级别。
解决1:*台机器,可用的内存500MB
解决2:集群分布式


大数据部门

大数据部门业务流程分析:

  1. 产品人员提需求(统计总用户数、日活跃用户数、回流用户数等)
  2. 数据部门搭建数据平台、分析数据指标
  3. 数据可视化(报表展示、邮件发送、大屏幕展示等)

Hadoop教程 day01 初识Hadoop_第3张图片

第一章 Hadoop概念

Spark逐渐代替MapReduce成为Hadoop的缺省执行引擎。

  • Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
  • 主要解决,海量数据的存储和海量数据的分析计算问题。
  • 广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
    Hadoop教程 day01 初识Hadoop_第4张图片
    Apache Hadoop
    官方地址:http://hadoop.apache.org/releases.html
    下载地址:https://archive.apacheorg/dist/hadoop/common/

Hadoop的优势(4高)

  • 高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
  • 高可扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。
  • 高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。
  • 高容错性:能够自动将失败的任务重新分配。

1、核心组件

Hadoop1.x和Hadoop2.x区别
Hadoop教程 day01 初识Hadoop_第5张图片

  1. hadoop通用组件 - Hadoop Common
    包含了其他hadoop模块要用到的库文件和工具

  2. 分布式文件系统 - Hadoop Distributed File System(HDFS)
    运行于通用硬件上的分布式文件系统,高吞吐,高可靠。 负责存储

  3. 资源管理组件 - Hadoop YARN
    YARN是资源调度

  4. 分布式计算框架 - Hadoop MapReduce
    用于处理超大数据集计算的MapReduce编程模型的实现

Hadoop的三大核心组件:HDFS分布式文件系统,MapReduce分布式计算框架,Yarn集群资源管理系统

2、hadoop关联项目

  1. Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。
  2. Avrom:数据序列化系统
  3. Cassandra 是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存收件箱等简单格式数据,集GoogleBigTab1e的数据模型与Amazon Dynamo的完全分布式的架构于一身,Facebook于2008将Cassandra开源。
    (国内用的比较多的是HBase)
  4. chukwa是一个开源的用于监控大型分布式系统的数据收集系统。这是构建在hadoop的HDES和MapReduce框架之上的,继承了hadoop的可伸缩性和健壮性。chukwa还包含了一个强大和灵活的工具集,可用于展示、监控和分析已收集的数据。
  5. hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce 任务进行运行。
  6. Apache Pig 是一个高级过程语言,适合于使用Hadoop和MapReduce平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似SQL的查询,Pig 可以简化Hadoop的使用。
  7. Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab 开源的类Hadoop MapReduce的通用并行框架,拥有 MapReduce所具有的优点;但是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark 能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
  8. ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
  9. HBase是一个分布式的、高可靠性、高性能、面向列、可伸缩的分布式存储系统,该技术来源于Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统"。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。
    (存储在HDFS,属于nosql 非关系)

第二章 Hadoop架构

1、前提和设计目标

1、硬件错误

  • 硬件错误是常态而不是异常
  • HDFS可能由成百上千的服务器所构成,单机故障概率的存在意味着总有一部分服务器不工作的。
  • 错误检测和快速自动恢复是HDFS最核心架构目标。

2、流式数据访问

  • 运行在HDFS上的应用需要流式访问它们的数据集。
  • HDFS的设计重点是批处理,而不是交互处理。是高吞吐量而不是低延迟。(批处理:数据积攒到一定量开始计算。 流处理:流水生产线。)
  • 为了提高数据的吞吐量,在关键方面修改POSIX的语义

3、大规模数据集

  • HDFS上的一个典型文件大小一般都在G字节至T字节。 TB PB ZB
  • HDFS支持大文件存储
  • 单一HDFS实例能支撑数以千万计的文件。

4、简单的一致性模型

  • HDFS应用遵循“一次写入多次读取”的文件访问模型。
  • 简化了数据一致性问题,并且使吞吐量的数据访问成为可能。
  • Map/Reduce应用或者网络爬虫应用都非常适合这个模型。

5、移动计算比移动数据更划算

  • 降低网络阻塞的影响,提高系统数据的吞吐量。
  • 将计算程序发送到数据所在的主机,让GB级别TB级别的数据移动更便捷

6、异构软硬件平台间的可移植性

  • HDFS在设计的时候就考虑到平台的可移植性
  • 这种特性方便了HDFS作为大规模数据应用平台的推广

2、HDFS架构

问题:
100台服务器,存储空间单个100GB,总共10T
5T文件如何存储?
128MB一块,128MB * 8 = 1GB,128 * 8 * 1024=1TB

128B(字节),KB,MB
Hadoop教程 day01 初识Hadoop_第6张图片

Hadoop教程 day01 初识Hadoop_第7张图片

Hadoop教程 day01 初识Hadoop_第8张图片
1)NameNode(nm):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。

2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和

3)Secondary NameNode(2nm):用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。

3、YARN架构

Container主要是为App Mst服务,因为Job想运行,需要资源
Hadoop教程 day01 初识Hadoop_第9张图片

4、MapReduce架构

MapReduce将计算过程分为两个阶段:Map和Reduce,
1)Map阶段并行处理输入数据,分发
2)Reduce阶段对Map结果进行汇总
Hadoop教程 day01 初识Hadoop_第10张图片

大数据技术生态体系

Spark Streaming 实时批处理计算
Storm 实时计算
Hadoop教程 day01 初识Hadoop_第11张图片
图中涉及的技术名词解释如下:
1)Sqoop:Sqoop是一款开源的工具,主要用于在Hadoop、Hive与传统的数据库(MySql)间进行数据的传递,可以将一个关系型数据库(例如 :MySQL,Oracle 等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
2)Flume:Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
3)Kafka:Kafka是一种高吞吐量的分布式发布订阅消息系统,有如下特性:
(1)通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
(2)高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
(3)支持通过Kafka服务器和消费机集群来分区消息。
(4)支持Hadoop并行数据加载。
4)Storm:Storm用于“连续计算”,对数据流做连续查询,在计算时就将结果以流的形式输出给用户。
5)Spark:Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。
6)Oozie:Oozie是一个管理Hdoop作业(job)的工作流程调度管理系统。
7)Hbase:HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。
8)Hive:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
10)R语言:R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。
11)Mahout:Apache Mahout是个可扩展的机器学习和数据挖掘库。
12)ZooKeeper:Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、 分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

Hadoop教程 day01 初识Hadoop_第12张图片

你可能感兴趣的:(#,Hadoop,大数据,hadoop)